나름 개발자의 IT블로그

Scaling 쿠버네티스는 파드의 개수를 늘려 자동으로 로드밸런싱을 하는 scaling 기능을 제공한다. 이 기능을 한번 사용해보자. # main.py from fastapi import FastAPI import uvicorn import socket app = FastAPI() @app.get("/") async def root(): sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.connect(('pwnbit.kr', 443)) ipaddr = sock.getsockname()[0] return {"message": "Hello Wonderful World", "ipaddr": ipaddr} if __name__ == "__main__"..

현재 배포중인 deployment에서 코드 변경등의 이유로 업데이트를 하고 싶을 수 있다. 어떻게 업데이트를 하는지 알아보자. Deployment 업데이트 # main.py from fastapi import FastAPI import uvicorn app = FastAPI() @app.get("/") async def root(): return {"message": "Hello Wonderful World"} if __name__ == "__main__": uvicorn.run(app, port=8000, host="0.0.0.0") 코드를 위와 같이 업데이트했다. 일단 업데이트했으니 이미지를 빌드해야한다. docker build --tag riroan/myserver . docker push riro..

쿠버네티스 배포하기에서 발생한 오류를 해결해보자. 지난시간에 Service 객체가 존재하여 pod를 외부와 소통하는 역할을 한다고 하는데 무엇인지 알아보자. Pod IP address 우선 pod는 접속하기 위한 고유의 IP주소를 가지고 있다. 일단 해당 IP주소를 확인해보자. minikube dashboard minikube dashboard --url # url만 표시 위 명령어를 실행하면 웹사이트가 하나 나온다. 왼쪽 메뉴에서 pod로 들어가 실행중인 pod를 확인해보자. pod의 IP주소를 확인할 수 있다. 그렇다면 이 IP로 접속하면 문제가 해결될까? 아쉽게도 불가능하다. 해당 IP는 클러스터 내부에서 사용하는 IP이기때문에 클러스터 외부에 있는 우리는 직접 접근이 불가능하다. 또한 해당 IP는..

지난시간 마지막에 발생한 문제를 해결하기 위해 쿠버네티스 구성요소에는 어떤게 있는지 각 요소가 무슨 역할을 하는지 아는것이 좋다. 이번시간에 한번 정리해보도록 하자. Overview 쿠버네티스 구성을 간략하게 나타내면 위 그림과 같이 나온다. 기본적으로 클러스터는 하나의 마스터노드와 여러개의 워커노드로 이루어져있다. 여기서 클러스터는 하나의 쿠버네티스를 나타내는 논리적 단위로 생각하면 된다. 노드는 PC, 컨테이너, 가상머신등 하나의 서버라고 생각하면 된다. Master Node 마스터노드(컨트롤 플레인)는 kubectl로 통신하기 위한 노드이다. 우리는 minikube를 도커 드라이버로 사용하기때문에 컨테이너형태로 사용중이다. Scheduler: 각 노드의 조건과 상태를 고려해 특정 자원을 어떤 워커 ..

이제 쿠버네티스를 사용해서 배포해보자. 일단 배포하기 위한 도커 이미지가 있어야 한다. 간단하게 하나 만들어보자. 도커 이미지 생성 # main.py from fastapi import FastAPI import uvicorn app = FastAPI() @app.get("/") async def root(): return {"message": "Hello World"} if __name__ == "__main__": uvicorn.run(app, port=8000, host="0.0.0.0") # Dockerfile FROM python:3.11 WORKDIR /app COPY . . RUN pip install -r requirements.txt EXPOSE 8000 CMD ["python", "ma..

쿠버네티스 쿠버네티스는 컨테이너환경으로 배포할 때 자동으로 관리해주는 컨테이너 오케스트레이션 도구이다. 여기에서 컨테이너는 도커에서 사용하는 그 컨테이너를 의미한다. 컨테이너는 도커만 있는것이 아니기 때문에 다른 도구에도 활용할 수 있다. 쿠버네티스의 편리한 점은 컨테이너가 어떠한 이유로 종료되면 자동으로 복구해주고, 트래픽이 많아지면 오토스케일링도 해주고, 현재 컨테이너들의 상태를 보여주는 대시보드도 보여주는 등 다양한 기능을 제공하기 때문이다. 배포할 때 일일히 사람이 확인해야 하는 작업을 자동으로 해준다. 쿠버네티스 설치하기 학습용으로 쿠버네티스를 사용할때 미니큐브를 자주 사용하곤 한다. 그래서 미니큐브를 사용할 예정이다. (2코어 이상의 cpu가 필요하다.) curl -Lo minikube htt..

샤딩 1 샤딩 2 조건이 포함된 조회 쿼리 특정 이름이 들어간 유저를 찾고싶다고 하자. # datasource.py class DataSource: ... def select_by_name_exact(self, name): ix = insert_route(name) query = f"SELECT * FROM user WHERE name = '{name}'" cursor = self.cursors[ix] cursor.execute(query) result = cursor.fetchall() return result 삽입과 유사하게 사용하면 된다. 범위 조건이 포함된 조회 쿼리 이제 살짝 복잡해지기 시작한다. aa ~ bb를 찾는다고하면 1번 인스턴스에서 끝나지만 aa ~ zz를 찾는다면 1~4번 인스턴스를..

지난시간에 이어 샤딩을 사용해보자. 라우터 생성 우리는 이름을 기준으로 라우팅을 할 것이다. 영어 소문자만 들어온다고 가정하자. 데이터베이스가 4개이니까 a~g로 시작하는건 1번, h~n은 2번, o~u는 3번, v~z는 4번 데이터베이스에 넣도록 하자. # router.py def insert_route(name: str): assert len(name) > 0 ch = name[0] return (ord(ch) - ord('a')) // 7 정말 간단하다. 위 라우터는 삽입할 때 사용하는 라우터이다. 삽입쿼리 추가 # datasource.py from router import insert_route class DataSource: ... def insert(self, name: str, age: in..

데이터베이스 샤딩(Sharding)이란 동일한 스키마의 데이터베이스를 여러 인스턴스에 나누어 저장하는 것을 말한다. 이중화와는 다른 개념이다. 이중화는 하나의 데이터를 여러 곳에 저장하지만 샤딩은 하나의 데이터를 하나의 인스턴스에 골라서 저장을 한다. 보통은 잘 사용하지 않고 데이터가 억수로 많은 경우에 사용한다. 샤딩을 사용하면 데이터가 많은 경우에 단일 인스턴스보다 성능이 빨라지고 단일 인스턴스에 저장할 수 없는 만큼의 데이터를 가지고 있다면 샤딩을 사용해야만 할 것이다. 샤딩에는 여러 종류가 있지만 여기에서는 Range Sharding이란 것을 사용해 볼 예정이다. Range Sharding 유저테이블을 샤딩한다고 생각하자. 인스턴스를 4개(개발자가 정하면 된다.) 두고 1~3월 생일은 1번, 4~..

이 글에는 지극히 주관적인 내용이 많이 들어있습니다. 분리집합을 구현할 때 보통 가리키는 포인터를 옮기는 방식으로 구현하곤 한다. 하지만 이런 방법은 경로압축도 해야 하고 개인적으로 비직관적이었다. 사실 나는 재귀적인 코드와 작동 과정이 아직 완벽히 이해가 되지 않는다. 그래서 상대적으로 직관적인 smaller to larger(a.k.a 작은거 큰거)를 사용한 분리집합 구현을 소개하고자 한다. (물론 기존 방식보다 느리고 공간도 많이 사용한다.) smaller to larger라는게 애초에 집합을 합치기 위한 연산을 최적화하기 위한 기법이기 때문에 분리집합에도 사용할 수 있다. 기초적인 구조 class DisjointSet { public: vector p; vector ix; int n; } 우선 멤..