Kurly만의 MLOps 구축하기 - 초석 다지기

컬리 데이터플랫폼팀이 MLOps 플랫폼의 첫 단계로 GPU 사용 환경을 구축한 기록이다. 비싼 GPU 자원을 필요할 때만 자동 할당·회수하기 위해 Kubernetes 노드 오토스케일러 Karpenter를 도입한 과정과 GPU 세팅 팁을 다룬다.

핵심 포인트

클라우드 GPU는 비싸서 쓸 때만 켜고 안 쓰면 꺼야 하는데, 기존엔 엔지니어가 수동 요청·모니터링해야 해 데이터 사이언티스트가 자유롭게 못 썼다.
목표는 Jupyter Notebook 생성 시 GPU 옵션을 켜면 GPU 서버가 provisioning되고 종료하면 deprovisioning되는 구조다.
기존 Cluster Auto Scaler(ASG 기반)보다 단순·빠른 Karpenter를 선택하고, Provisioner로 인스턴스 타입·제약을 정의한다.
GPU 노드는 NVIDIA device plugin(NVDP) 설치가 필요하고, deprovisioning은 Node Affinity와 Consolidation 옵션으로 보완한다.

상세 정리

배경: Airflow·JupyterHub·MLFlow가 이미 Kubernetes로 구성돼 있었지만 GPU 때문에 ML 작업을 편하게 못 했다.
통합 환경 고민: SageMaker·VertexAI 같은 관리형도 검토했으나 비용 문제로 기존 Kubernetes 위에 직접 구축하기로 했다.
Karpenter 선택: AWS가 만든 오픈소스로 re:Invent 2021에서 v0.5 GA 릴리스됐고, 신규 pod를 보고 부족하면 워커 노드를 직접 추가·삭제한다.
기존 CA 동작: AWS EKS는 ASG와 Launch Template으로 노드를 그룹핑하고, pod가 Pending이면 ASG desired capacity를 늘려 EC2를 붙이는 여러 단계를 거친다.
Karpenter 차이: Cloud Provider 기능에 의존하는 CA와 달리 스케줄링·바인딩 상당 부분을 직접 처리해 구조가 단순하고 노드 확장이 빠르다.
4개 개념: Watching(unschedulable pod 관찰), Evaluating(제약 확인), Provisioning(노드 배포), Removing(불필요 노드 삭제).
Provisioner: taints·labels·requirements(instance type/zone/arch/capacity)·limits(전체 CPU·메모리 상한)를 설정하며, GPU requirements를 넣어 GPU 노드를 프로비저닝한다.
NVDP: GPU 노드를 띄워도 NVIDIA device plugin을 데몬셋으로 설치해야 실제 학습이 되며, 데몬셋이 GPU 노드를 감지해 플러그인을 자동 설치한다.
deprovisioning 함정 1: GPU와 무관한 pod가 GPU 노드에 붙으면 Karpenter가 사용 중으로 판단해 노드를 안 지운다. Anti Node Affinity·Node Selector로 GPU 노드 할당을 막는다.
deprovisioning 함정 2: v0.15.0부터 Consolidation 옵션으로 노드 자동 정리가 되는데, 활성화 시 unknown field consolidation validation 에러는 버전 업 후에도 CRD가 옛 버전으로 남기 때문이라 CRD를 업그레이드해야 해결된다.