[NHN Cloud make IT 2023] AI 자원의 한계를 뛰어넘는 Hybrid MLOps 플랫폼

IoT와 설비 데이터를 중앙 데이터 레이크로 모으고 학습용 데이터셋과 모델을 각각 버전 관리한 뒤, 여러 공장과 공정에 배포하는 제조 사례를 제시한다. 수백 개 공정과 글로벌 거점으로 규모가 커지면 사람이 학습과 배포를 반복할 수 없으므로, 멀티 클라우드·멀티 클러스터에 워크로드를 자동 분배하는 체계가 핵심이 된다.

단일 목적 모델에서 여러 작업을 수행하는 foundation model로 전환되면서 모델 크기와 학습 자원 요구가 급격히 증가한 배경을 설명한다. 수백~수천 GPU를 쓰는 분산 학습은 GPU 노드만으로 끝나지 않고 InfiniBand, 고속 스토리지, 멀티 노드 MPI job 스케줄링이 함께 필요하다. 기업이 이 복잡한 기반을 직접 보유하기 어려운 만큼 클라우드와 전문 운영 역량의 역할이 커진다.

Matilda는 GPU·IPU·NPU, 고속 스토리지와 네트워크를 Kubernetes 위에서 통합하고 개발 환경부터 튜닝·학습·배포·모니터링까지 연결한다. 데이터셋·모델·파이프라인을 공유하는 asset hub와 대규모 분산 학습 scheduler를 제공한다. 반출하기 어려운 데이터는 온프레미스에 두고 부족한 GPU 학습 job만 퍼블릭 클라우드로 보내며, 여러 CSP와 이기종 가속기를 하나의 운영 체계에서 다룬다.

Jupyter·VS Code·Zeppelin 환경에 팀 데이터 볼륨을 자동 마운트하고, 유휴 GPU를 회수해 고가 자원을 여러 사용자가 공유하는 기능을 소개한다. 수백 줄의 pipeline 코드는 검증된 template 조합으로 단순화하며, 카드 UI에서 대상 클라우드·GPU·스토리지·container image를 선택해 학습 job을 배포한다. 폐쇄망에서는 외부 DevOps 접근 없이 플랫폼 내부에서 AI 애플리케이션을 배포하고 팀별 quota와 권한을 적용한다.