AI 플랫폼 하드웨어부터 코드까지: GPU, LLMOps, Agentic Coding으로 완성하는 AI 플랫폼

대형 모델의 분산 학습을 위해 H200 서버와 InfiniBand를 구성하고 RDMA와 GPU Direct로 CPU를 우회하는 데이터 경로를 만들었다. Kubernetes의 기본 네트워크만으로 부족한 대역폭을 multi-CNI와 SR-IOV로 보완해 GPU 간 통신 병목을 줄였고, 수작업으로 두 시간 걸리던 환경 배포를 수분대로 단축했다.

비용 절감을 위해 KNative scale-to-zero를 검토했지만 대형 모델 로딩에 약 6분이 걸려 실시간 서비스에는 맞지 않았다. 최소 한 개 replica를 유지하고, 모델 크기와 처리량에 따라 MIG 인스턴스를 할당하며 GPU 사용률과 메모리를 관측하는 방식으로 응답성과 자원 효율의 균형을 잡았다.

두 번째 발표자는 예상 6개월 규모의 내부 AI 플랫폼을 VS Code의 GitHub Copilot Agent와 함께 2.5개월 만에 구현한 과정을 보여준다. 초기에 사람이 상위 아키텍처와 작업 규칙을 명확히 하고, 중기에는 반복 코드와 테스트를 AI가 생성하며, 후반에는 재사용과 정리 작업을 짧고 구체적인 단위로 지시하는 협업 방식이 효과적이었다.

주석과 명확한 파일·클래스·함수 위치는 에이전트에게 중요한 컨텍스트가 되고, 남은 백업 코드와 레거시는 오히려 잘못된 구현을 유도한다. AI가 반복해서 혼란스러워하는 지점은 코드 복잡도의 신호로 보고 TDD와 Tidy First로 구조를 정리한다. 생성 속도가 빨라져도 아키텍처 선택, 리뷰, 검증과 최종 책임은 개발자의 역할로 남는다.