인프라 / DevOps·

KT 클라우드·3주 전

[AI인프라] 네오클라우드 GPUaaS와 고밀도 AIDC의 공학적 결합

GPU 가속 컴퓨팅 시대의 요구에 대응하기 위해 KT 클라우드가 설계한 NeoCloud GPUaaS 플랫폼의 기술 아키텍처와 고밀도 AIDC의 하드웨어 엔지니어링 방식을 심층 분석한다. NVIDIA MIG 기반 GPU 가상화와 RDMA/GPUDirect 네트워킹으로 수천 개의 GPU를 단일 클러스터처럼 운용하는 소프트웨어 레이어를 설명한다. AI 워크로드가 요구하는 40~80kW/랙 수준의 고밀도 전력을 처리하기 위해 도입된 버스웨이 시스템, HVDC, DLC 액체냉각 등의 물리적 인프라 혁신도 상세히 다룬다.

핵심 포인트

NVIDIA MIG 기술로 H100 GPU를 하드웨어 레벨에서 다중 독립 인스턴스로 분할해 완전한 자원 격리 실현
RDMA/GPUDirect로 CPU·OS 개입 없이 서버 간 GPU 메모리를 직접 전송, 레이턴시를 마이크로초 단위로 감소
AI 서버 8대/랙 기준 40~80kW에 달하는 전력 밀도를 버스웨이 시스템과 HVDC로 안정 공급
DLC(칩 직접 부착 냉각판) 액체 냉각 적용 시 PUE 1.1 달성 — 비IT 에너지 소비를 10% 이내로 제한
데이터 주권과 보안이 필요한 국내 AI 워크로드에 해외 클라우드 대비 기술적·비용적 우위 제시

상세 정리

전통 데이터센터는 CPU 중심 범용 컴퓨팅; AI 서버는 물리적 요구사항이 근본적으로 다름
MIG(Multi-Instance GPU)는 소프트웨어 가상화와 달리 메모리 컨트롤러와 SM(스트리밍 멀티프로세서)을 하드웨어 수준으로 분할
RDMA는 수백 대 서버를 단일 엔티티처럼 작동시키는 AI 클러스터 구현의 핵심 기술
전통 데이터센터의 랙당 전력은 5~10kW; AI 데이터센터는 4~8배 수준으로 증가
기존 배선 방식은 고전류 부하를 처리할 수 없어 동 버스웨이(busway) 시스템으로 교체
HVDC 적용으로 AC→DC 변환 단계를 최소화해 에너지 효율 10% 이상 개선
공기의 낮은 열전도율 한계 극복을 위해 수천 배 높은 열전달 용량의 액체 냉각 적용
PUE 1.1 달성 시 IT 장비에 쓰이는 전력 대비 냉각에 소비되는 에너지 비율이 10% 수준
24/7 최대 부하 AI 연산은 GPU 온도를 극한까지 올려 수명 단축 — DLC로 최적 온도 유지
해외 클라우드 대비 국내 데이터 주권 확보 + 고가의 데이터 전송 비용(이그레스 피) 제거

왜 읽나AI 인프라를 직접 설계하거나 평가하는 엔지니어와 아키텍트를 위해, GPU 가상화부터 데이터센터 전력·냉각 엔지니어링까지 AI 데이터센터 전체 스택의 기술적 의사결정 근거를 한 글에서 다루는 드문 레퍼런스다.

KT 클라우드 블로그

원문은 여기서 이어서 읽을 수 있어요

읽음 (0)

·takedown 요청

이 글과 비슷한