대규모 AI·HPC workload가 GPU 성능만이 아니라 CPU·memory·PCIe interconnect·storage I/O를 함께 요구한다는 점에서 출발해, 8개 고전력 GPU를 탑재한 server가 기존 rack의 전력·공조 한계를 넘어서는 문제를 다룬다. 냉각 방식별 밀도·PUE 차이와 green data center 전략까지 연결한다.
핵심 포인트- 병렬 GPU는 같은 계산을 CPU보다 빠르고 낮은 총비용으로 끝내지만 대형 모델은 여러 node를 묶으므로, 8-GPU SXM·OAM server와 대용량 memory·NVMe·PCIe Gen5 interconnect를 병목 없이 구성해야 함
- training·HPC엔 GPU 간 고속 연결의 SXM·OAM형을, inference·가상화·소규모 개발엔 가격 효율적 PCIe GPU를 권장하며 H100은 A100 대비 평균 성능을 크게 높이되 전력·냉각까지 포함한 전체 아키텍처로 비교해야 함
- GPU 하나 약 700W, 8-GPU server는 최대 10kW급 전력·발열이라 42U rack의 18~20kW 공급으로는 두 대만 배치해도 여유가 사라지므로 iDRAC·OpenManage Power Manager의 telemetry, 가변 fan, 고효율 Titanium power supply, airflow 최적화로 부가 전력을 낮춤
- air cooling+rear-door heat exchanger에서 cold plate 방식 direct liquid cooling, 절연액에 담그는 immersion cooling으로 갈수록 밀도가 오르고 PUE가 1에 가까워지며, 노후 자산 회수·재활용·재생에너지까지 포함해야 수명주기 탄소를 줄임
왜 읽나고밀도 GPU 도입으로 rack 전력·냉각 한계에 직면한 데이터센터·인프라 담당자에게, server 구성부터 냉각 방식·PUE·탄소까지 이어지는 선택 기준을 정리한 개론.