[리뷰] 책상 위의 데이터센터, Dell Pro Max GB10 AI 워크스테이션 실사용기

문제70B 급 대형 LLM 을 로컬에서 돌리려면 GPU 가 비싸고 전력/소음이 부담이라 보안 민감 환경에서 데이터센터급 성능을 책상 위에 두기 어렵다.

접근kt cloud AI플랫폼팀이 Dell Pro Max GB10 을 검증. Grace ARM 20코어 + Blackwell GPU 단일 패키지, 128GB LPDDR5x 통합 메모리로 CPU-GPU 간 273GB/s 대역폭, PCIe 병목 제거. Llama-3.3-70B 로 출력 처리량/TTFT/ITL/전력 측정.

결과출력 198 토큰/s, TTFT 661ms, ITL 240ms, 최대 100W 이하(RTX 4090 의 1/5). 대형 LLM 로컬 개발 + 보안 환경 + 다중 모델 추론 파이프라인에 적합. 단 ARM 호환성과 메모리/GPU 개별 업그레이드 불가가 한계.