Private Cloud의 GPU 자원을 활용한 Private LLM 구축 과정

문제사내 OKD 4.18 + Stream CoreOS 환경은 NVIDIA가 공식 지원하지 않아 GPU로 자체 LLM을 돌리려면 드라이버부터 모니터링까지 직접 뚫어야 했다.

접근V100 PCIe 32GB 장착을 위해 PSU를 900W → 1500W(2중화)로 바꾸고, 커뮤니티 okd-nvidia-driver로 cuda → kernel → driver 순으로 커스텀 드라이버를 내부 레지스트리에 빌드했다. GPU Operator helm에 `usePrecompiled=true`·`driver.version=570` 등을 주입하고, `video.conf` 를 MachineConfig로 수동 주입 + CDI 활성화로 CRI-O가 GPU runtime class를 인식하게 했다. 모니터링은 DCGM exporter + Whatap, LLM은 Ollama + Open WebUI다.

결과Llama 3.x 70B(약 40GB)를 사내 GPU로 추론 가능해졌고, 질의 시 GPU 온도가 71℃(정상 70~80℃)까지 오르며 호스트 104코어 중 약 28%·약 30코어 CPU도 동반 사용되는 패턴이 확인됐다.

LG U+ 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청