pile·
인프라 / DevOps·네이버 D2네이버 D2·

MLXP : Kubernetes LLM Serving 최적화 기술 도입기

네이버 ENGINEERING DAY 2026 발표. KV Cache 인지 라우팅, Prefix Cache, 분산 멀티노드 서빙 같은 LLM 추론 최적화 기술을 Kubernetes 프로덕션에 넣으면서 기존 인프라 스택과 충돌한 실전 문제들을 다룬다. Istio 서비스 메시, 스케줄러, Pod 보호 정책이 각각 어떻게 부딪혔고 어떻게 진단·해결했는지 이어진다.

핵심 포인트
  • 배경: MLXP 위에서 LLM 서빙 최적화 기술을 도입하려 할 때 무엇이 필요한지부터 정리한다.
  • 구조: 최적화 기술을 반영한 MLXP 의 서빙 구조가 기존과 어떻게 달라지는지 보여준다.
  • 충돌 지점: Istio 서비스 메시, 스케줄러, Pod 보호 정책이 최적화 기술과 부딪히며 만든 문제들을 진단 과정과 함께 다룬다.
  • GroupDisruptionBudget: Pod 그룹 단위로 중단을 통제해야 하는 상황을 별도 주제로 떼어 설명한다.
왜 읽나Kubernetes 위에서 GPU 워크로드를 운영하는 플랫폼 엔지니어, LLM 서빙 인프라를 직접 구축하는 MLOps 엔지니어, Istio 환경에서 AI 워크로드를 다루는 DevOps 엔지니어에게 충돌 사례와 해결 경로를 준다.
네이버 D2
네이버 D2 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·AWS KoreaAWS Korea Tech·

    엔터프라이즈 보안 요구사항을 충족하는 프라이빗 Amazon Bedrock AgentCore 구축하기

    Amazon Bedrock AgentCore의 VPC egress 기능(2026년 4월 추가)을 활용해 온프레미스 LLM·사내 IdP·사내 MCP 서버에 인터넷 노출 없이 연결하는 방법을 다룬다. 규제 산업 엔터프라이즈가 기존 사내 자산을 그대로 유지하면서 Bedrock AgentCore를 안전하게 구축하기 위한 구성 가이드다.

    요약 이어보기
    #mcp#amazon-bedrock#vpc+2
  2. 인프라 / DevOps·gitlab-engGitLab Blog·

    OpenTofu와 Argo CD로 구성하는 GitLab 기반 AWS 제어 플레인

    GitLab을 단일 제어 플레인으로 삼아 OpenTofu로 AWS 인프라를 프로비저닝하고, Argo CD로 GitOps 기반 애플리케이션 배포까지 자동화하는 엔드투엔드 튜토리얼이다. VPC·EKS 클러스터 구성부터 Helm 기반 툴 설치, 샘플 앱 배포까지 모든 과정이 GitLab CI/CD 파이프라인으로 연결된다.

    요약 이어보기
    #kubernetes#aws-eks#gitops+2
  3. 인프라 / DevOps·AWS KoreaAWS Korea Tech·

    Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례

    패션 기업 F&F가 Amazon Bedrock과 LiteLLM 프록시를 결합해 구축한 사내 LLM 플랫폼 운영 사례다. API 키 셀프서비스 발급, 모델별 접근 승인 워크플로, 사용자·프로젝트별 예산 자동 차단까지 전 과정을 직접 구현한 아키텍처 결정과 운영 교훈을 공유한다.

    요약 이어보기
    #kubernetes#amazon-bedrock#litellm+2