pile·
인프라 / DevOps·AWS KoreaAWS Korea Tech·

Amazon EKS에서 NVIDIA OSMO 기반 Physical AI 워크플로 운영하기

문제Physical AI 모델 개발은 데이터 수집·시뮬레이션·정책 학습·엣지 배포가 반복되는 라이프사이클을 거치며, GPU 스케줄링·아티팩트 보존·보안·관찰 가능성을 일관되게 관리하기 어렵다.
접근Amazon EKS에 NVIDIA OSMO와 KAI Scheduler를 결합하고, Karpenter로 GPU 노드를 동적 프로비저닝한다. OSMO의 pool/platform 추상화와 Pod Template으로 복잡한 Kubernetes 설정을 캡슐화하고, EFA 기반 멀티 노드 분산 학습과 prewarm 패턴으로 scale-to-zero 문제를 해결한다.
결과단일 GPU 작업부터 멀티 노드 분산 학습까지 동일한 워크플로 정의로 지원하는 반복 가능한 프레임워크를 구축, Karpenter 자동 스케일링으로 유휴 GPU 비용을 최소화했다.
AWS Korea
AWS Korea Tech 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·AWS KoreaAWS Korea Tech·

    엔터프라이즈 보안 요구사항을 충족하는 프라이빗 Amazon Bedrock AgentCore 구축하기

    Amazon Bedrock AgentCore의 VPC egress 기능(2026년 4월 추가)을 활용해 온프레미스 LLM·사내 IdP·사내 MCP 서버에 인터넷 노출 없이 연결하는 방법을 다룬다. 규제 산업 엔터프라이즈가 기존 사내 자산을 그대로 유지하면서 Bedrock AgentCore를 안전하게 구축하기 위한 구성 가이드다.

    요약 이어보기
    #mcp#amazon-bedrock#vpc+2
  2. 인프라 / DevOps·gitlab-engGitLab Blog·

    OpenTofu와 Argo CD로 구성하는 GitLab 기반 AWS 제어 플레인

    GitLab을 단일 제어 플레인으로 삼아 OpenTofu로 AWS 인프라를 프로비저닝하고, Argo CD로 GitOps 기반 애플리케이션 배포까지 자동화하는 엔드투엔드 튜토리얼이다. VPC·EKS 클러스터 구성부터 Helm 기반 툴 설치, 샘플 앱 배포까지 모든 과정이 GitLab CI/CD 파이프라인으로 연결된다.

    요약 이어보기
    #kubernetes#aws-eks#gitops+2
  3. 인프라 / DevOps·AWS KoreaAWS Korea Tech·

    Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례

    패션 기업 F&F가 Amazon Bedrock과 LiteLLM 프록시를 결합해 구축한 사내 LLM 플랫폼 운영 사례다. API 키 셀프서비스 발급, 모델별 접근 승인 워크플로, 사용자·프로젝트별 예산 자동 차단까지 전 과정을 직접 구현한 아키텍처 결정과 운영 교훈을 공유한다.

    요약 이어보기
    #kubernetes#amazon-bedrock#litellm+2