Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례

패션 기업 F&F가 Amazon Bedrock과 LiteLLM 프록시를 결합해 구축한 사내 LLM 플랫폼 운영 사례다. API 키 셀프서비스 발급, 모델별 접근 승인 워크플로, 사용자·프로젝트별 예산 자동 차단까지 전 과정을 직접 구현한 아키텍처 결정과 운영 교훈을 공유한다.

핵심 포인트

컨트롤 플레인(LLM Lite 포털)과 데이터 플레인(EKS 위 LiteLLM 프록시)의 2계층 구조로 역할 분리
개인(SSO 이메일) vs 서비스(`svc:{name}`) 식별자로 실험적 사용과 프로덕션 호출을 분리, 서비스 신원에 자동 한도 적용
표준 모델은 키 발급 즉시 활성화, 프리미엄 모델은 관리자 승인 후 LiteLLM 접근 그룹에 추가
사용자별 일일 한도 + 프로젝트별 월간 한도의 2단계 예산 거버넌스, 초과 시 429 자동 차단
SSO 로그인 후 3분 내 첫 API 호출 가능한 셀프서비스 온보딩

상세 정리

도입 배경: AWS 기반 서비스에서 Claude 등 Bedrock 모델을 전사 셀프서비스로 제공하되 키 유출·과소비·무단 모델 접근을 막을 제어 레이어가 없었다
Bedrock 선택 이유: 기존 AWS 인프라와 통합이 자연스럽고 IAM·EKS Pod Identity로 자격증명 라이프사이클 관리, CloudTrail로 모델 호출 감사 로그를 기존 보안 프레임워크에 통합
Bedrock 한계: 실시간 지출 집행 불가, 계정/리전 레벨 할당량만 지원, IAM 단독으로 사용자별 모델 권한 관리 어려움 — 이 간극을 LiteLLM 게이트웨이가 채운다
아키텍처: LLM Lite 포털이 키 발급·승인·예산 설정·사용량 대시보드를 담당하고, EKS의 LiteLLM 프록시가 라우팅·접근 제어·예산 집행·집계를 실시간 처리
신원 분리: 개인 사용자는 SSO 이메일, 서비스는 `svc:{service-name}` 형식으로 구분해 실험적 사용이 프로덕션 호출과 섞이지 않도록 하고 서비스 신원에 자동으로 한도를 적용
사용자 온보딩: SSO 로그인 → 사용 목적·대상 서비스 입력 → 수 분 내 키 수령 → Claude Code 등 도구용 설정 스니펫 즉시 제공, 3분 내 첫 API 호출 가능
모델 접근 제어: 표준 모델은 키 발급 즉시 활성화, 프리미엄 모델은 사용자 요청→관리자 승인→LiteLLM 접근 그룹 추가의 승인 워크플로 적용
예산 집행: 사용자/키 일일 한도로 개인 과소비를 막고 프로젝트별 월간 한도로 총 지출을 제어, 초과 시 429(ExceededBudget) 자동 반환으로 추가 요청 차단
알림 체계: 80% 임계값 경고·100% 차단 알림을 이메일+Slack으로 전송, 정적 수신자 목록 대신 동적 Entra 그룹 멤버십으로 자동 관리
운영 교훈: 외부/내부 네트워크 경로 분리 필수; HTTP 상태 코드만이 아닌 CloudTrail 로그로 마이그레이션 완료 검증; 게이트웨이 우회 경로 반드시 차단; 워크로드 레이턴시 특성에 따라 대체 모델 선택

왜 읽나사내 LLM 게이트웨이를 직접 구축하려는 플랫폼 엔지니어·ML 인프라 팀에게 Bedrock+LiteLLM 조합의 아키텍처 결정, 비용 거버넌스 구현, 운영 함정을 실전 수준으로 전달한다.

AWS Korea Tech 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례

이 글과 비슷한

엔터프라이즈 보안 요구사항을 충족하는 프라이빗 Amazon Bedrock AgentCore 구축하기

OpenTofu와 Argo CD로 구성하는 GitLab 기반 AWS 제어 플레인

서버리스 차량 추적 플랫폼 구축 — Bosch L.OS on AWS