pile·
인프라 / DevOps·AWS KoreaAWS Korea Tech·

Amazon Bedrock 위에 사내 LLM Gateway 구축하기: Claude Code, Codex를 위한 인증·비용·거버넌스

기업 내 AI 개발 도구 사용이 폭발적으로 늘면서 "Shadow AI" 문제가 현실화되고 있다. 이 글은 Amazon Bedrock 위에 사내 LLM Gateway를 구축하는 방법을 FastAPI ASGI 아키텍처, 버추얼 키 인증, 예산 집행 정책, Redis 기반 비용 기록 파이프라인까지 구체적인 구현 수준으로 설명한다. Claude Code, Codex 같은 AI 개발 도구를 조직 내에서 안전하게 운영하려는 엔지니어에게 실질적인 레퍼런스가 된다.

핵심 포인트
  • 인증은 OIDC/SSO(Cognito)로 기업 계정을 확인한 뒤 TTL 1시간의 Virtual Key를 발급해 Bedrock 자격 증명 직접 노출 없이 서비스한다
  • 예산 집행은 HARD_BLOCK(즉시 거부), SOFT_WARNING(110% 초과 시 유예), THROTTLE(점진적 RPM 감소) 세 단계 정책으로 팀 단위 제어한다
  • 데이터 플레인(gateway-proxy)은 FastAPI 순수 ASGI 미들웨어로 구현, Anthropic Messages API·OpenAI 호환·Bedrock 네이티브 세 포맷을 동일 파이프라인으로 처리한다
  • 비용 기록은 Redis Stream + 분산 컨슈머 그룹 조합으로 멱등 쓰기를 보장하며, Bedrock 호출 로그와 DB usage_logs가 1,000~4,000 동시 SSE 세션에서 토큰 수 불일치 제로를 달성했다
  • CVE-2026-49468(Host Header Injection) 대응으로 ASGI 네이티브 scope["path"] 인증, 핸들러 레벨 역할 바인딩, ALB 호스트 라우팅 4중 방어를 적용한다
상세 정리
  • Shadow AI 문제: 지식 근로자 75%가 AI 도구를 사용하며 그중 78%가 조직 통제 밖의 비인가 도구를 쓴다
  • 토큰 가격은 2년 만에 280배 하락했지만 중앙 제어 없이는 월 수천만 원 청구서가 발생할 수 있다
  • Virtual Key는 TTL 1시간의 단기 자격 증명으로, 사용자가 Bedrock IAM 자격을 직접 보유하지 않아도 된다
  • 팀에 매핑되지 않은 사용자는 기본값으로 요청이 거부되며, 팀 예산이 개인 예산보다 우선 적용된다
  • 예산 임계값 초과 시 Opus 같은 고비용 모델이 Haiku로 자동 다운그레이드되며 사용자에게 투명하게 처리된다
  • 컨트롤 플레인(admin-api)의 관리자 인증은 경로 기반 미들웨어가 아닌 핸들러의 의존성 주입으로 강제해 Host Header Injection을 차단한다
  • 스트리밍 중단 복구: 클라이언트가 중간에 끊으면 Bedrock CountTokens API로 부분 토큰을 재구성해 비용 기록을 "estimated" 태그와 함께 보존한다
  • Liveness Probe는 Redis·DB 같은 외부 의존성이 아닌 내부 상태만 확인해 백킹 서비스 장애가 Pod 재시작 폭주로 이어지는 연쇄 장애를 방지한다
  • Redis 장애 시 gateway-proxy는 USER RPM에 한해 워커별 인메모리 속도 제한으로 폴백해 서비스를 유지한다
  • EU AI Act 고위험 시스템 의무가 2026년 8월 발효되어 감사 추적과 접근 제어가 선택이 아닌 규제 의무가 된다
  • 모델 가격은 유효 날짜 범위 버전 관리를 지원해 과거 비용 계산 시 요청 시점의 요금을 정확히 반영한다
왜 읽나Claude Code·Codex 등 AI 코딩 도구를 조직 내에 도입할 때 인증, 비용, 모델 거버넌스를 중앙에서 통합 제어하는 구체적인 아키텍처와 구현 패턴을 한 번에 파악할 수 있다.
AWS Korea
AWS Korea Tech 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  2. 인프라 / DevOps·AWS KoreaAWS Korea Tech·

    Claude Apps Gateway on AWS 자세히 알아보기

    Anthropic의 Claude Code 바이너리에 내장된 LLM 게이트웨이 솔루션 Claude Apps Gateway의 AWS 인프라 배포 방법과 엔터프라이즈 기능을 다룬다. API 키 대신 IdP(Identity Provider) 기반 SSO를 사용해 Okta, Microsoft Entra ID, Keycloak과 연동하며, 그룹별 권한 정책, 예산 관리, OpenTelemetry 기반 관측성을 제공한다.

    #claude#bedrock#opentelemetry+2
  3. 인프라 / DevOps·AWS KoreaAWS Korea Tech·

    금융 클라우드 길라잡이 A to Z Part 2 – 연구개발망 예외와 망분리 개선 로드맵

    2024년 8월 금융위원회의 망분리 개선 로드맵에 따라 허용된 연구개발망(R&D 망)을 AWS 멀티 계정 아키텍처로 구현하는 방법을 다룬다. 물리적 망분리 대신 논리적 분리로 전환되면서 생성형 AI와 SaaS 서비스 사용이 R&D 망에서 허용됐다. 3계층 VPC 설계, AI 도구 통합, 아티팩트 이전 파이프라인 등 실무 구현 사례를 포함한다.

    #aws#network-security#compliance+2