GS Neotek의 Claude Code on Amazon Bedrock 도입기: LLM Gateway 없는 경량화 사용자 통제 방안

GS Neotek이 전사 Claude Code on Amazon Bedrock 도입 시 사용자별 비용 거버넌스를 LLM Gateway 없이 구현한 사례다. Bedrock Invocation Log → S3 → Athena → Lambda → DynamoDB → IAM 정책 업데이트로 이어지는 준실시간 파이프라인으로, 5분 간격 실행으로 예산 초과 사용자를 자동 차단한다.

핵심 포인트

LLM Gateway는 실시간 DLP, 모든 요청 정책 집행, 토큰 대비 성능 세밀 추적이 필요할 때만 정당화된다. 개발·유지 오버헤드가 이점을 초과하는 경우가 많다.
Bedrock Model Invocation Logging으로 identity.arn과 토큰 수(입력/캐시 읽기·쓰기/출력)를 캡처해 Athena로 사용자별 비용 집계.
예산 초과 사용자는 IAM 관리형 정책에 bedrock:InvokeModel 명시적 Deny 조건을 추가해 차단. IAM의 Deny 우선 원칙을 활용.
EventBridge로 5분 간격 실행, 비용 집계 지연과 집행 타이밍 사이의 트레이드오프를 사용 조직이 결정.
50~200명 규모 조직에 최적. 요구사항이 커지면 LLM Gateway로 선택적 마이그레이션 가능.

상세 정리

배경: 전사 코딩 어시스턴트 도입 시 사용자별 비용 거버넌스가 필요했으나 전용 Gateway는 운영 오버헤드가 컸다.
LLM Gateway 정당화 기준: 요청별 실시간 DLP 검사/수정, 전체 호출 실시간 정책 집행, 토큰 대비 성능 세밀 추적이 필요한 경우.
Gateway 한계: 개발 오버헤드, 지속적 유지보수 부담, 고정 인프라 비용, 보안 패치 추적 등.
비용 계산: Bedrock 로그에서 입력/캐시 읽기·쓰기/출력 토큰 수 추출 후 Anthropic 가격 구조(표준/장문 컨텍스트 계층) 적용.
Athena 집계: S3 파티션 프루닝으로 쿼리 비용 최소화, request ID 기반으로 스트리밍 응답 중복 제거, 사용자·모델별 집계.
Lambda 함수: month + identity_arn 복합 키로 DynamoDB에 사용자별 월 누적 비용 저장.
예산 집행: 실제 비용과 사용자별(또는 기본) 예산 비교, 초과 시 IAM 정책에 bedrock:InvokeModel Deny 조건 추가.
차단 메커니즘: IAM 명시적 Deny 우선 원칙 활용, SSO 환경(IAM Identity Center)도 동일하게 지원.
실행 주기: EventBridge 스케줄 5분 간격. 집행 지연 허용 가능 시간을 조직 정책으로 설정.
장점: 고정 인프라 비용 없음, 별도 앱 개발 불필요, 보안 노출 면적 최소화, Athena+Lambda 자동 스케일링.

왜 읽나LLM 코딩 도구를 조직에 도입할 때 Gateway 없이 AWS 네이티브 서비스만으로 비용 통제와 사용자 차단을 구현하고 싶은 클라우드 아키텍트와 플랫폼 엔지니어에게 실전 설계 레퍼런스.

AWS Korea Tech 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

GS Neotek의 Claude Code on Amazon Bedrock 도입기: LLM Gateway 없는 경량화 사용자 통제 방안

이 글과 비슷한

[구축사례] kt cloud PLATFORM Observability Alert 플랫폼 구축하기

[AI활용] Claude 실무편 - kt cloud VM에서 PR 리뷰 자동화하기

AI 기반 SCTE-35 자동 삽입으로 라이브 스트리밍 광고 운영 자동화하기