Amazon Bedrock 추론 프로필로 생성 AI 비용 추적하기

여러 팀이 Amazon Bedrock으로 같은 파운데이션 모델을 공유할 때 비용이 단일 청구 항목으로 합산돼 팀별 차지백이나 예산 할당이 불가능하다. 이를 해결하기 위해 Application Inference Profile에 태그를 붙여 팀별 비용을 분리 추적하는 아키텍처를 다룬다.

핵심 포인트

Application Inference Profile은 파운데이션 모델을 감싸는 태그 래퍼다. 모델 자체를 복제하지 않고 비용 귀속 경로만 분리한다.
팀별 프로필을 생성하고 Team 비용 할당 태그를 활성화하면 AWS Cost Explorer에서 팀별 지출을 분리 조회할 수 있다.
태그 활성화 후 비용이 Cost Explorer에 반영되기까지 24~48시간이 소요된다.
추가 요금 없이 기존 모델 요금에 포함되며, 단일 IAM 역할로 모든 팀 관리가 가능하다.
CloudWatch, AWS Budgets과 연동해 팀별 임계값 알림도 설정할 수 있다.

상세 정리

문제 배경: 단일 파운데이션 모델을 여러 부서가 공유하면 비용이 하나의 청구 항목으로 집계돼 팀별 차지백, 예산 설정, 고비용 팀 파악이 불가능하다.
핵심 개념: Application Inference Profile은 파운데이션 모델의 태그 래퍼다. 동일 모델을 공유하면서도 부서마다 별도 프로필 ARN을 할당해 트래픽을 라우팅한다.
프로필 생성: HR, Accounting, IT 등 각 부서마다 같은 모델을 바라보지만 Team 태그 값이 다른 Application Inference Profile을 별도로 생성한다.
태그 활성화: AWS Billing and Cost Management 콘솔에서 Team 비용 할당 태그를 활성화해야 Cost Explorer에서 태그 기준 조회가 가능하다. 활성화 후 데이터 반영까지 24~48시간이 걸린다.
애플리케이션 수정: 모델 ARN 직접 호출 대신 부서별 프로필 ARN으로 라우팅하도록 코드를 변경한다. 사용자 부서를 판별해 해당 프로필로 요청을 보낸다.
비용 조회: Cost Explorer에서 Team 태그로 그룹화하면 부서별 지출이 별도 항목으로 표시된다.
확장성: 새 부서 추가 시 태그가 다른 새 프로필을 생성하기만 하면 되고, IAM 역할 변경은 불필요하다.
추가 연동: CloudWatch Metrics, AWS Budgets과도 호환돼 팀별 비용 임계값 알림 설정이 가능하다.

왜 읽나Bedrock을 여러 팀이 공유하는 조직에서 팀별 AI 비용을 분리 추적하고 차지백을 구현하려는 클라우드 아키텍트, FinOps 담당자에게 구체적인 구현 방법을 제공한다.

AWS Architecture 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

Amazon Bedrock 추론 프로필로 생성 AI 비용 추적하기

이 글과 비슷한

엔터프라이즈 보안 요구사항을 충족하는 프라이빗 Amazon Bedrock AgentCore 구축하기

OpenTofu와 Argo CD로 구성하는 GitLab 기반 AWS 제어 플레인

Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례