Cloudflare AI Gateway에 신원 인식 분석 기능이 추가됐다. 조직 내 누가 AI를 어떻게 쓰는지 파악하기 어렵다는 문제를 해결하기 위해, 인증된 사용자 신원과 행동 베이스라인을 결합해 이상 사용을 탐지한다. Identity-aware AI Gateway는 오픈 베타, User Insights는 모든 고객에게 무료로 공개됐다.
핵심 포인트- Cloudflare Access와 연동해 SAML 인증 기반 사용자 신원을 모든 AI 요청에 첨부하고, 요청마다 cf.user_id로 추적할 수 있다
- User Insights는 계정별 30일 rolling p95 세션 비용을 개인 베이스라인으로 삼아 2배 이상 이탈을 이상 신호로 탐지한다
- 사용자별 지출 한도를 설정해 초과 시 요청 차단 또는 저렴한 모델로 폴백할 수 있다
- 이상 탐지는 정책 위반이 아닌 행동 패턴 이탈을 감지하므로 크리덴셜 탈취나 에이전트 폭주의 초기 신호를 포착한다
- 계정별 p95와 조직 전체 p99를 이중 임계값으로 설정해 소액 마이크로 사용자의 노이즈 알림을 제거한다
상세 정리- 배경: Stanford 보고서에 따르면 59%의 조직이 AI 거버넌스의 최대 장벽으로 지식 격차를 꼽는다. 공유 API 키 환경에서는 누가 AI를 얼마나 쓰는지 파악이 불가능하다.
- AI Gateway 아키텍처: OpenAI, Anthropic, Google, Workers AI로 가는 모든 요청을 중간에서 라우팅해 단일 관찰·제어 포인트를 제공한다. Claude Code, Codex, GitHub Copilot 같은 코딩 도구도 라우팅 대상이다.
- Identity-aware 통합: Cloudflare Access로 Gateway에 커스텀 도메인을 설정하면 모든 요청에 인증된 cf.user_id가 첨부된다. Okta, Entra 등 SAML 지원 IdP와 연동하며 Cloudflare API 키 배포가 불필요해진다.
- 세션 스코어링: 단일 요청 대신 세션 단위로 점수를 매긴다. 계정의 30일 rolling p95 세션 비용을 개인 베이스라인으로 삼아, 헤비 유저와 소액 에이전트를 동등하게 비교한다.
- 이중 임계값: 사용자 p95의 2배(상대 이탈)와 조직 전체 p99 달러 기준(절대 금액)을 모두 초과해야 알림이 발생한다. 마이크로 사용자의 500배 이탈이 노이즈 알림으로 이어지지 않도록 달러 플로어를 설정했다.
- 동적 베이스라인: 롤링 p95를 사용하므로 임계값이 사용 패턴 변화에 자동 적응한다. 계정의 습관이 바뀌면 기준선도 함께 이동해 오래된 임계값 문제가 없다.
- Flexport 사례: 공유 API 키로 누가 AI를 쓰는지 파악이 불가능한 문제를 Access 연동으로 해결했다. 모든 요청에 인증된 신원이 첨부되고 기존 IdP 정책을 AI Gateway에 그대로 적용할 수 있게 됐다.
- 향후 계획: 태스크 기반 스마트 라우팅(요청 특성에 따라 최적 모델 자동 선택)과 프롬프트 분류(코딩·작문 등 카테고리화, 내부자 위험 탐지)를 개발 중이다.
왜 읽나AI 사용 비용 거버넌스와 보안을 담당하는 인프라·보안 엔지니어에게, 에이전트 이상 행동과 크리덴셜 탈취를 통계적 행동 베이스라인으로 탐지하는 시스템 설계 레퍼런스.