에이전트 옵저버빌리티 - AI 에이전트의 '조용한 실패'를 잡는 법

AI 에이전트가 HTTP 200을 반환하면서 잘못된 결과를 조용히 생성하는 "silent failure"를 잡기 위한 에이전트 옵저버빌리티 개념과 구현 방법을 소개하는 실전 가이드. APM·LLM 옵저버빌리티와의 차이를 정의하고, Langfuse + Gemini를 활용한 PR 리뷰 에이전트 실습으로 트레이스→평가→데이터셋→개선의 운영 루프를 보여준다.

핵심 포인트

에이전트 옵저버빌리티 정의: 에이전트의 추론·도구 호출·상태 변화·메모리 연산 전 단계를 기록해 "무엇을 왜 했는지" 재구성. 다중 스텝 실행 전체를 하나의 관찰 단위로 추적 (APM/LLM 옵저버빌리티와의 핵심 차이)
3가지 silent failure 문제: ①감지 실패(HTTP 200이지만 잘못된 출력) ②진단 어려움(최종 출력만으로 어느 스텝 실패인지 불명) ③방지 공백(기록 없어 동일 실수 반복)
6단계 운영 루프: 에이전트 실행 → 트레이스 수집 → 평가(태스크별 기준 점수) → 데이터셋 누적(낮은 점수 케이스 = 테스트 케이스) → 개선(프롬프트/모델/도구 수정) → 실험·배포 게이트
도구 비교: 오픈소스(Langfuse - OpenTelemetry 기반, Arize Phoenix - 내장 평가 메트릭) vs 상용(LangSmith - LangChain 생태계, Braintrust - CI/CD 게이팅)
실습: Langfuse + Google Gemini 무료 티어로 PR 리뷰 에이전트 구축 — 실제 LLM 의사결정 단계별 트레이스, 자동 평가 + 수동 어노테이션, 실패 케이스 → 회귀 데이터셋 변환
OpenTelemetry 표준 권장: 벤더 종속 최소화를 위해 OTel 기반 계측 선택, 나중에 도구를 바꿔도 트레이스 구조 유지

상세 정리

프로덕션 실패 → 평가 데이터셋 변환이 핵심 선순환: 실제 실패가 테스트 케이스로 쌓여 개선이 데이터 기반으로 진행
자동 점수는 예비 필터 역할: 최종 판정이 아닌 주의가 필요한 케이스 선별용 — 자동 코드 평가 + 수동 어노테이션 병행
평가 중요도별 모델 비용 차등화: 중요한 평가에는 상위 모델, 반복적·대량 평가에는 저비용 모델
데이터 민감성 정책을 옵저버빌리티 시작 전에 수립: 트레이스 기록에 포함되는 PII·비즈니스 민감 정보 처리 기준 먼저 정의
LLM 옵저버빌리티 vs 에이전트 옵저버빌리티: LLM은 개별 모델 호출(토큰/지연/비용)을 추적, 에이전트는 다중 도구·LLM 호출을 포함한 전체 태스크 흐름을 추적
에이전트 평가 기준 설계: 태스크별로 "무엇이 좋은 결과인지"를 먼저 정의해야 유의미한 점수 산출 가능
Langfuse 특징: OpenTelemetry 기반 수집으로 SDK 종속 없이 다양한 에이전트 프레임워크와 통합
Braintrust 특징: CI/CD 게이팅에 최적화 — PR마다 에이전트 품질 회귀를 자동 차단 가능