우리 팀에도 Jarvis 가 생겼다 – 생성형 AI 로 만든 에러 분석가 이야기

컬리 딜리버리 프로덕트 팀이 에러 로그를 찾고 해석하는 데 건당 5~10분 넘게 쓰던 문제를 줄이려고, 생성형 AI(Google Gemini) 기반 자동 에러 분석 시스템 Jarvis 를 만들었다. Slack 으로 에러 알림을 받아 Gemini 로 분석하고 조치 가이드를 다시 Slack 으로 돌려준다. 프롬프트 구조화와 MCP 연동으로 진단 정확도를 크게 끌어올렸다.

핵심 포인트

문제: 에러 로그 위치 파악과 해석에 건당 5~10분 이상 소요돼, 코드에 익숙하지 않은 주니어일수록 대응이 지연됐다.
구조: Slack Event Subscriptions 로 에러를 받아 Gemini API 로 분석하고 조치 가이드를 Slack 으로 회신하며, LangChain 으로 워크플로우를 오케스트레이션한다.
프롬프트 개선: 초기 응답이 부정확해 역할 정의·에러 확인·심각도·근본 원인·조치 단계로 카테고리를 명시한 구조화 프롬프트로 품질을 올렸다.
MCP 연동: 정보 부족이 오답 원인이라 GitHub·Datadog 을 MCP 로 붙여 전체 에러 컨텍스트와 관련 소스 코드를 주입했다.
결과: "로그 봐야 함" 식 대화가 구체적 진단으로 바뀌고 대응 시간이 줄어 한 달 내 생산성 개선을 체감했다.

상세 정리

배경: 에러 발생 시 로그를 찾아 해석하는 시간이 길어 시스템 대응이 지연되고, 코드베이스에 익숙하지 않은 주니어가 특히 어려움을 겪었다.
목표: 에러 분석의 첫 단계를 AI 가 대신해 사람이 원인 파악에 드는 시간을 줄이는 것이다.
3대 기능: Slack 으로 에러 알림 수신, Gemini API 로 에러 분석, 실행 가능한 조치 가이드를 Slack 으로 전달하는 세 가지다.
오케스트레이션: Slack Event Subscriptions 와 LangChain 을 엮어 알림에서 분석·회신까지 흐름을 자동화했다.
프롬프트 5원칙: 명세를 간결·명확히, 대상 시스템과 운영 맥락 명시, 이해에 충분한 컨텍스트 제공, 구체 예시 포함, 예/아니오 대신 열린 질문 사용이다.
프롬프트 구조화: 초기엔 응답이 부정확했으나 역할 정의·에러 확인·심각도 평가·근본 원인·조치 단계 같은 명시적 카테고리를 넣자 출력 품질이 크게 개선됐다.
정보 부족 진단: 프롬프트만으로는 진단에 필요한 정보가 모자라 정확도가 낮다는 점을 인식했다.
MCP 도입: GitHub 와 Datadog 을 Model Context Protocol 로 연결해 Datadog 의 전체 에러 메시지와 Git 저장소의 관련 소스 코드 발췌를 컨텍스트로 확보했다.
효과: 컨텍스트 보강 후 진단 정확도가 크게 올라 before/after 비교로 문서화했다.
운영 변화: Slack 대화가 "로그 확인해볼게요" 에서 구체적 원인 진단으로 이동하며 에러 대응 시간이 크게 줄었다.
향후: 과거 해결 사례가 담긴 Slack 대화를 학습 데이터로 편입해 팀 경험과 지식을 축적하도록 확장할 계획이다.