도구를 잘 만들었더니 Copilot 코드 리뷰가 오히려 나빠졌다 — 실제로 개선한 방법

GitHub 엔지니어링팀이 Copilot 코드 리뷰를 CLI 공유 도구(grep, glob, view)로 마이그레이션하면서 리뷰 품질이 오히려 떨어졌다. 원인은 도구 자체가 아니라 에이전트에게 전달된 "지시문(tool instructions)"이 코드 리뷰 워크플로우와 맞지 않았기 때문이다. 팀은 리뷰 전용 지시문을 재작성해 평균 리뷰 비용을 약 20% 줄이면서 품질을 회복했다.

핵심 포인트

공유 범용 도구를 도입했더니 에이전트가 PR 분석이 아닌 저장소 탐색 모드로 전환되는 문제가 발생했다.
원인은 도구 자체가 아닌 도구 지시문 — 에이전트는 지시문 표현대로 행동 패턴을 결정한다.
"diff 에서 시작 → grep 으로 호출처 검색 → glob 으로 파일 좁히기 → view 로 정확한 범위만 읽기" 순서를 지시문에 명시해 해결했다.
관련 작업을 번갈아 실행하지 않고 배치로 묶어 불필요한 컨텍스트 누적을 차단했다.
결과: 동일 도구로 평균 리뷰 비용 약 20% 절감, 품질 유지.

상세 정리

마이그레이션 배경: Copilot CLI 와 코드 리뷰가 동일 도구 세트를 공유하게 되면서 에이전트가 "PR 조사"가 아닌 "저장소 탐색" 패턴으로 동작하기 시작했다.
증상: 파일 경로를 추측하고, 넓은 범위를 검색하고, 리뷰에 불필요한 컨텍스트를 쌓는 동작이 관찰됐다.
근본 원인: 도구 자체가 문제가 아니라 지시문이 "일반 코딩 작업"용으로 작성되어 "코드 리뷰 작업"과 어긋났다.
해결책: diff 에 있는 변경사항에서 출발하도록 명시, grep/glob 으로 범위를 좁힌 뒤 view 를 호출하는 순서를 지시문에 강제했다.
구체 가이드라인: "diff 에서 변경된 helper 시작 → grep 으로 호출처 탐색 → glob 으로 파일 후보 좁히기 → 관련 범위만 view → 리스크 판단" 패턴을 예시로 제시했다.
배치 원칙: 검색과 읽기를 번갈아 수행하지 않고 관련 작업을 묶어 실행하도록 지시문에 추가했다.
결과 수치: 동일 도구 세트로 평균 리뷰 비용 약 20% 절감 달성. 더 나은 도구가 아닌 맞춤 지시문이 핵심이었다.
시사점: 도구 지시문은 LLM 에게 주는 API 문서처럼 기능한다. 표현 한 줄이 에이전트의 탐색 패턴, 컨텍스트 관리 방식, 조사 깊이를 결정한다.

왜 읽나AI 코드 리뷰나 에이전트 시스템을 설계하는 엔지니어에게 LLM 도구 지시문 설계의 실전 인사이트를 제공한다.

GitHub Engineering 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

도구를 잘 만들었더니 Copilot 코드 리뷰가 오히려 나빠졌다 — 실제로 개선한 방법

이 글과 비슷한

GitHub Agentic Workflows로 크로스 레포 문서 자동화하기

LLM 비용 64% 절감, 캐시 히트율 98% 달성기

[AI 해커톤 후기] 코드와 문서만 읽은 LLM은 어떻게 사람과 같은 팀을 1위로 골랐을까