Cloudflare 팀이 오픈소스 Astro 저장소에 AI 에이전트 기반 이슈 트리아지 파이프라인을 구축해 200개 이상이었던 오픈 이슈를 30개 수준으로 줄인 과정을 공유한다. 에이전트가 버그를 재현·진단·수정·검증하는 전 과정을 자동화하며, 이 과정에서 만든 Flue 프레임워크도 오픈소스로 공개됐다.
핵심 포인트- AI 에이전트 파이프라인이 GitHub 이슈를 자동으로 재현, 진단, 수정, 검증하는 4단계 트리아지를 수행한다.
- LLM이 해결책을 억지로 만들려는 편향을 막기 위해 각 단계를 독립된 서브에이전트가 맡고, 결과는 report.md로 순차 전달한다.
- 전체 파이프라인은 GitHub 이슈 라벨로 구동되는 상태 머신으로 설계돼 별도 상태 저장이 불필요하다.
- AI 수정 실패는 코드 문서 부족·추상화 경계 불명확·테스트 커버리지 부족 세 가지 중 하나를 가리키는 신호로 활용한다.
- 동일 로직이 GitHub Actions, Slack, cron, 웹훅 어디서든 동일하게 동작하도록 Flue 프레임워크로 일반화했다.
상세 정리- 배경: AI 붐으로 이슈·PR·보안 보고서 생성 비용이 거의 0에 가까워지면서 오픈소스 유지관리자의 검토 부담이 급증했다.
- 목표: 5년 역사상 최초로 오픈 이슈 0건 달성. 이슈 일괄 종료나 자동 클로즈 없이 실제 해결로만 접근.
- 트리아지 스킬 구조: Reproduce(재현) → Diagnose(진단) → Verify(검증) → Fix(수정) 4단계. 각 단계는 독립 서브에이전트가 담당하고 결과를 report.md로 다음 에이전트에 전달.
- 상태 머신 설계: 파이프라인이 별도 DB 없이 GitHub 이슈 라벨만으로 상태를 추적한다. 새 이슈는 triage needed 라벨로 시작, 보고자가 수정을 확인하면 fix verified로 전환.
- 자동 릴리즈: 수정안 확정 시 pkg.pr.new로 프리뷰 릴리즈를 생성해 이슈에 설치 방법과 함께 게시. 원 보고자가 자신의 프로젝트에서 직접 검증 가능.
- 에이전트 실패 → 코드 개선: HMR 버그 처리 중 특정 if 조건 수정이 반복 실패하자, 해당 로직에 주석을 추가했더니 에이전트가 올바른 방향으로 수정 방식을 전환했다.
- Flue 프레임워크: GitHub에 특화되지 않은 범용 에이전트 워크플로우 런타임. Slack 메시지, cron, 웹훅 등 어느 트리거에서도 동일하게 동작.
- triagebot-action: 로직을 독립 GitHub Action 저장소로 분리해 재사용성과 테스트 가능성 확보. 다른 팀들이 포크해 자체 자동화 파이프라인 구축 중.
- 결과: 200+ 오픈 이슈에서 30개 수준으로 감소. 유지관리자는 Discord 커뮤니티·RFC 논의·기여자 협업에 집중하게 됐다.
왜 읽나AI 에이전트로 오픈소스 저장소 유지관리를 자동화하거나 멀티 에이전트 파이프라인 설계(서브에이전트 격리·상태 머신·실패 학습 루프)를 실전에서 배우고 싶은 엔지니어에게.
Cloudflare Blog·