AI SDK를 위한 소프트웨어 팩토리 구축

Vercel AI SDK는 주간 npm 다운로드 2,000만 회, GitHub 스타 26,000개 규모의 오픈소스 프로젝트다. 이슈 1,000건과 PR 800건이 쌓이자 메인테이너들은 "더 열심히 일하는 대신 자동화 팩토리를 만들기로 했다." 4주 만에 합병 PR의 25~35%를 팩토리가 저작하게 됐다.

핵심 포인트

전용 에이전트(버그 재현, 수정, PR 리뷰, 백포트, 문서, 기능 분석·구현)를 분리해 만능 에이전트보다 유지보수성과 디버깅 효율을 높였다.
모든 외부 입력(이슈, PR, 댓글, 링크)을 잠재적 악성으로 가정, Vercel Sandbox 격리 + 네트워크 차단으로 보안 계층 구성.
"인간 책임감이 신뢰의 핵심"이라는 원칙 하에 팩토리는 사람 리뷰 효율을 높이는 도구로 설계됐다.
4주 결과: 주간 머지 PR의 25~35% 팩토리 저작, v6 백포트의 50%+ 자동화, 이슈 1,022개 → 844개, 버그 약 25% 감소.
팩토리 실행 결과를 success/flawed/blocked/manual로 분류해 프롬프트 개선 신호로 활용하는 자가개선 루프 구축.

상세 정리

문제: 2,000만 주간 다운로드 규모에서 이슈 1,000건+, PR 800건+이 쌓이며 메인테이너가 더 이상 대응 불가.
핵심 설계 원칙 3가지: 인간 책임 유지(모든 변경에 사람 검토), 품질과 보안 비타협(파운데이션 인프라 특성상), 변경 유형별 리뷰 깊이 차별화(문서 수정 ≠ 신규 공개 API).
에이전트 전문화: 버그 재현·수정·PR 리뷰·백포트·문서·기능 분석·구현 에이전트를 각각 분리. 만능 에이전트 대비 유지보수와 디버깅이 쉽다.
보안 아키텍처: 이슈 본문, PR 댓글, 링크 등 모든 외부 입력을 악의적 콘텐츠로 가정. Vercel Sandbox에 필요한 시크릿만 격리, 네트워크 차단으로 시크릿 유출 방지, 머지 전 사람 리뷰 필수.
인프라: CLI로 로컬 테스트 후 Vercel Functions + Queues + Blob + Sandboxes + Postgres 기반 클라우드로 이전.
실전 예시(이슈 #17898): OpenAI 웹검색 차단 도메인 지원 요청 → 분류 → 분석(테스트 코드 작성) → 구현(PR #18033) → 자동 리뷰(위험도 낮음 판정) → 사람 머지 → v5/v6 백포트(충돌 해결 포함). 처음부터 끝까지 팩토리가 처리.
백포트 자동화: 머지 충돌 해결 비용 때문에 수동으로는 생략되던 백포트가 이제 v6 주간 머지의 50%+ 차지.
증거 체인: 팩토리가 리뷰어를 위해 기능 부재 확인 테스트, 구현 증거, 리스크 점수를 생성하므로 리뷰어가 변경 규모에 맞는 노력으로 검토 가능.
피드백 루프: 팩토리 실행 결과를 success/flawed/blocked/manual 4가지로 분류, 각 결과를 프롬프트 개선 신호로 활용.
의도적 경계: 신규 공개 API, 보안 관련 변경, 아키텍처 결정은 팩토리 범위 밖으로 명시적 제외.