AI 토큰 사용량 전사 1위 개발자가 148,000번의 대화에서 배운 것

3월 한 달 약 100억 토큰으로 전사 1위를 기록한 개발자의 회고 1편이다. 생산성 차이는 AI를 많이 쓰는 게 아니라 어떻게 일하게 하느냐에서 온다는 것을 53일치 메트릭으로 논증한다.

핵심 포인트

53일간 940 세션·2,594 서브에이전트·148,000 대화, 도구 호출 177,590회로, 1회 입력에 AI가 약 10회 행동하도록 설계했다.
AI 활용을 질의응답→코드 생성→도구 연결→오케스트레이션→멀티에이전트 자율화 5단계로 구분하고, 생산성 차이는 모델이 아니라 어느 단계인가에서 발생한다고 본다.
작업은 탐색·플래닝·분해·구현·검증·기록 6단계이며 하나라도 빠지면 품질이 떨어지고 특히 탐색이 출발점이다.
AI는 원인 축소·가설 고착·국소 최적화·환경 맹점·탐색 중단 5가지로 반복해서 실패하며 모두 컨텍스트 품질 부족으로 수렴한다.
도구 호출 177,590건 분석 결과 읽기:쓰기가 10:1로, 정확한 탐색이 빠른 생성보다 중요하다.

상세 정리

역할 변화: 코드 작성보다 작업을 쪼개고 계획하고 검증하는 데 시간을 쓰게 됐다.
5단계 레벨: 질의응답→코드 생성→도구 연결→오케스트레이션→멀티에이전트 자율화로 나뉘며 대부분의 활용이 코드 생성(Level 2)에 머물고, 같은 모델이라도 Level 2와 Level 4의 결과물은 구조적으로 다르다.
6단계: 탐색(도메인·코드베이스 파악)이 전체 품질을 결정하고, 플래닝은 작업당 30분~2시간 심층 인터뷰, 분해는 병렬 단위·의존성 식별, 검증은 테스트·Playwright 브라우저·E2E, 기록은 세션을 자산으로 만든다.
실패 패턴 원인 축소: 증상만 보고 근본 원인을 놓쳐 "끝까지 추적해"로 종료 지점을 명시한다.
사례(알림톡 VOC): 카드 미등록인데 등록 알림톡이 발송, AI가 카프카 발행으로 원인을 고착했으나 실제는 feign 동기호출 체인이었다(원인 축소 + 가설 고착).
사례(OTEL 플러그인): 버그 6개가 양파처럼 겹쳐 하나 고치면 다음이 드러나는 구조를 탐색 중단 없이 끝까지 추적했다.
나머지 실패 대응: 국소 최적화는 수정 후 전체 영향도 확인, 환경 맹점은 환경 지식을 PROJECT.md에 축적, 탐색 중단은 Ralph 루프로 종료 조건까지 반복한다.
읽기:쓰기 10:1: Uncle Bob의 "읽는 시간이 쓰는 시간의 10배"를 데이터로 확인, 초기엔 탐색 없이 "해줘"라 재작업이 많았으나 탐색 비중을 늘려 수렴했다.
병렬 탐색: 하나의 에이전트가 코드베이스를 순차로 훑는 대신 3~5개가 패턴·의존성·유사 코드를 서로 다른 관점으로 동시에 탐색한다.
컨텍스트 소스: 사용자 프롬프트·코드베이스(탐색 에이전트 3~5개 병렬)·컨플루언스/위키·웹 검색·과거 세션 시맨틱 검색을 쓴다.
컨텍스트 품질: 패턴·비즈니스 규칙·과거 의사결정을 함께 주면 재작업 비율이 3~4배 차이, 단 윈도우 한계로 무작정 많이가 능사는 아니다.
예고: 2편에서 로컬 RAG·Task DAG·Branch Hunt·Ralph Loop를 상세히 다룬다.