'bash만으로 충분한가' — SQL vs Bash AI 에이전트 실험

Braintrust 팀이 'bash만으로 AI 에이전트가 구조화 데이터를 처리할 수 있는가'를 실험했다. GitHub 이슈·PR 데이터셋에서 SQL 에이전트, Bash 에이전트, 파일시스템 에이전트를 비교한 결과 SQL이 압도적으로 우수했고 bash는 절반 수준에 그쳤다. 그러나 두 도구를 함께 주자 에이전트가 자발적으로 SQL로 쿼리 후 파일시스템으로 검증하는 패턴을 만들어냈다.

핵심 포인트

SQL 에이전트: 100% 정확도, 토큰 15.5만, 비용 $0.51, 소요 45초 — 압도적 효율.
Bash 에이전트: 52.7% 정확도, 토큰 106.2만, 비용 $3.34, 소요 401초 — 토큰 7배에 정확도 절반.
파일시스템 에이전트(쉘 없음): 63% 정확도, 토큰 127.6만, 비용 $3.89, 소요 126초.
Bash 실패 원인: 68K 파일에 대한 stat() 반복 호출 타임아웃 + JSON 스키마 정보 부재.
SQL + Bash 하이브리드: 에이전트가 자발적으로 SQL 쿼리 후 파일시스템 검증 패턴을 만들어 100% 달성. 단 토큰 2배 소요.

상세 정리

실험 배경: AI 에이전트에게 bash 쉘 접근을 주면 파이썬 스크립트·파일 조작·네트워크 요청까지 유연하게 처리하지만, 구조화 데이터 쿼리에도 같은 유연성이 필요한지 검증하지 않았다.
데이터셋: GitHub 이슈와 PR 데이터를 SQLite DB 또는 JSON 파일 트리로 준비. 에이전트마다 동일한 질문 세트 제시.
SQL 에이전트 우위: SQLite에 직접 SQL 쿼리를 실행하면 선택·집계·조인을 단 몇 단계로 처리 — 인덱스를 활용하므로 파일 순회 없음.
Bash 실패 패턴: 에이전트가 for 루프+stat 형식의 정교한 쉘 명령을 생성했지만 68K 파일 처리 시 타임아웃 발생. 쉘 명령 자체는 맞으나 규모에서 깨졌다.
스키마 컨텍스트 효과: JSON 구조에 대한 설명을 프롬프트에 추가하자 bash 성능이 개선됐다 — 도구 선택만큼 컨텍스트 품질이 중요하다는 시사.
평가 기준 버그: 5개 질문의 정답이 실제 데이터와 불일치하는 걸 발견 — 에이전트 개선 전에 벤치마크 자체의 정확성을 검증해야 한다는 교훈.
하이브리드 자기 점검: SQL + 파일시스템 도구를 동시에 제공하자 에이전트가 SQL로 답을 구한 뒤 파일시스템으로 교차 검증하는 패턴을 자발적으로 만들었다. 100% 달성했지만 토큰 2배.
오픈소스 인프라: 실험에 쓴 평가 프레임워크가 오픈소스로 공개돼 자체 데이터셋과 에이전트로 커스터마이징 가능하다.
핵심 결론: 구조화 데이터에는 전용 도구(SQL)가 유연성(bash)보다 효율적이다. 두 도구 병용은 정확도를 높이지만 비용이 따른다.