코드를 거의 타이핑하지 않고 3주 만에 DL모델 만들기

여기어때 랭킹추천개발팀 엔지니어가 혼자, GPU 서버 1대, 학습 한 번에 3시간 걸리는 환경에서 3주 만에 검색용 DL 모델을 만든 과정을 다룬다. 학습 코드·평가 코드·데이터 생성 스크립트 대부분을 AI 에이전트가 작성했고, 엔지니어는 읽고 고치는 역할에 집중했다. 결론적으로 모델 구조보다 데이터 품질(모순 제거 + LLM 합성)이 성능을 만들었고, 자동화된 루프와 회귀 테스트가 빠른 실험 사이클을 가능하게 했다.

핵심 포인트

에이전트에게 서버 접근 권한을 주지 않고 명령 생성 → 사람이 실행 → 로그 원문 복사 → 에이전트 분석 루프로 환경 에러 해결 시간을 30분에서 2분으로 줄였다.
세션-학습 분리, 체크포인트, 메모리 감시견, 2분 리허설 4가지를 붙인 뒤에야 밤에 걸고 아침에 읽는 무인 루프가 안정적으로 돌았다.
학습 데이터 내 정답/오답 모순 제거 후 처음으로 기준선을 넘었고, 없는 유형은 LLM으로 합성해 최종 성능을 만들었다.
학습이 도는 3시간 동안 논문 14편을 에이전트와 함께 훑었고, 그 중 2편이 최종 실험 설계에 반영됐다.
새 모델 출시 때마다 ./verify.sh 회귀 테스트로 기준 숫자를 확인해 망설임 없이 갈아탔다.
마크다운 작업 기록을 에이전트가 커맨드 한 줄로 위키에 업로드해 별도 문서화 없이 기록이 남았다.

상세 정리

배경: 검색 품질 개선을 위한 DL 모델을 1인, GPU 1대, 학습 3시간 환경에서 빠른 반복으로 만들어야 했다.
에이전트 역할 분리: 서버 접근 권한은 사람만 보유. 에이전트는 명령을 만들고 로그를 읽을 뿐, 실행 버튼은 사람이 누른다. 이 원칙이 가장 크게 바뀐 지점이었다.
로그는 요약 없이 원문 그대로 붙여넣는다: 사람이 추려서 주면 중요한 단서가 빠진다. 로그 원문을 그대로 넘기면 원인과 수정 명령이 함께 나온다.
반복 명령 스크립트화: 세 번 붙여넣은 명령은 에이전트가 스크립트로 굳혔다. 데이터 받기·학습 시작·결과 검증이 한 줄로 처리됐다.
무인 루프 4요소: 세션-학습 분리(접속이 끊겨도 학습 지속), 체크포인트(중단 지점부터 재시작), 메모리 감시견(비정상 점유 시 해당 작업만 자동 종료), 2분 리허설(3시간짜리 걸기 전 20스텝 먼저 검증).
주말 사고가 자동화를 만들었다: 첫 주 하루, 둘째 주 주말 전체를 설정 오류와 경로 검증 누락으로 날렸다. 이 실패가 4요소를 만든 계기였다.
데이터 모순 제거가 기준선 돌파: 학습 데이터에서 같은 항목이 정답/오답 양쪽에 존재하는 모순을 걷어내자 처음으로 기준선을 넘었다.
LLM 데이터 합성: 사용자 로그에 없는 검색 유형을 유형 정의 → 대량 생성 → 검수 → 필터 → 재생성 파이프라인으로 만들었다. 최종 성능은 모델 구조보다 이 데이터가 만들었다.
학습 대기 시간을 공부에 쓴다: 3시간 학습이 돌아가는 동안 에이전트와 함께 논문 14편을 훑었다. 에이전트가 관련 논문 추천, 한글 정리, 수식 풀이, 용어집을 제공했다.
Claude Code 플러그인 활용: academic-research-skills, Paper2Code를 설치해 커맨드를 확장했고, 직접 만들 필요 없는 건 가져다 썼다.
도구 업그레이드 관리: 실험 중 새 모델 출시마다 ./verify.sh로 기준 수치 유지 여부 확인(PASS/FAIL). 수치가 달라지면 원인부터 파악한 뒤 갈아탔다.
이상함 감지는 사람 몫: 스크립트가 수치를 잡고, 논리적 이상함은 사람이 근거를 되물어 정정했다. 그냥 넘기면 잘못된 결과 위에 다음 실험을 설계하게 된다.