musinsa

문제AI 코딩 도구가 만들어내는 코드 양이 많아지면서 사람 리뷰어의 병목이 심해진다.

접근무신사가 The Machine 시리즈로 시도한 LLM-as-a-Judge — AI 생성 코드를 또 다른 AI 가 평가하도록 자동화. 1차 리뷰는 AI 가 처리, 사람은 핵심 이슈만 본다.

결과PR 처리 속도 + 리뷰 품질 개선. AI 생성 코드의 가드레일 패턴으로 자리매김.

문제코드만 보고 의미 있는 테스트를 자동 생성하기는 어렵다. LLM 에 맡기면 hallucination 으로 부정확한 케이스를 만든다.

접근무신사가 Gemini API 로 테스트 케이스 자동 생성을 시도하면서 실패 패턴 정리. 도메인 컨텍스트 + RAG 로 코드 외부 지식을 주입해 품질을 끌어올림.

결과단순 코드 변환 한계를 인정하고, 컨텍스트 강화로 의미 있는 테스트 비율 개선. LLM 기반 테스트 자동화의 현실적 한계와 패턴 정리.

문제단위 테스트 작성은 시간이 많이 들고, 우선순위에서 밀려 테스트 커버리지가 낮은 상태로 누적된다.

접근무신사가 AI 에 테스트 코드 작성을 위임. 단순 mock 호출이 아닌 의미 있는 케이스를 만들기 위해 도메인 컨텍스트 / 시나리오를 prompt 에 주입.

결과테스트 커버리지가 8배 증가. AI 생성 테스트의 한계(엣지 케이스 누락) 와 검증 방법까지 정리해 운영 적용 가이드 제공.

문제상품 후기 10만 개를 사용자가 다 읽을 수 없다. 의미 있는 부분만 골라 보여줘야 구매 결정에 도움이 된다.

접근무신사가 LLM 으로 후기를 요약. 긍정/부정 의견 분리, 핵심 사이즈/품질 포인트 추출, 환각/허위 정보 가드레일 적용.

결과구매 전 의사결정 시간 단축 + 사이트 체류 효과 동시 확보. e-commerce LLM 적용의 실전 사례.

문제로그가 틀리면 그에 기반한 분석/고객 응대도 틀린다. 데이터 품질 문제는 down-stream 의 모든 결정을 망친다.

접근무신사가 데이터 quality gate, 로그 검증 룰, 이상치 자동 알람 같은 데이터 엔지니어링 패턴을 정착.

결과데이터 품질 문제가 발생 즉시 감지되고, 잘못된 데이터로 의사결정 / 고객 응대가 나가는 빈도가 줄었다.