2부: 정책을 따르는 평가자, LLM-as-a-Judge

Motorola Solutions의 테스트 엔지니어링 선임 매니저 Suneet Malhotra가 Stack Overflow 팟캐스트에 출연해 MCP(Model Context Protocol) 기반 에이전틱 SDLC 파이프라인 구축과 LLM-as-judge 평가 방법론을 소개했다. QA 엔지니어링 관점을 소프트웨어 개발 생애 전반에 적용하고, 설계 단계 직후 스펙을 강화해 결함 비용을 줄이는 'QA shift-left' 접근을 다룬다.

LY Corporation Security Development Division이 보안 업무용 AI 에이전트 플랫폼 SAGE의 개발 과정을 공개했다. "완전 자동화"와 "도입 미루기" 양 극단 사이에서 "판단은 사람에게 남기는 설계"를 핵심 원칙으로 삼고, 3단계 점진적 도입 전략(AI 보조→에이전트 협업→자동화)을 채택했다. 현재는 1단계를 중심으로 파일럿·실운영 중이다.

실리콘투가 CMS·WMS·OMS 등 사내 시스템에 분산된 업무 지식을 AI 에이전트가 권한 있게 조회하도록 MCP(Model Context Protocol) 기반 단일 게이트웨이를 구축한 과정이다. BM25 키워드 검색과 벡터 검색을 RRF로 융합하고 크로스인코더로 리랭킹해 Recall@10을 0.70에서 0.98로 끌어올렸다.