AI / ML·
토스 SLASH·
토스 SLASH·DS와 MLE가 함께 일하는 법
토스뱅크 ML 팀이 DS와 MLE 간 협업 방식을 1년 동안 세 단계에 걸쳐 개선한 과정을 다룬다. Jupyter 노트북 전달 방식에서 추상화 인터페이스 기반 패키지 계약으로 전환해 "첫 커밋 당일 배포"를 달성했다.
#mlops#monorepo#machine-learning+2
AI / ML·
Stack Overflow Blog·
Stack Overflow Blog·코드 안에 뭐가 들어있는지 모를 때 어떻게 테스트할까?
문제LLM 에이전트는 툴 호출 순서를 동적으로 정하기 때문에 결정적 단위 테스트를 그대로 적용하면 워크플로우를 과하게 제약하거나 깨진다.
접근skeleton test 로 특정 툴 시퀀스가 발생했는지만 검증하고, eval 은 다른 LLM 으로 출력 자체를 평가하는 확률적 테스트로 옮긴다. prompt 마법에 의존하지 말고 모델 발전을 막지 않는 방향으로 테스트 추상화 수준을 끌어올린다.
결과전통 unit test 가치는 낮아지고 vision·상호작용 기반 통합 검증이 중심이 된다. 차별화는 결국 데이터 locality 와 데이터 구축 능력에서 나온다는 결론.
읽음 (0)
이 글과 비슷한
- AI / ML·
NHN Cloud·AI와 개발하기: 숨은 결정을 드러내기
AI 에이전트와 협업할 때 자연어 요구사항을 그대로 구현 프롬프트로 넘기면, 비즈니스 의도 뒤에 숨은 기술 결정이 AI의 몫으로 넘어간다는 문제를 다룬다. NHN Cloud 개발자가 "grill-me" 인터뷰 패턴을 활용해 구현 전에 기술 결정을 명시적으로 확정하는 방법론을 소개한다.
#ai-agent#llm#prompt-engineering+2 - AI / ML·
LY Corporation·Grafana에서 자연어로 장애 원인을 분석하기: LLM 에이전트 기반 SRELens 개발기
LY Corporation Home SRE 팀이 장애 분석 시 메트릭·로그·트레이스가 각각 다른 화면에 흩어져 있는 문제를 해결하기 위해 Grafana 플러그인 SRELens를 개발했다. SRELens는 LLM 에이전트가 자연어 질의를 받아 실제 관측성 데이터를 조회하고, 근거와 함께 장애 원인 후보를 정리해 주는 도구다. LGTM-P 스택(Loki·Grafana·Tempo·Mimir·Pyroscope)과 FlavaMCP 게이트웨이를 통합해 단일 채팅 인터페이스에서 멀티시그널 분석이 가능하다.
#llm-app#mcp#observability+2