AI / ML·
토스 SLASH·
토스 SLASH·DS와 MLE가 함께 일하는 법
토스뱅크 ML 팀이 DS와 MLE 간 협업 방식을 1년 동안 세 단계에 걸쳐 개선한 과정을 다룬다. Jupyter 노트북 전달 방식에서 추상화 인터페이스 기반 패키지 계약으로 전환해 "첫 커밋 당일 배포"를 달성했다.
#mlops#monorepo#machine-learning+2
AI / ML·
Vercel Blog·
Vercel Blog·Vercel AI Gateway에서 Qwen3-Coder 지원 시작
Vercel AI Gateway가 Alibaba Cloud QwenLM 개발의 코딩 특화 모델 Qwen3-Coder를 지원한다. 복잡한 멀티스텝 코딩 워크플로우에 최적화된 이 모델을, AI Gateway를 통해 별도 프로바이더 계정 없이 단일 API로 사용할 수 있다. AI SDK v5 기반 한 줄 설정으로 즉시 적용 가능하다.
핵심 포인트
- AI SDK v5에서 "alibaba/qwen3-coder" 모델 ID 한 줄로 사용 가능
- Vercel AI Gateway는 멀티 프로바이더(Cerebras, DeepInfra, Parasail)를 단일 API로 추상화
- BYOK(Bring Your Own Key) 지원, 사용량 추적 및 비용 모니터링 기본 내장
- 자동 retry, failover, 인텔리전트 라우팅으로 안정적인 모델 서빙 보장
- 별도 프로바이더 계정 불필요 — 통합 청구 및 단일 설정으로 운영 단순화
상세 정리
- Qwen3-Coder는 복잡한 코딩 워크플로우 특화 모델 — 단순 자동완성을 넘어 멀티스텝 작업에 강점
- Cerebras, DeepInfra, Parasail 등 여러 백엔드 프로바이더를 통해 고가용성 확보
- AI Gateway의 지능형 라우팅이 프로바이더 가용성에 따라 자동으로 트래픽 분산
- 비용 추적 및 성능 관측성(observability)이 게이트웨이 레이어에서 일괄 처리
왜 읽나코딩 특화 LLM을 프로덕션에 빠르게 붙이려는 팀에게, AI Gateway가 멀티 프로바이더 인프라 복잡도를 어떻게 추상화하는지 보여주는 실용적인 사례다.
읽음 (0)
이 글과 비슷한
- AI / ML·
NHN Cloud·AI와 개발하기: 숨은 결정을 드러내기
AI 에이전트와 협업할 때 자연어 요구사항을 그대로 구현 프롬프트로 넘기면, 비즈니스 의도 뒤에 숨은 기술 결정이 AI의 몫으로 넘어간다는 문제를 다룬다. NHN Cloud 개발자가 "grill-me" 인터뷰 패턴을 활용해 구현 전에 기술 결정을 명시적으로 확정하는 방법론을 소개한다.
#ai-agent#llm#prompt-engineering+2 - AI / ML·
LY Corporation·Grafana에서 자연어로 장애 원인을 분석하기: LLM 에이전트 기반 SRELens 개발기
LY Corporation Home SRE 팀이 장애 분석 시 메트릭·로그·트레이스가 각각 다른 화면에 흩어져 있는 문제를 해결하기 위해 Grafana 플러그인 SRELens를 개발했다. SRELens는 LLM 에이전트가 자연어 질의를 받아 실제 관측성 데이터를 조회하고, 근거와 함께 장애 원인 후보를 정리해 주는 도구다. LGTM-P 스택(Loki·Grafana·Tempo·Mimir·Pyroscope)과 FlavaMCP 게이트웨이를 통합해 단일 채팅 인터페이스에서 멀티시그널 분석이 가능하다.
#llm-app#mcp#observability+2