AI Platform 2.0: LLMOps로 만드는 비즈니스 레버리지 #우아콘2025 #우아한형제들

우아한테크·우아콘 2025 2025·7개월 전·

#ai-platform#llmops#llm-observability#langfuse#prompt-management#llm-gateway

AI 요약

LLM 제품과 비개발자 사용자가 급증하며 provider별 SDK·credential, 외부 장애·정책, prompt 버전, 비용, 실험 재현성, PII, 느린 POC 절차 같은 운영 부채가 쌓인 상황을 다룬다. 이를 안정성·생산성·조직 확장성 세 축으로 정리하고 LLMOps 플랫폼으로 푼 설계가 핵심이다.

핵심 포인트

주 사용자였던 DS·MLE 외에 PM·디자이너·엔지니어·analyst까지 prompt로 제품을 만들기 시작하면서, prompt를 sheet로 관리해 production version·trace 연결이 끊기고 비용·PII·credential 승인이 수작업 병목이 됨
Langfuse 기반 Studio가 prompt의 parameter·version·diff·A/B label과 각 호출의 input/output token·cost·latency·trace를 묶고, dataset·LLM-as-a-judge로 정확도·속도·비용을 비교, UI 한계는 Python module을 감싼 Labs가 보완
GenAI client가 중앙 prompt·credential을 가져와 trace를 자동 기록하고, PII 검사를 SDK code path로 강제(정책 아닌 코드), model 이름만 바꾸면 provider가 교체되는 공통 interface와 fallback·load balancing router 제공, Python 불가 앱엔 OpenAI-compatible gateway
예산·보안·key 발급을 끝내야 개발하던 순서를, 보안 검토 직후 project별 cost tracking·budget alert로 제한된 POC를 먼저 반복하도록 전환

왜 읽나사내 LLM 사용이 개발자를 넘어 확산되며 운영 부채에 눌린 조직에게, prompt·trace·PII·fallback을 표준화해 사용자 약 50%·LLM project 약 69% 성장을 이끈 LLMOps 청사진.

챕터별 상세

011:12 – 4:52

LLM product와 platform 사용자의 확장

Model의 속도·context·비용이 개선되며 사내 AI 과제 중 LLM product 비중이 빠르게 늘고 catalog 생성, review 분석, image 검수처럼 다양한 업무에 적용됐다. 기존 AI platform의 주 사용자인 DS·MLE 외에 PM, designer, backend·frontend engineer와 analyst가 prompt로 product를 만들기 시작하면서 개발자 중심 ML platform만으로는 새로운 운영 방식과 사용자를 지원하기 어려워졌다.

Provider마다 다른 SDK와 credential이 퍼지고 외부 장애·latency·safety policy가 서비스에 직접 전파됐으며, prompt를 sheet로 관리해 production version과 trace를 연결하기 어려웠다. Project별 비용과 budget alert, golden dataset 실험의 재현성, domain expert용 UI, 긴 credential 승인 절차, 외부 요청 전 PII 검사를 각각 수작업이나 정책에 의존해 안정성·개발 생산성·조직 확장성의 병목이 됐다.

Langfuse를 기반으로 만든 Studio는 prompt의 parameter와 version·diff·production·staging·A/B label을 관리하고, 각 LLM 호출의 input·output token, cost, latency와 전체 trace를 연결한다. Dataset과 LLM-as-a-judge 평가로 prompt·model의 정확도·속도·비용을 비교하며, multimodal과 동적 context처럼 UI 실험의 한계는 Langfuse API와 Python module을 감싼 Labs가 보완해 domain expert도 단건·다건 실험을 수행한다.

Studio에 중앙화한 prompt와 credential을 GenAI client가 가져오고 모든 trace를 자동 기록하며, PII module을 SDK에 내장해 외부 provider 호출 전에 개인정보 포함 여부를 정책이 아닌 code path로 강제한다. Model 이름만 바꾸면 provider가 교체되는 공통 interface와 fallback·load balancing router를 제공하고, Python SDK를 쓰지 못하는 application에는 같은 기능을 품은 가벼운 OpenAI-compatible API gateway를 제공한다.

기존에는 예산·보안 검토와 key 발급이 끝나야 개발을 시작했지만, 공통 gateway와 project별 cost tracking·budget alert를 갖춘 뒤 보안 검토 직후 제한된 POC를 반복하고 실제 사용량으로 예산을 검토하도록 순서를 바꿨다. Observability·PII·fallback으로 안정성과 보안을 높이고 domain expert까지 실험에 참여시킨 결과 platform 사용자는 전년 대비 약 50%, LLM project는 약 69% 증가했으며 2025년 과제의 약 82%가 배포됐다.