pile·
AI / ML·네이버 플레이스네이버 플레이스·

ML gpu model server 성능을 유지하며 cpu server로 전환한 경험 공유

문제한정된 GPU를 큰 모델 학습에 쓰려고 작은 모델들을 CPU 서빙으로 옮겼더니, 초기엔 처리량 10배 저하·응답 10배 지연이 발생했다.
접근PyTorch 스레드를 물리 코어 수에 맞춰 잡고, IPEX(Intel Extension for PyTorch)로 코어 피닝을 적용한다. Knowledge Distillation from A Stronger Teacher 기법으로 정확도를 유지하며 모델을 경량화한다.
결과음식 분류기 2.5→84 RPS(약 34배), 이미지 점수 측정기 2.1→62 RPS(약 30배)로 회복했다. 연 4억 원, GPU 30개를 절감했다.
네이버 플레이스
네이버 플레이스 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. AI / ML·stackoverflow-blogStack Overflow Blog·

    에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

    Motorola Solutions의 테스트 엔지니어링 선임 매니저 Suneet Malhotra가 Stack Overflow 팟캐스트에 출연해 MCP(Model Context Protocol) 기반 에이전틱 SDLC 파이프라인 구축과 LLM-as-judge 평가 방법론을 소개했다. QA 엔지니어링 관점을 소프트웨어 개발 생애 전반에 적용하고, 설계 단계 직후 스펙을 강화해 결함 비용을 줄이는 'QA shift-left' 접근을 다룬다.

    요약 이어보기
    #llm-agent#mcp#test-automation+2
  2. AI / ML·LINE EngineeringLINE Engineering·

    보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

    LY Corporation Security Development Division이 보안 업무용 AI 에이전트 플랫폼 SAGE의 개발 과정을 공개했다. "완전 자동화"와 "도입 미루기" 양 극단 사이에서 "판단은 사람에게 남기는 설계"를 핵심 원칙으로 삼고, 3단계 점진적 도입 전략(AI 보조→에이전트 협업→자동화)을 채택했다. 현재는 1단계를 중심으로 파일럿·실운영 중이다.

    요약 이어보기
    #llm-app#opensearch#mcp+2