pinterest-eng·문제추천 모델을 100배 키우면 user sequence가 후보 item마다 중복 처리되어 storage, training, serving 비용이 급증했다.
접근request-level deduplication을 ML lifecycle 전반에 적용하고, ranking에서는 DCAT와 KV cache, custom Triton kernel로 사용자 맥락을 한 번만 계산했다.
결과storage는 10~50배 압축, retrieval training은 4배, ranking training은 2.8배 빨라졌다. ranking serving throughput은 7배 증가했다.
aws-architecture·문제광산 시추 코어 분석은 현장 육안 검사와 전문가 의존도가 높아 비용, 일관성, 처리 속도 문제가 컸다.
접근LITHOLENS를 Amazon EKS, Lambda, S3, RDS 기반 하이브리드 아키텍처로 구성했다. K-Means, GMM, RoQE Net, VeinNet 등 ML/컴퓨터 비전 모델을 GPU 워크로드로 실행했다.
결과10개 광산 회사와 40개 이상 프로젝트에서 분석 표준화와 원격 처리 효과를 얻었다. 전문가 출장 부담을 줄이고 광물 분류 정확도와 추적성을 높였다.
aws-architecture·문제생성형 비디오 모델은 VAE latent decoding과 frame copy 과정이 순차적으로 묶여 GPU 활용률과 추론 지연에 병목이 생긴다.
접근EC2 G7e의 NVIDIA RTX PRO 6000 Blackwell GPU에서 asynchronous frame generation pipeline을 구성했다. GPU/host double buffering, page-locked memory, 별도 copy stream과 worker thread로 전송과 후처리를 겹쳤다.
결과디코딩, D2H 전송, 파일 쓰기를 병렬화해 GPU idle 시간을 줄였다. 대용량 비디오 inference에서 비용 대비 처리량을 높이는 패턴을 제시했다.
cloudflare-blog·문제AI 에이전트를 운영하려면 모델 추론과 코드 실행을 모두 안전하게 격리해야 하고, 동시 다수 세션 / egress 통제 / 자격증명 주입까지 한 번에 풀어야 한다.
접근Anthropic 의 Claude Managed Agents 가 "두뇌"를 맡고, Cloudflare Sandboxes 가 "손" 을 맡는 분리 구조. 워크로드에 따라 full microVM 또는 V8 isolate 를 고를 수 있고, egress proxy 로 zero-trust 자격증명 주입, Workers VPC + Cloudflare Mesh 로 사설망 연결, 샌드박스 브라우저 + 세션 녹화까지 묶어서 제공.
결과웹 브라우징·이메일·Workers AI 이미지 생성 등 빌트인 툴과 배포 템플릿이 함께 제공돼, 별도 인프라 작업 없이 관측·영속·확장 가능한 에이전트 스택을 구성할 수 있다.