aws-architecture·문제생성형 비디오 모델은 VAE latent decoding과 frame copy 과정이 순차적으로 묶여 GPU 활용률과 추론 지연에 병목이 생긴다.
접근EC2 G7e의 NVIDIA RTX PRO 6000 Blackwell GPU에서 asynchronous frame generation pipeline을 구성했다. GPU/host double buffering, page-locked memory, 별도 copy stream과 worker thread로 전송과 후처리를 겹쳤다.
결과디코딩, D2H 전송, 파일 쓰기를 병렬화해 GPU idle 시간을 줄였다. 대용량 비디오 inference에서 비용 대비 처리량을 높이는 패턴을 제시했다.
aws-architecture·문제광산 시추 코어 분석은 현장 육안 검사와 전문가 의존도가 높아 비용, 일관성, 처리 속도 문제가 컸다.
접근LITHOLENS를 Amazon EKS, Lambda, S3, RDS 기반 하이브리드 아키텍처로 구성했다. K-Means, GMM, RoQE Net, VeinNet 등 ML/컴퓨터 비전 모델을 GPU 워크로드로 실행했다.
결과10개 광산 회사와 40개 이상 프로젝트에서 분석 표준화와 원격 처리 효과를 얻었다. 전문가 출장 부담을 줄이고 광물 분류 정확도와 추적성을 높였다.
cloudflare-blog·문제AI 에이전트를 운영하려면 모델 추론과 코드 실행을 모두 안전하게 격리해야 하고, 동시 다수 세션 / egress 통제 / 자격증명 주입까지 한 번에 풀어야 한다.
접근Anthropic 의 Claude Managed Agents 가 "두뇌"를 맡고, Cloudflare Sandboxes 가 "손" 을 맡는 분리 구조. 워크로드에 따라 full microVM 또는 V8 isolate 를 고를 수 있고, egress proxy 로 zero-trust 자격증명 주입, Workers VPC + Cloudflare Mesh 로 사설망 연결, 샌드박스 브라우저 + 세션 녹화까지 묶어서 제공.
결과웹 브라우징·이메일·Workers AI 이미지 생성 등 빌트인 툴과 배포 템플릿이 함께 제공돼, 별도 인프라 작업 없이 관측·영속·확장 가능한 에이전트 스택을 구성할 수 있다.
spotify-eng·문제LLM 기능을 A/B 테스트만으로 검증하면 실험 자원이 많이 들고, 정성 품질 개선이 실제 사용자 지표로 이어지는지 늦게 알게 된다.
접근LLM eval을 실험 대체가 아니라 사전 필터로 배치한다. eval로 후보를 검증하고, 온라인 실험 결과와 다시 비교해 judge를 보정하는 funnel 구조를 만든다.
결과Spotify는 A/B 테스트의 shipped positive 비율이 12%인 환경에서 eval로 실험 후보의 품질을 높인다. 오프라인 점수와 온라인 결과의 차이를 다음 eval 개선 신호로 사용한다.