pile·
AI / ML·stackoverflow-blogstackoverflow-blog·

대규모에서 여러 에이전트를 협력시키는 방법

문제도메인별 sub-agent 로 짠 멀티에이전트 구조는 부서 경계를 넘는 고객 질문을 잘 못 풀고, 비용·예측 가능성·신뢰성을 동시에 만족시키기 어렵다.

접근Intuit 는 서브에이전트 구조를 버리고 중앙 planner 1 개 + skills/tools 풀로 평탄화했다. plan-execute 모델로 워크플로우를 구성하고, 금융 계산은 결정적 툴로 빼서 환각을 차단한다. offline/online/human eval 세 축과 golden dataset 기반 LLM judge 로 회귀를 검사하고, GenOS 플랫폼이 보안과 관측을 일원화한다.

결과사용자 행동 분석이 단일 에이전트 한계를 드러냈고, fallback 모델은 개별 평가해야 응답·"성격"이 달라 단순 redundancy 가 통하지 않는다는 점을 강조한다.

stackoverflow-blog
stackoverflow-blog 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. AI / ML·aws-architectureaws-architecture·

    Amazon EKS 와 머신러닝으로 ALS GeoAnalytics LITHOLENS™ 의 코어 로깅 자동화하기

    문제광산 시추 코어 분석은 현장 육안 검사와 전문가 의존도가 높아 비용, 일관성, 처리 속도 문제가 컸다.

    접근LITHOLENS를 Amazon EKS, Lambda, S3, RDS 기반 하이브리드 아키텍처로 구성했다. K-Means, GMM, RoQE Net, VeinNet 등 ML/컴퓨터 비전 모델을 GPU 워크로드로 실행했다.

    결과10개 광산 회사와 40개 이상 프로젝트에서 분석 표준화와 원격 처리 효과를 얻었다. 전문가 출장 부담을 줄이고 광물 분류 정확도와 추적성을 높였다.

    #eks#machine-learning#geoanalytics
  2. AI / ML·aws-architectureaws-architecture·

    Amazon EC2 G7e 인스턴스에서 Synthesia 의 생성형 AI 비디오 추론 최적화하기

    문제생성형 비디오 모델은 VAE latent decoding과 frame copy 과정이 순차적으로 묶여 GPU 활용률과 추론 지연에 병목이 생긴다.

    접근EC2 G7e의 NVIDIA RTX PRO 6000 Blackwell GPU에서 asynchronous frame generation pipeline을 구성했다. GPU/host double buffering, page-locked memory, 별도 copy stream과 worker thread로 전송과 후처리를 겹쳤다.

    결과디코딩, D2H 전송, 파일 쓰기를 병렬화해 GPU idle 시간을 줄였다. 대용량 비디오 inference에서 비용 대비 처리량을 높이는 패턴을 제시했다.

    #inference#generative-ai#ec2+1
  3. AI / ML·cloudflare-blogcloudflare-blog·

    Claude Managed Agents 를 Cloudflare Sandboxes 위에서 실행하기

    문제AI 에이전트를 운영하려면 모델 추론과 코드 실행을 모두 안전하게 격리해야 하고, 동시 다수 세션 / egress 통제 / 자격증명 주입까지 한 번에 풀어야 한다.

    접근Anthropic 의 Claude Managed Agents 가 "두뇌"를 맡고, Cloudflare Sandboxes 가 "손" 을 맡는 분리 구조. 워크로드에 따라 full microVM 또는 V8 isolate 를 고를 수 있고, egress proxy 로 zero-trust 자격증명 주입, Workers VPC + Cloudflare Mesh 로 사설망 연결, 샌드박스 브라우저 + 세션 녹화까지 묶어서 제공.

    결과웹 브라우징·이메일·Workers AI 이미지 생성 등 빌트인 툴과 배포 템플릿이 함께 제공돼, 별도 인프라 작업 없이 관측·영속·확장 가능한 에이전트 스택을 구성할 수 있다.

    #claude#managed-agents#cloudflare