pile·
AI / ML·cloudflare-blogCloudflare Blog·

AI 에이전트에는 컨테이너보다 경량 컴퓨트가 — @cloudflare/computer 소개

Cloudflare가 AI 에이전트 런타임 패키지 @cloudflare/computer 얼리 프리뷰를 공개했다. 에이전트마다 컨테이너를 할당하는 방식이 수십억 동시 에이전트 규모로 확장되지 않는 문제를 해결하기 위해, 경량 isolate와 풀 Linux 컨테이너를 작업 복잡도에 따라 동적으로 선택하는 하이브리드 아키텍처를 제안한다.

핵심 포인트
  • 에이전트마다 컨테이너를 할당하면 확장 불가능 — 컨테이너 비중을 전체 워크로드의 10% 미만으로 낮추는 것이 설계 목표다.
  • SQLite 기반 가상 파일시스템에서 에이전트가 동작하며, 작업에 따라 isolate(경량) 또는 container(풀 Linux)를 선택한다.
  • 파일 조작, git 연산, 셸 실행을 위한 AI SDK 호환 도구를 제공한다.
  • 모든 연산에 감사 로그와 세밀한 접근 제어가 적용된다.
  • npm으로 설치하며 @cloudflare/think 같은 에이전트 프레임워크와 통합된다.
상세 정리
  • 문제 정의: 사용자마다 전용 컨테이너를 제공하는 방식은 글로벌 규모에서 수십억 에이전트 동시 실행에 도달할 수 없다. 컴퓨트 자원의 희소성이 근본 원인이다.
  • 해결 방향: 에이전트를 공유 가상 파일시스템에 두고, 작업 복잡도에 따라 격리 수준이 낮은 isolate 또는 풀 컨테이너로 실행 환경을 동적 전환한다.
  • 가상 파일시스템: SQLite 기반으로, 클라우드 스토리지나 소스 컨트롤에서 데이터를 채울 수 있다.
  • 실행 환경 분기: isolate(동적 Workers)는 코딩, 문서 생성, 앱 테스트 등 대부분의 작업을 처리. container(풀 Linux)는 꼭 필요할 때만 에이전트가 자체 판단해 선택한다.
  • 에이전트 자율 선택: frontier 모델들은 어떤 백엔드가 필요한지 신뢰할 만한 수준으로 판별할 수 있다는 것이 전제다.
  • 감사·접근 제어: 에이전트 활동 전체에 감사 로그와 세밀한 권한 제어가 적용돼 행동 추적이 가능하다.
  • 목표 수치: 컨테이너가 전체 에이전트 워크로드의 10% 미만을 담당하도록 최적화하는 것이 설계 목표다.
왜 읽나다수 AI 에이전트를 서버리스 환경에서 확장성 있게 운영하려는 플랫폼 엔지니어나 에이전트 런타임 아키텍처를 설계하는 팀에게 참고가 된다.
cloudflare-blog
Cloudflare Blog 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. AI / ML·cloudflare-blogCloudflare Blog·

    더 작고 빠르고 안전하게: Kimi와 GLM 대규모 서빙 최적화

    Cloudflare Workers AI가 Moonshot의 Kimi K-시리즈와 Z.ai의 GLM처럼 메모리 제약이 큰 대형 MoE(Mixture-of-Experts) 모델을 효율적으로 서빙하기 위해 적용한 세 가지 최적화 기법을 다룬다. KV 캐시 양자화, 모델 가중치 압축, 공유 KV 캐시 무결성 검사를 계층적으로 적용해 처리량을 크게 높이고 비용을 낮췄다.

    #llm#inference-optimization#kv-cache+2