4명이 12만 기업의 AI CMO 에이전트를 운영하는 방법 — Okara 아키텍처

4명 팀의 Okara가 하루 40억 토큰을 처리하며 120,000개 이상의 기업에 AI CMO 에이전트 서비스를 제공한다. 8개 하위 에이전트(SEO, GEO, 소셜미디어 등)로 구성된 멀티에이전트 시스템과 Vercel 인프라를 활용해 소규모 팀이 대규모 서비스를 운영하는 방법을 보여준다.

핵심 포인트

8개 하위 에이전트(SEO, GEO, 소셜미디어, 콘텐츠, Reddit, Hacker News 등)가 각 마케팅 채널을 담당하는 멀티에이전트 아키텍처다
기존 8개 AI 모델 제공자 별도 SDK에서 AI Gateway 단일 엔드포인트로 전환, 재시도 로직과 장애 조치가 인프라 레벨로 이동했다
SEO 에이전트가 문제 감지 → 격리된 Sandbox에서 분석 → 코딩 에이전트가 수정 PR 생성 → 개발자 승인하는 Human-in-the-loop 워크플로우를 운영한다
새 모델 출시 당일 사용자에게 제공 가능한 구조, AI Gateway 덕분에 제공자 변경이 설정 수준으로 단순화됐다
"인프라 구축이 아닌 제품 구축" 철학으로 4명 팀이 120K 기업 규모를 감당한다

상세 정리

규모 지표: 하루 40억 토큰, 120,000개 이상 기업 서비스, 4명 팀, 하루 6~7회 배포
멀티에이전트 구성: SEO, 지역 최적화(GEO), 소셜미디어, 콘텐츠, Reddit, Hacker News 등 채널별 전문화된 8개 하위 에이전트
AI Gateway 도입 전: 8개 AI 제공자와 각각 별도 SDK 통신, 재시도 로직과 장애 조치를 직접 구현·유지
AI Gateway 도입 후: 단일 엔드포인트에서 모든 제공자 관리, "on the spot" 설정 변경, 재시도/장애조치가 Vercel 인프라 레벨에서 자동 처리
SEO 에이전트 워크플로우: 기술적 SEO 문제 감지 → 격리된 Vercel Sandbox에서 안전하게 분석 실행 → 코딩 에이전트가 수정안 포함 PR 생성 → 개발자 최종 승인
Sandbox 격리 이유: 분석 코드가 프로덕션 환경과 완전히 분리돼 사이드 이펙트 없이 실행 가능
스케일링 전략: 인프라 복잡성 직접 관리 대신 플랫폼 인프라에 위임, 팀 역량을 제품 이터레이션에 집중

왜 읽나소규모 팀이 멀티에이전트 AI 시스템으로 대규모 프로덕션을 운영하는 실제 아키텍처 결정과 제공자 추상화 전략을 보여주는 사례다.

Vercel Blog 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

4명이 12만 기업의 AI CMO 에이전트를 운영하는 방법 — Okara 아키텍처

이 글과 비슷한

에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

실리콘투의 사내 지식 MCP 게이트웨이 구축기