pile·
AI / ML·vercel-blogVercel Blog·

4명이 12만 기업의 AI CMO 에이전트를 운영하는 방법 — Okara 아키텍처

4명 팀의 Okara가 하루 40억 토큰을 처리하며 120,000개 이상의 기업에 AI CMO 에이전트 서비스를 제공한다. 8개 하위 에이전트(SEO, GEO, 소셜미디어 등)로 구성된 멀티에이전트 시스템과 Vercel 인프라를 활용해 소규모 팀이 대규모 서비스를 운영하는 방법을 보여준다.

핵심 포인트
  • 8개 하위 에이전트(SEO, GEO, 소셜미디어, 콘텐츠, Reddit, Hacker News 등)가 각 마케팅 채널을 담당하는 멀티에이전트 아키텍처다
  • 기존 8개 AI 모델 제공자 별도 SDK에서 AI Gateway 단일 엔드포인트로 전환, 재시도 로직과 장애 조치가 인프라 레벨로 이동했다
  • SEO 에이전트가 문제 감지 → 격리된 Sandbox에서 분석 → 코딩 에이전트가 수정 PR 생성 → 개발자 승인하는 Human-in-the-loop 워크플로우를 운영한다
  • 새 모델 출시 당일 사용자에게 제공 가능한 구조, AI Gateway 덕분에 제공자 변경이 설정 수준으로 단순화됐다
  • "인프라 구축이 아닌 제품 구축" 철학으로 4명 팀이 120K 기업 규모를 감당한다
상세 정리
  • 규모 지표: 하루 40억 토큰, 120,000개 이상 기업 서비스, 4명 팀, 하루 6~7회 배포
  • 멀티에이전트 구성: SEO, 지역 최적화(GEO), 소셜미디어, 콘텐츠, Reddit, Hacker News 등 채널별 전문화된 8개 하위 에이전트
  • AI Gateway 도입 전: 8개 AI 제공자와 각각 별도 SDK 통신, 재시도 로직과 장애 조치를 직접 구현·유지
  • AI Gateway 도입 후: 단일 엔드포인트에서 모든 제공자 관리, "on the spot" 설정 변경, 재시도/장애조치가 Vercel 인프라 레벨에서 자동 처리
  • SEO 에이전트 워크플로우: 기술적 SEO 문제 감지 → 격리된 Vercel Sandbox에서 안전하게 분석 실행 → 코딩 에이전트가 수정안 포함 PR 생성 → 개발자 최종 승인
  • Sandbox 격리 이유: 분석 코드가 프로덕션 환경과 완전히 분리돼 사이드 이펙트 없이 실행 가능
  • 스케일링 전략: 인프라 복잡성 직접 관리 대신 플랫폼 인프라에 위임, 팀 역량을 제품 이터레이션에 집중
왜 읽나소규모 팀이 멀티에이전트 AI 시스템으로 대규모 프로덕션을 운영하는 실제 아키텍처 결정과 제공자 추상화 전략을 보여주는 사례다.
vercel-blog
Vercel Blog 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. AI / ML·인프랩 (인프런)인프런 (인프랩)·

    학습 에이전트 — AI 두뇌 구축하기

    인프런이 강의 학습 에이전트를 구축하며 겪은 기술 스택 선정, 컨텍스트·도구 설계, LLM-as-a-Judge 품질 개선, 비용 최적화 전략을 다룬다. LLM SSE 스트리밍 처리를 위해 Spring MVC + Virtual Thread + Spring AI를 선택하고, 명시적 프롬프트 캐싱으로 입력 토큰을 90% 절감하는 과정까지 실전 경험이 담겨 있다.

    #ai-agent#llm#llm-as-a-judge+2
  2. AI / ML·네이버 D2네이버 D2·

    AI 에이전트 회사 차리기: 설립부터 어디서든 동기화까지

    네이버 ENGINEERING DAY 2026 발표. Claude Code를 매일 쓰지만 매번 초기화되는 문제를 해결하기 위해 NaverMadCat이라는 다중 AI 에이전트 조직 프레임워크를 구축한 경험을 다룬다. 비서실장 역할의 에이전트가 10개 부서 에이전트를 조율하며, 어느 환경에서 접속해도 동일한 컨텍스트로 동작하도록 동기화 메커니즘을 구현했다.

    #claude-code#multi-agent#ai-agent+2
  3. AI / ML·vercel-blogVercel Blog·

    AI Gateway에서 실시간 음성 에이전트 구축하기

    Vercel AI Gateway가 음성·오디오 기능을 정식 지원한다. 실시간 대화 음성(Realtime Voice), 텍스트→음성(TTS), 음성→텍스트(STT) 세 가지를 기존 텍스트/이미지 모델과 동일한 라우팅·인증·모니터링 체계 위에서 사용할 수 있다. OpenAI gpt-realtime-2·Whisper와 xAI Grok 오디오 모델을 지원하며, AI SDK 7 베타로 제공된다.

    #llm-app#ai-sdk#realtime-voice+2