Okara의 다중 모델·에이전트 운영 방식
Vercel의 AI Gateway와 Sandboxes로 Okara가 여러 모델을 단일 API로 연결하고 에이전트 워크플로를 자동화한 사례입니다.
교안에 영향
예전에는 개별 provider SDK와 직접 관리하는 retry, fallback, adapter 설명이 이제는 Vercel AI Gateway 중심으로 바뀌어 옛 안내 글의 통합 방식 설명이 맞지 않을 수 있습니다.
요약
- AI Gateway로 여러 모델 공급자를 하나의 설정과 단일 엔드포인트로 연결했습니다. - retry 로직과 fallback 처리를 Okara 코드에서 Vercel 라우팅 계층으로 옮겼습니다. - zero-data retention 지원으로 secure chat의 개인정보 보호 요구를 맞췄습니다. - Vercel Sandboxes로 SEO agent의 분석과 코드 수정 흐름을 격리된 환경에서 자동 실행했습니다.
바뀐 것
새 기능
- 새 model이 출시되는 즉시 Gateway를 통해 사용자에게 제공할 수 있게 했습니다.
- Vercel Sandboxes에서 SEO agent가 문제 탐지와 분석을 격리된 환경으로 실행하도록 했습니다.
- 분석 결과를 coding agent로 넘겨 pull request를 자동으로 열어 수정 흐름을 구성했습니다.
개선
- AI Gateway로 여러 model providers를 하나의 configuration과 단일 endpoint로 통합했습니다.
- retry logic과 fallback handling을 Okara의 codebase에서 Vercel의 routing layer로 옮겼습니다.
- zero-data retention 지원을 포함해 secure chat의 privacy 요구를 반영했습니다.
기타
- Okara는 하루 4 billion tokens를 처리하고, 120,000+ businesses와 120,000 websites에 서비스를 제공합니다.