대규모 요청과 모델 라우팅을 받치는 백엔드 운영
Interfaze가 Vercel에서 API, Sandbox, Fluid compute, AI Gateway, Workflow SDK를 함께 써서 대규모 모델 서비스를 운영하는 사례를 소개합니다.
교안에 영향
기존 안내에서 preview deployments와 URL별 로그가 별도 설정이 필요한 것처럼 설명했다면 맞지 않습니다.
요약
- API와 프론트엔드가 같은 코드베이스의 serverless functions로 동작하며, 별도 인프라 없이 백엔드를 운영합니다. - Vercel Sandbox가 모델이 작성한 코드를 격리 실행하고, Fluid compute가 대규모 트래픽과 무거운 작업을 처리합니다. - AI Gateway가 공급자 장애나 제한 발생 시 요청을 자동으로 다음 공급자로 넘기고, 공급자 선택도 지원합니다. - Workflow SDK로 이메일 시퀀스를 장기 실행하며 재시도와 상태 보존을 자동으로 처리합니다. - preview deployments와 각 URL별 배포 로그로 새 모델 버전을 고객에게 먼저 전달하고 오류 추적도 쉽게 합니다.
바뀐 것
기타
- Interfaze가 Vercel에서 API와 프론트엔드를 같은 코드베이스의 serverless functions로 함께 운영합니다.
- 요청이 필요로 하는 코드는 Vercel Sandbox에서 격리 실행합니다.
- Fluid compute를 사용해 대규모 트래픽과 무거운 작업, Puppeteer 기반 웹 스크래핑을 처리합니다.
- AI Gateway로 여러 모델 공급자를 한 계층에서 라우팅하고, 장애나 제한이 생기면 자동으로 다른 공급자로 넘깁니다.
- Workflow SDK로 사용량 조건에 따라 동작하는 이메일 시퀀스를 오래 실행하고 재시도와 상태 보존을 처리합니다.
- preview deployments를 통해 새 모델 버전을 고객에게 먼저 제공하고, 각 URL별 배포 로그로 오류를 추적합니다.
- Interfaze 1 Lite를 같은 API로 제공하며, 다음에는 웹 검색용 gateway를 같은 Vercel 백엔드에서 출시할 예정입니다.