Vercel에서 LiteLLM server 지원
Vercel에 LiteLLM server를 배포해 OpenAI 호환 게이트웨이로 LLM에 접근할 수 있게 됐습니다.
교안에 영향
이제 LiteLLM server를 Vercel에 배포하는 안내가 가능해져, 기존의 비-Vercel 배포 전제 설명은 맞지 않을 수 있습니다.
요약
- Vercel에서 LiteLLM server를 배포할 수 있게 됐습니다. - OpenAI-compatible gateway로 지원되는 공급자와 연결해 LLM 접근을 제공할 수 있습니다. - Vercel AI Gateway를 포함한 공급자 연동이 가능해졌습니다. - 단일 모델을 Vercel AI Gateway로 라우팅하는 litellm_config.yaml 설정 예시가 추가됐습니다.
바뀐 것
새 기능
- Vercel에서 LiteLLM server를 배포할 수 있게 지원합니다.
- OpenAI-compatible gateway로 지원되는 공급자와 연결할 수 있습니다.
- Vercel AI Gateway를 포함한 공급자 연동을 지원합니다.
- litellm_config.yaml에서 단일 모델을 Vercel AI Gateway로 라우팅하는 설정을 안내합니다.