AI Gateway 서비스 티어 지원
AI Gateway에서 서비스 티어를 지원해 지연 시간, 처리량, 비용을 요청별로 조정할 수 있습니다.
교안에 영향
예전에는 AI Gateway에서 serviceTier 설정이나 tier별 과금 안내가 없어서 관련 설명이 맞지 않을 수 있습니다.
요약
- AI Gateway에 service tiering이 추가되어 요청별로 지연 시간, 처리량, 비용을 조절할 수 있습니다. - OpenAI와 Gemini 모델에서 service tiers를 사용할 수 있으며, 모든 AI Gateway API 형식에서 동작합니다. - serviceTier는 providerOptions.gateway 에서 설정할 수 있고, 적용된 tier는 provider metadata로 확인할 수 있습니다. - tier 적용은 best-effort이며, 유효하지 않은 service tier 값만 요청 실패로 처리됩니다. - 각 요청이 실제로 사용한 tier 기준으로 과금되며, provider별로 tier를 따로 설정할 수도 있습니다.
바뀐 것
새 기능
- AI Gateway에 service tiering을 추가해 요청별 성능과 비용을 조정할 수 있게 했습니다.
- service tiers를 OpenAI와 Gemini 모델에 대해 지원합니다.
- AI SDK , Chat Completions API , Anthropic Messages API , OpenAI Responses API , OpenResponses API 에서 service tiers가 동작합니다.
- providerOptions.gateway 에서 serviceTier 를 설정할 수 있습니다.
- 적용된 tier를 provider metadata에 반환합니다.
- provider의 own namespace 에서 provider별로 다른 service tier를 설정할 수 있습니다.
기타
- service tier는 best-effort로 적용되며, 적용되지 않으면 default tier와 default rate로 동작합니다.
- 유효하지 않은 service tier 값만 요청 실패로 처리합니다.
- 요청이 실제로 사용한 tier 기준으로 과금되도록 pricing 을 자동 조정합니다.