AI Gateway의 공급자별 시간 제한 설정
AI Gateway에서 공급자별 시간 제한을 지정해 더 빠르게 자동 실패 전환할 수 있게 했습니다.
교안에 영향
기존 안내 글에서 provider timeout을 기본 동작처럼 설명했다면, 이제는 providerTimeouts 설정과 BYOK beta 범위를 반영해야 합니다.
요약
- AI Gateway에 per-inference provider timeouts가 추가되어 기본 공급자 시간 제한보다 빠르게 failover할 수 있습니다. - providerTimeouts를 providerOptions.gateway에서 밀리초 단위로 설정할 수 있습니다. - with order를 함께 사용해 공급자 순서와 failover 속도를 조절할 수 있습니다. - BYOK(Bring Your Own Key) 자격 증명에서만 beta로 제공되며, system provider timeouts 지원은 예정되어 있습니다. - 일부 provider는 stream cancellation을 지원하지 않아, 시간 초과된 요청도 과금될 수 있습니다.
바뀐 것
새 기능
- AI Gateway가 per-inference provider timeouts를 지원합니다.
- providerTimeouts를 providerOptions.gateway에서 밀리초 단위로 설정할 수 있습니다.
- with order로 공급자 순서와 failover 속도를 함께 제어할 수 있습니다.
기타
- 이 기능은 BYOK(Bring Your Own Key) 자격 증명에서만 beta로 제공됩니다.
- system provider timeouts 지원이 곧 추가될 예정입니다.
- 일부 provider는 stream cancellation을 지원하지 않아 시간 초과 후에도 과금될 수 있습니다.