AI Gateway 공급자 정렬 제어
AI Gateway에서 모델 공급자를 비용, TTFT, TPS 기준으로 정렬할 수 있게 됐습니다.
교안에 영향
AI Gateway의 공급자 선택이 고정 순서가 아니라 sort 기준으로 바뀌어, 예전의 기본 라우팅 설명은 정확하지 않을 수 있습니다.
요약
- AI Gateway에서 모델의 공급자를 비용, TTFT, TPS 기준으로 정렬할 수 있습니다. - 기본 공급자 순서는 신뢰성, 품질, 비용, 응답 속도를 함께 반영하며, 이제 sort로 기준을 직접 정할 수 있습니다. - 정렬은 요청 시점에 계산되어 새 공급자 추가, 가격 변경, 지연 시간이나 처리량 변화가 자동 반영됩니다. - sort는 Zero Data Retention(ZDR) 같은 다른 라우팅 옵션과 함께 사용할 수 있으며, 라우팅 메타데이터의 sort 블록으로 판단 근거를 확인할 수 있습니다.
바뀐 것
새 기능
- AI Gateway에서 providerOptions.gateway의 sort로 공급자를 정렬할 수 있게 됐습니다.
- sort 값으로 'cost', 'ttft', 'tps'를 지원합니다.
개선
- 기본 공급자 순서가 신뢰성, 모델 출력 품질, 비용, 응답 속도를 함께 반영하도록 정리됐습니다.
- 정렬 기준은 요청 시점에 계산되어 공급자 추가, 가격 변경, 지연 시간 및 처리량 변화가 자동 반영됩니다.
- sort는 Zero Data Retention(ZDR)과 order 같은 다른 라우팅 옵션과 함께 사용할 수 있습니다.
- 라우팅 메타데이터의 sort 블록에서 후보 공급자와 정렬 근거를 확인할 수 있습니다.