AI Gateway에서 실시간 모델 성능 지표 제공
AI Gateway에서 수백 개 모델의 처리량과 지연 시간을 확인해 모델 선택에 활용할 수 있게 됐습니다.
교안에 영향
AI Gateway의 모델 선택 안내에서 latency와 throughput 관련 설명은 새로 추가된 실시간 지표를 반영해야 합니다.
요약
- AI Gateway 모델 목록과 모델 상세 페이지, REST API에서 실시간 성능 지표를 확인할 수 있습니다. - 모델 목록에 정렬 가능한 지연 시간과 처리량 열이 추가됐습니다. - 모델 상세 페이지에서 제공자별 P50 지연 시간과 처리량을 비교할 수 있습니다. - REST API로 모델별 제공자 성능의 P50/P95 지연 시간과 처리량을 조회할 수 있습니다.
바뀐 것
새 기능
- AI Gateway에서 수백 개 모델의 처리량과 지연 시간 지표를 표시합니다.
- 모델 목록에 latency와 throughput 정렬 열이 추가됐습니다.
- 모델 상세 페이지에서 provider별 P50 latency와 throughput을 보여줍니다.
- REST API에서 모델별 provider 성능의 P50/P95 latency와 throughput을 제공합니다.