AI Gateway 지역 고정 추론 지원
AI Gateway에서 요청을 US 또는 EU에 고정하는 regional inference를 지원합니다.
교안에 영향
이제 region을 지정하지 않으면 요청이 global routing으로 처리되어 데이터 거주성 보장이 없다는 옛 안내는 맞지 않습니다.
요약
- 요청에 inferenceRegion을 설정해 추론 지역을 US 또는 EU로 고정할 수 있습니다. - 지역을 지원하는 모든 모델 제공자는 같은 방식으로 처리하며, 추론과 저장이 해당 지역에서 이뤄집니다. - 응답에 실제로 처리한 region이 포함되어 각 요청이 어디서 실행됐는지 확인할 수 있습니다. - 지원 가능한 지역이 없으면 다른 지역으로 우회하지 않고 요청이 실패합니다. - /v1/models의 regions 배열과 모델 목록 필터로 US 또는 EU 지원 모델을 확인할 수 있습니다.
바뀐 것
새 기능
- AI Gateway가 regional inference를 지원합니다.
- request에 inferenceRegion을 설정해 추론 지역을 US 또는 EU로 고정할 수 있습니다.
개선
- 지원하는 지역에서는 모든 model provider가 같은 방식으로 처리하며, 응답으로 실제 제공 region을 확인할 수 있습니다.
기타
- /v1/models의 regions 배열과 모델 목록 필터를 통해 US 또는 EU 지원 모델을 확인할 수 있습니다.
수정
- 선택한 region을 제공할 수 없으면 다른 곳으로 우회하지 않고 요청이 실패하도록 바뀌었습니다.