팀·프로젝트 단위 지출 예산 지원
AI Gateway의 지출 예산을 팀과 프로젝트 범위로도 설정할 수 있게 되었습니다.
교안에 영향
이전 안내에서 API key에만 적용된다고 적은 내용은 팀·프로젝트 예산이 추가되어 더 이상 완전하지 않습니다.
요약
- AI Gateway spend budgets를 팀, 프로젝트, API key 범위로 설정할 수 있습니다. - 예산 한도에 도달하면 게이트웨이가 추가 요청을 차단하고, BYOK spend는 기본적으로 예산에 포함되지 않습니다. - 대시보드의 AI Gateway Budgets 탭에서 예산을 관리하고, Overview에서 각 범위의 사용량과 한도를 확인할 수 있습니다. - 이메일 spend alerts로 50%, 75%, 100% 도달 시 알림을 받을 수 있으며, 프로젝트와 API key에는 default budget을 둘 수 있습니다. - CLI에서도 팀과 프로젝트 예산을 설정, 조회, 삭제할 수 있습니다.
바뀐 것
새 기능
- AI Gateway spend budgets를 팀, 프로젝트, API key 범위로 설정할 수 있게 되었습니다.
- 팀 범위 예산은 팀이 gateway를 통해 보내는 모든 요청에 적용됩니다.
- 프로젝트 범위 예산은 단일 project에 귀속되는 모든 요청에 적용됩니다.
- API key 범위 예산은 단일 API key에 적용됩니다.
- 요청이 여러 예산에 걸치면 각각을 모두 통과해야 하며, 하나라도 한도를 넘으면 거절됩니다.
- BYOK spend는 기본적으로 예산에 포함되지 않습니다.
- AI Gateway Budgets 탭에서 예산을 관리할 수 있게 되었습니다.
- Overview에서 각 범위의 사용량과 한도를 함께 볼 수 있게 되었습니다.
- 이메일 spend alerts를 켜면 usage notification recipients에게 50%, 75%, 100% 도달 알림을 보낼 수 있습니다.
- 프로젝트와 API key에 default budget을 설정하면 명시적 예산이 없는 항목이 자동으로 상속합니다.
- CLI에서 팀과 프로젝트 예산을 설정, 조회, 삭제할 수 있게 되었습니다.
- refresh period는 daily, weekly, monthly, none을 지원합니다.