AI Gateway에서 Baseten 결정 모델 무료 제공
Baseten의 Mammoth-1과 Elephant-1을 AI Gateway에서 1주일간 무료로 사용할 수 있습니다.
교안에 영향
기존에 AI Gateway에서 Baseten 결정 모델을 사용할 수 없다고 안내한 글은 이제 맞지 않습니다.
요약
- Baseten의 Mammoth-1과 Elephant-1이 AI Gateway에서 무료로 제공됩니다. - 두 모델은 text 분류, 요청 라우팅, 기준에 따른 콘텐츠 점수화를 지원합니다. - Mammoth-1은 27B, Elephant-1은 9B이며, 둘 다 16k-token 컨텍스트 창과 선택·확률·점수 응답을 제공합니다. - 한 요청에서 Choice, Boolean, Score 질문을 함께 보내고, 확률 기준은 애플리케이션이 정할 수 있습니다. - decision calls는 로그에 표시되고 다른 모델 요청과 함께 예산에 집계됩니다.
바뀐 것
새 기능
- Baseten의 Mammoth-1과 Elephant-1을 AI Gateway에서 무료로 사용할 수 있게 했습니다.
- 두 모델이 text 분류, 요청 라우팅, 기준 기반 콘텐츠 점수를 지원합니다.
- Mammoth-1은 27B 모델이고 Elephant-1은 9B 모델이며, 둘 다 16k-token context window를 지원합니다.
- 한 요청에서 Choice question, Boolean question, Score question을 함께 보낼 수 있습니다.
- 모델 이름으로 baseten/mammoth-1 또는 baseten/elephant-1을 사용할 수 있습니다.
기타
- decision calls가 로그에 표시되고 예산 집계에 포함되도록 했습니다.