AI Gateway에 결정형 멀티모달 모델 추가
Liquid AI의 d1-ultra가 AI Gateway에서 분류, 라우팅, 점수화용 결정 모델로 제공됩니다.
교안에 영향
기존 문서의 모델 목록과 예시에서 d1-ultra 미지원 안내가 맞지 않게 됩니다.
요약
- d1-ultra가 AI Gateway에서 사용할 수 있게 추가됐습니다. - 텍스트와 이미지를 함께 다루는 분류, 라우팅, 점수화에 사용할 수 있습니다. - Boolean, Choice, Score 질문으로 구조화된 답변과 확률을 반환합니다. - 32,768 토큰 컨텍스트를 지원하며 입력 토큰에만 과금됩니다. - Decision calls는 로그와 예산 집계에 반영되고, 가져온 키 요청에도 플랫폼 수수료가 없습니다.
바뀐 것
새 기능
- Liquid AI의 d1-ultra를 이제 AI Gateway에서 사용할 수 있습니다.
- 텍스트와 이미지에 걸친 분류, 라우팅, 점수화를 위한 멀티모달 결정 모델로, 시각적 결함 검사와 고객 사진을 근거로 한 손해 청구 확인도 포함합니다.
- d1-ultra는 텍스트를 생성하는 대신 확률이 붙은 구조화된 답을 반환합니다.
- Boolean 질문으로 yes/no 답의 확률을 얻거나, Choice로 이름 붙은 범주 중에서 고르거나, Score로 순서가 있는 척도에 점수를 매길 수 있습니다.
- 한 요청에서 같은 입력에 여러 질문을 하고, 그 확률로 작업을 자동화할지 사람 검토를 요청할지 정할 수 있습니다.
- 32,768-token 컨텍스트 윈도를 지원하며, 이미지 입력을 포함한 입력 토큰에만 과금되고 출력 토큰 요금은 없습니다.
개선
- d1-ultra는 보정된 확률에 중점을 두고 더 어려운 실제 결정을 위해 설계됐습니다.
기타
- 모델 이름으로 liquid/d1-ultra를 사용합니다.
- 아래 예시는 AI SDK, OpenAI-compatible Decisions API, TypeSafe-compatible API로 같은 질문을 합니다.
- AI Gateway는 모델 접근과 사용량·비용 추적을 하나의 API로 제공합니다.
- Decision calls는 다른 모델 요청과 함께 로그에 표시되고 budgets에 집계됩니다.
- AI Gateway는 provider 가격을 추가 마진 없이 반영하며, Bring Your Own Key 요청을 포함한 추론에 플랫폼 수수료를 받지 않습니다.
- AI Gateway에서 사용할 수 있는 모든 decision models를 둘러볼 수 있습니다.
- 자세히 보기.