AI Gateway의 Perplexity Decider V1.2 지원
AI Gateway에서 Perplexity Decider V1.2 27B와 Decider Flash V1.2 4B를 사용할 수 있게 됐습니다.
교안에 영향
이전의 AI Gateway 안내 글에 Perplexity Decider V1.2 지원 내용이 없으면 맞지 않게 됩니다.
요약
- Perplexity Decider V1.2 27B와 Decider Flash V1.2 4B가 AI Gateway에 추가됐습니다. - 두 모델은 분류, 라우팅, 점수화용 멀티모달 의사결정 모델이며 텍스트, 구조화 레코드, 이미지를 처리합니다. - Boolean, Choice, Score 질문에 대한 결과와 여러 질문을 한 요청에서 함께 보내는 기능이 소개됐습니다. - AI SDK, Decisions API, TypeSafe-compatible API 예시와 이미지 입력 형식 안내가 추가됐습니다. - 요청 로그, spend budgets, BYOK, 모델 플레이그라운드, decision model catalog 안내가 포함됐습니다.
바뀐 것
새 기능
- Perplexity Decider V1.2 27B와 Decider Flash V1.2 4B가 AI Gateway에서 사용할 수 있게 됐습니다.
- 두 모델은 콘텐츠 분류, 요청 라우팅, 텍스트·구조화 레코드·이미지 점수화를 위한 멀티모달 의사결정 모델입니다.
- Boolean questions, Choice questions, Score questions를 통해 확률과 분류, 기준 기반 평가 결과를 받을 수 있습니다.
- 여러 questions를 같은 input으로 한 request에 함께 보낼 수 있습니다.
- Decider V1.2 27B는 더 세밀한 판단과 상세한 rubric에 맞춘 상위 모델입니다.
- Decider Flash V1.2 4B는 고빈도 labeling, filtering, routing에 맞춘 소형 모델입니다.
- AI SDK, Decisions API, TypeSafe-compatible API에서 perplexity/pplx-decider-v1.2를 사용하는 예시가 추가됐습니다.
- 이미지 입력을 위해 base64 image_url objects를 JSON state에 넣는 방식이 안내됐습니다.
기타
- AI Gateway로 하나의 API key로 모델을 호출하고 usage와 cost를 한곳에서 모니터링할 수 있습니다.
- decision requests가 request logs에 기록되고 spend budgets에 포함되며, provider pricing 그대로 청구되고 markup이나 platform fee가 없다고 안내됐습니다.
- BYOK를 사용할 때도 동일한 요금 정책이 적용된다고 설명했습니다.
- decision model catalog와 모델 플레이그라운드를 통해 사용 가능한 옵션을 확인할 수 있다고 안내했습니다.