AI Gateway의 음성·오디오 모델 지원
AI Gateway에서 realtime voice, text to speech, speech to text를 베타로 지원합니다.
교안에 영향
예전의 AI Gateway 안내 글에서 음성·오디오 모델 미지원이라고 적은 부분은 더 이상 맞지 않습니다.
요약
- AI Gateway가 voice와 audio 모델을 지원해 realtime voice agent를 만들 수 있게 됐습니다. - text to speech로 텍스트를 음성으로 변환할 수 있습니다. - speech to text로 파일 버퍼, base64 문자열, URL의 오디오를 텍스트로 전사할 수 있습니다. - 이 기능들은 AI SDK 7을 통해 제공되며, 관측성·비용 제어·bring-your-own-key는 기존 텍스트/이미지/비디오 모델과 같습니다.
바뀐 것
새 기능
- AI Gateway에서 voice와 audio 모델을 새로 지원합니다.
- realtime voice agents를 만들 수 있습니다.
- text to speech로 텍스트를 음성으로 변환할 수 있습니다.
- speech to text로 오디오를 텍스트로 전사할 수 있습니다.
개선
- realtime 지원으로 단일 model이 오디오 입력과 출력을 한 번에 처리해 지연이 줄었습니다.
기타
- useRealtime hook이 마이크 캡처, 재생, WebSocket 연결을 처리합니다.
- AI Gateway에서 관측성, spend controls, bring-your-own-key, 마크업 없음, platform fees 없음이 그대로 제공됩니다.
- 이 기능들은 beta이며 AI SDK 7을 통해 사용할 수 있습니다.