AI Gateway의 실시간 음성 에이전트 지원
AI Gateway에서 realtime voice, text to speech, speech to text를 지원해 음성 기능을 같은 경로로 다룰 수 있게 됐습니다.
교안에 영향
기존에 AI Gateway의 text, image, video를 안내하던 글에 음성도 별도 경로가 필요한 것처럼 적혀 있으면 틀립니다.
요약
- AI Gateway가 audio/voice를 지원해 realtime voice, text to speech, speech to text를 추가했습니다. - OpenAI와 xAI 모델을 시작으로 음성 호출도 기존 텍스트·이미지·비디오 호출과 같은 라우팅, 관측성, 지출 제어, bring-your-own-key를 사용합니다. - AI SDK 7에서 beta로 제공되며, 브라우저에서는 useRealtime로 WebSocket, 마이크 입력, 재생을 처리합니다. - generateSpeech와 transcribe로 음성 생성과 전사를 지원하며, Playgrounds에서 코드 없이 오디오 모델을 시험할 수 있습니다.
바뀐 것
새 기능
- AI Gateway가 audio/voice를 지원합니다.
- realtime voice를 추가해 실시간 음성 대화와 low-latency 세션을 지원합니다.
- text to speech를 추가해 텍스트를 음성 파일로 변환할 수 있습니다.
- speech to text를 추가해 녹음 음성을 텍스트로 전사할 수 있습니다.
- OpenAI와 xAI의 음성 모델을 지원합니다.
개선
- 음성 호출도 기존 다른 모달리티와 같은 provider routing, observability, spend controls, bring-your-own-key를 사용합니다.
- AI SDK 7에서 realtime, speech, transcription model을 지원합니다.
- 브라우저에서 useRealtime가 WebSocket 연결, 마이크 캡처, 오디오 재생을 관리합니다.
- turnDetection: { type: 'server-vad' }로 서버가 발화 종료를 판단하고 barge-in을 지원합니다.
- 모델이 대화 중 tool call을 내보내면 client event로 결과를 돌려받아 응답에 반영할 수 있습니다.
- generateSpeech로 음성을 생성하고, transcribe로 오디오를 전사할 수 있습니다.
- Playground에서 코드 없이 audio models를 직접 시험할 수 있습니다.