AI Gateway 추적을 Drains로 내보내기
AI Gateway가 요청마다 OpenTelemetry 추적을 만들고, Vercel Drains로 외부 OTLP/HTTP 엔드포인트에 전송할 수 있게 됐습니다.
교안에 영향
기존에 AI Gateway 추적을 외부로 내보내는 안내는 Vercel Drains 지원 여부를 반영해 수정해야 합니다.
요약
- AI Gateway가 모든 요청에 대해 OpenTelemetry trace를 생성합니다. - Pro 및 Enterprise 팀은 Vercel Drains로 trace를 외부 OTLP/HTTP 호환 엔드포인트에 보낼 수 있습니다. - Braintrust, Dash0, Kubiks, Sentry, Statsig용 기본 연동이 추가됐습니다. - Trace에는 요청 수명주기, 토큰 사용량, 비용, 지연 시간, 상태, 프로젝트·배포·API 키·환경·사용자 정의 태그 정보가 포함되며, prompt와 completion 내용은 포함되지 않습니다. - sampling control로 각 drain에 내보낼 트래픽 비율을 조절할 수 있고, Trace Drain 전송과 관련한 요금 체계가 적용됩니다.
바뀐 것
새 기능
- AI Gateway가 모든 요청에 대해 OpenTelemetry trace를 생성합니다.
- Pro 및 Enterprise 팀은 Vercel Drains로 trace를 외부 OTLP/HTTP 호환 엔드포인트에 보낼 수 있습니다.
- Braintrust, Dash0, Kubiks, Sentry, Statsig용 기본 연동이 추가됐습니다.
개선
- trace에 model 및 provider routing, fallback과 retry 시도, token 사용량과 비용, time to first token, request duration, response status, 프로젝트·배포·API key·environment·custom tag 정보가 함께 기록됩니다.
기타
- Trace Drains는 prompt 또는 completion 내용을 포함하지 않으며, sampling control로 각 drain의 전송 비율을 조절할 수 있습니다.
- AI Gateway trace는 drain별 전달된 trace 1,000건당 $0.05와 전송 데이터 1GB당 기존 Drains 요금 $0.50이 부과되며, 여러 provider attempt가 있어도 성공한 drain delivery마다 1회로 계산되고 실패한 delivery는 요금이 발생하지 않습니다.