생산 트래픽에서 드러난 모델·워크로드 양상
AI Gateway 생산 트래픽을 바탕으로 모델 선택, 에이전트화, 다중 모델 운영의 실제 패턴을 정리했습니다.
교안에 영향
다중 모델 라우팅, fallback, 에이전트형 요청 비중에 대한 기존 안내는 생산 트래픽 기준으로 다시 봐야 합니다.
요약
- AI Gateway의 7개월 생산 트래픽을 바탕으로 Anthropic, Google, OpenAI, xAI의 비용과 토큰 점유율 차이를 분석했습니다. - 개인 비서, 코딩 에이전트, 백오피스, 앱 생성 등 사용 사례별로 비용과 볼륨이 다르게 분포함을 보여줬습니다. - 요청의 22.2%가 도구 호출로 끝나며, 토큰 기준으로는 58.9%가 도구 호출 요청에 속해 앱이 더 에이전트적으로 변하고 있습니다. - 대규모 팀은 평균 35개 이상의 모델을 함께 쓰며, 새 모델은 몇 주 안에 빠르게 채택되고 장애 시에는 폴백으로 우회됩니다.
바뀐 것
기타
- AI Gateway의 7개월 생산 트래픽과 200K+개 팀의 사용 데이터를 바탕으로 분석 보고서를 공개했습니다.
- Anthropic은 비용에서, Google은 볼륨에서 각각 앞서는 양상을 보였습니다.
- OpenAI의 비용 점유율이 최근 모델 업데이트 이후 빠르게 늘었습니다.
- 고볼륨 워크로드는 평균 30개가 넘는 서로 다른 모델로 라우팅되는 것으로 나타났습니다.
- 에이전트형 워크로드가 전체 토큰 볼륨의 59%를 차지하며 6개월 만에 2배로 늘었습니다.
- 개인 비서는 비용의 20%, 토큰의 40%를 차지했고, 코딩 에이전트는 비용과 토큰이 비슷한 비중을 보였습니다.
- 백오피스 에이전트와 앱 생성은 토큰 대비 더 낮은 비용 비중으로 운영되었습니다.
- 사용 사례별로 보면 Anthropic은 software building에서, Google은 consumer에서 두드러졌고 OpenAI는 가장 고르게 분포했습니다.
- xAI와 기타 오픈 웨이트 계열은 coding, consumer, long-tail use cases에 걸쳐 분산되었습니다.
- Claude Sonnet 4.6과 Claude Opus 4.7은 출시 후 몇 주 안에 계열 내 트래픽을 흡수했습니다.
- AI Gateway에서 약 3.5%의 요청이 fallback으로 성공했고, 토큰 기준 5.1%, 금액 기준 4.9%로 더 높게 나타났습니다.