AI 모델 안정성과 지연시간 개선
AI SDK와 AI Gateway로 모델 연동을 단순화하고, 재시도율과 지연시간을 크게 낮췄습니다.
교안에 영향
예전에는 모델 추가나 변경 시 어댑터 코드 작성과 배포가 필요하다는 안내가 있었다면 이제는 맞지 않습니다.
요약
- AI SDK로 모델별 맞춤 어댑터 코드를 없애고 모든 모델을 하나의 인터페이스로 다루게 했습니다. - AI Gateway로 재시도, 폴백 라우팅, 제공자 상태 모니터링, 가동 시간을 라우팅 계층에서 처리하게 했습니다. - 새로운 모델 지원이 한 시간대 작업에서 30초짜리 설정 문자열 추가로 바뀌었습니다. - 버그 수정과 성능 개선으로 retry rate는 7.5%에서 0.34%로, P99 latency는 131초에서 81초로 줄었습니다.
바뀐 것
개선
- AI SDK로 모델별 맞춤 어댑터 코드를 하나의 통합 인터페이스로 바꿨습니다.
- AI Gateway로 retries, fallback routing, provider health monitoring, uptime을 라우팅 계층에서 처리하게 했습니다.
- 새 모델 지원을 긴 코드 변경 대신 설정 문자열 추가만으로 할 수 있게 했습니다.
- MiniMax M2.7을 출시 즉시 사용할 수 있게 했습니다.
- retry rate가 7.5%에서 0.34%로 낮아졌습니다.
- chat success rate가 98%에서 99.93%로 높아졌습니다.
- P99 latency가 131초에서 81초로 줄었습니다.
- average latency가 25.7% 개선되었습니다.
- P95가 46초에서 34초로 줄었습니다.
- 평균 시도 횟수가 1.00으로 낮아졌습니다.