에이전트 벤치마크와 런타임을 한 플랫폼에 통합
Ora가 Vercel에서 에이전트 벤치마크, 프런트엔드, 백엔드, 런타임을 한 곳에 묶어 운영하는 방식을 소개했다.
교안에 영향
기존에 프런트엔드, 백엔드, 런타임이 분리되어 있다는 안내는 맞지 않을 수 있다.
요약
- Ora는 프런트엔드, 백엔드, 에이전트 런타임을 하나의 플랫폼에서 함께 운영한다고 설명했다. - live sites에서 주요 에이전트를 나란히 실행해 cost, latency, steps를 기록하는 벤치마크 방식을 공개했다. - eve를 포함한 여러 harness를 같은 조건으로 테스트하고, 결과를 제품 개선에 다시 반영했다. - microservices로 확장하면서도 같은 인프라와 설정으로 배포하는 구조를 유지한다고 밝혔다.
바뀐 것
새 기능
- journey.ora.ai에서 live customer sites를 상대로 에이전트를 실행하고 cost, latency, steps를 기록하는 벤치마크를 제공한다.
개선
- Claude Code, ChatGPT, Gemini, Hermes, OpenClaw, eve를 같은 조건에서 비교해 각 harness의 실행 결과를 자세히 추적한다.
- eve의 sandbox override로 자체 sandbox 대신 Ora가 추적하는 환경에서 agent를 실행해 기록을 남길 수 있게 했다.
- Benchmarks 결과를 바탕으로 eve의 prompt-caching 문제를 수정하고 총 비용을 낮췄다.
- Front end, back end, agent runtime이 같은 deployment path, logs, authentication을 공유하도록 구성했다.
기타
- 새 제품 확장에 맞춰 platform을 microservices로 나누되 모두 Vercel에서 배포하고 서로 추가 설정 없이 통신하도록 했다.