코딩 에이전트까지 포함한 AEO 추적 체계
Vercel이 코딩 에이전트의 검색·응답·출처를 추적하는 AEO 평가 체계를 구축했다.
교안에 영향
기존에 표준 모델만 대상으로 한 AEO 안내는 코딩 에이전트의 실행 환경, transcript 정규화, Vercel Workflow 병렬 실행까지 다루지 않아 설명이 부족해질 수 있다.
요약
- AI Gateway로 표준 모델과 코딩 에이전트의 응답, 검색, 인용 출처를 함께 추적하는 AEO 시스템을 만들었다. - 코딩 에이전트는 CLI와 전체 개발 환경을 전제로 동작해 sandbox, 자격 증명 주입, 실행 종료를 포함한 별도 흐름으로 운영한다. - Claude Code, Codex, OpenCode의 서로 다른 transcript 형식을 공통 TranscriptEvent로 정규화하는 4단계 파이프라인을 도입했다. - Vercel Workflow로 여러 에이전트를 병렬 실행해 같은 프롬프트를 비교하고, 표준 모델용 브랜드 추출 파이프라인까지 재사용한다. - 초기 관찰 결과, 코딩 에이전트는 약 20%의 프롬프트에서 웹 검색을 수행하며 추천 내용도 코드 형태로 나타나는 경우가 많았다.
바뀐 것
새 기능
- AI Engine Optimization(AEO) 시스템으로 모델이 Vercel과 사이트를 어떻게 발견하고 해석하며 인용하는지 추적한다.
- 표준 chat 모델뿐 아니라 coding agents까지 추적 범위를 확장했다.
- AI Gateway를 사용해 GPT, Gemini, Claude 같은 여러 모델의 프롬프트, 응답, 검색 행동, 인용 출처를 분석한다.
- 코딩 에이전트를 실행하기 위한 Vercel Sandbox 기반의 임시 Linux MicroVM 흐름을 도입했다.
- sandbox에서 agent CLI를 설치하고, 환경 변수를 주입해 AI Gateway로 LLM 호출을 라우팅한다.
- 에이전트별 transcript를 수집해 웹 검색 여부, 호출한 도구, 응답 권장 사항을 기록한다.
- 트랜스크립트 capture, parsing, enrichment, summary and brand extraction의 4단계 정규화 레이어를 구축했다.
- Vercel Workflow에서 prompt가 "agents" type일 때 여러 에이전트를 병렬로 실행한다.
개선
- Claude Code, Codex, OpenCode의 서로 다른 tool 이름과 message 구조를 공통 TranscriptEvent로 정규화한다.
- tool arguments에서 URL과 명령어 같은 구조화 메타데이터를 추출해 후속 처리의 의존성을 줄였다.
- 정규화된 이벤트를 집계해 표준 모델 응답과 같은 brand extraction pipeline에 넣는다.
- 실행 중 오류가 나도 catch block이 sandbox를 정리해 리소스 누수를 막는다.
기타
- 비교 결과 코딩 에이전트의 웹 검색 빈도와 추천 형식에 대한 초기 관찰을 정리했다.
- 향후 OSS 공개, AEO eval methodology 심화 설명, 더 많은 agent와 prompt 유형 확장을 예고했다.