구조화된 데이터 평가에서 bash와 SQL 비교
구조화된 데이터 질의에서 bash, 파일시스템, SQL을 비교하고 하이브리드 접근의 효과를 검증했다.
교안에 영향
구조화된 데이터용 agent 평가 안내에서 SQL만이 최선이라는 설명은 이제 맞지 않음.
요약
- GitHub issues와 pull requests 데이터셋으로 agents의 질의 성능을 비교하는 eval harness를 만들었다. - SQL agent, Bash agent, Filesystem agent를 같은 질문으로 평가해 정확도와 비용, 시간 차이를 확인했다. - just-bash의 성능 병목과 JSON schema 정보 부족, eval 채점 오류, 데이터 로딩 문제를 수정했다. - bash와 SQLite를 함께 쓰는 hybrid approach를 실험해 self-verification이 정확도를 높인다는 점을 확인했다. - structured data에는 SQL이 직접적이지만, exploration과 검증에는 bash가 유용하다는 결론을 얻었다.
바뀐 것
새 기능
- GitHub issues와 pull requests를 대상으로 하는 eval harness를 공개했다.
- Dataset, agent implementations, questions를 바꿔 넣어 자체 benchmark를 돌릴 수 있게 했다.
개선
- just-bash의 성능 병목을 줄이기 위한 최적화를 적용했다.
- JSON 파일 구조 정보와 예시 명령을 system prompt에 추가해 bash agent의 질의 이해를 보강했다.
기타
- stat() 호출이 68,000개 파일 전반에서 지연을 일으키는 성능 문제를 확인했다.
- bash agent가 find, grep, jq, awk, xargs를 조합해 복잡한 shell command를 생성하는 양상을 확인했다.
- hybrid approach에서 bash로 탐색하고 SQLite로 검증하는 동작을 관찰했다.
- eval harness가 open source이며 just-bash와 연동된다고 안내했다.
수정
- eval의 다섯 가지 모호하거나 잘못된 expected answer를 바로잡았다.
- 데이터 로딩 bug로 발생하던 off-by-one 오류를 수정했다.