SWE-bench Verified 평가 중단
SWE-bench Verified의 오염과 측정 한계로 인해 더 이상 평가 기준으로 쓰지 않기로 했습니다.
교안에 영향
이후 안내에서는 SWE-bench Verified를 기준으로 한 평가 설명이 맞지 않으며, SWE-bench Pro를 기준으로 봐야 합니다.
요약
- SWE-bench Verified를 더 이상 평가에 사용하지 않기로 했습니다. - SWE-bench Verified가 점점 오염되고, 최첨단 코딩 성과를 제대로 측정하지 못한다고 봅니다. - 분석 결과, 잘못된 테스트와 학습 데이터 누수가 확인되었습니다. - 대신 SWE-bench Pro 사용을 권장합니다.
바뀐 것
새 기능
- SWE-bench Pro 사용을 권장합니다.
기타
- 분석에서 flawed tests와 training leakage를 확인했습니다.
지원 종료
- SWE-bench Verified를 더 이상 평가에 사용하지 않기로 했습니다.
수정
- SWE-bench Verified가 오염되고 frontier coding progress를 잘못 측정한다는 문제를 지적했습니다.