사이버 취약점 탐지 성능 평가 벤치마크
애플리케이션 코드의 보안 취약점 탐지 성능을 비교하는 DeepsecBench가 공개되었습니다.
교안에 영향
기존에 보안 취약점 스캐닝이나 deepsec 활용법을 설명한 글은 DeepsecBench, DeepsecBench page, AI Gateway, Run recurring security reviews with deepsec on Vercel 기준으로 갱신해야 합니다.
요약
- 애플리케이션 코드에서 보안 취약점을 얼마나 잘 찾는지 평가하는 DeepsecBench가 추가되었습니다. - 각 모델의 recall, precision, cost, total time을 함께 보여주고, 이들을 바탕으로 단일 benchmark score를 계산합니다. - 오픈소스 코드베이스에서 50개 entry-point files와 231개의 human-judged findings를 기준으로 평가합니다. - 반복 실행한 뒤 중앙값을 보고하며, 결과 차트와 데이터를 DeepsecBench page에서 확인하고 내려받을 수 있습니다.
바뀐 것
새 기능
- 애플리케이션 코드의 보안 취약점 탐지 성능을 평가하는 DeepsecBench를 공개했습니다.
- 각 모델에 대해 recall, precision, cost, total time을 보고하고 이를 하나의 benchmark score로 묶습니다.
- 50개 entry-point files와 231개의 human-judged findings를 바탕으로 평가합니다.
- 평가는 세 번 실행한 뒤 중앙값을 사용하며, 결과 차트와 데이터를 DeepsecBench page에서 확인하고 내려받을 수 있습니다.
기타
- AI Gateway를 통해 단일 엔드포인트로 여러 모델을 라우팅하고, 재시도와 장애 전환을 자동으로 처리합니다.
- Run recurring security reviews with deepsec on Vercel 안내가 추가되어, 저장소별 일정 설정과 GitHub, Slack 전달을 지원합니다.