LLM의 익스플로잇 개발 능력 측정

Newton Cheng, Keane Lucas, Winnie Xiao, Nicholas Carlini, and Milad Nasr

서론

Claude Mythos Preview의 익스플로잇 개발 능력은 이전의 최첨단 모델들을 뛰어넘는 비약적인 향상입니다. 이것이 바로 우리가 이 모델을 일반 공개가 아니라 Project Glasswing을 통해 신중하게 배포하기로 한 주요 이유 중 하나였습니다. Mythos Preview는 복잡한 취약점을 찾아낼 수 있지만, 내부 테스트에서 가장 우려했던 점은 Mythos Preview가 취약점을 익스플로잇 프리미티브로 바꾸고, 그런 프리미티브들을 결합해 완전한 엔드투엔드 공격 체인을 만들 수 있었다는 것입니다.

우리가 Mythos Preview 결과를 발표했을 때, 모델이 새로운 제로데이를 찾은 뒤 그에 대한 익스플로잇을 만드는 방식으로 능력을 측정했습니다. 이런 질적 평가는 모델의 능력을 보여주는 데 도움이 되지만, 이상적으로는 이를 정확하게 측정할 수 있는 고품질 정량 벤치마크가 필요합니다. Mythos Preview를 공개할 당시 우리가 직면한 문제는, 기존의 공개 익스플로잇 벤치마크들 중 어느 것도 초기 테스트에서 Mythos Preview의 능력을 포착할 만큼 충분히 어렵지 않았다는 점이었습니다.

그러나 지난 한 달 동안, 우리는 더 도전적인 두 가지 새로운 학술 벤치마크인 ExploitBench와 ExploitGym의 개발을 보았습니다. 우리는 이 벤치마크를 만든 연구자들과 협력해 Mythos Preview의 성능을 측정했으며, 또한 스마트 컨트랙트 익스플로잇을 측정하기 위해 MATS 및 Anthropic Fellows Program과 협력해 우리가 개발한 벤치마크인 SCONE-bench의 업데이트 버전에서도 Mythos Preview를 실행했습니다. 세 벤치마크 모두에서, Mythos Preview가 평가한 모든 다른 모델보다 일관되게 우수한 성능을 보인다는 사실을 확인했습니다. 우리는 이것이 Mythos 수준의 능력이 더 널리 보급됨에 따라 익스플로잇을 개발하는 데 필요한 지식과 전문성이 크게 낮아질 것이라는 추가적인 증거라고 믿습니다.

ExploitBench: V8 버그

ExploitBench는 대규모 언어 모델의 익스플로잇 개발 능력을 연구하기 위한 벤치마크입니다. 이는 Carnegie Mellon University와 Bugcrowd의 Seunghyun Lee와 Prof. David Brumley가 만들었습니다. 이 벤치마크가 흥미로운 이유는 언어 모델이 완전한 엔드투엔드 익스플로잇을 작성하는 능력을 측정하는 데 초점을 맞추기 때문입니다. 기존 벤치마크들은 보통 취약점의 존재를 보여주는 “proof-of-concept”를 작성하는 능력을 측정하는 데 집중했습니다. 하지만 proof-of-concept는 버그가 재현 가능하거나 도달 가능하다는 것만 보여줄 뿐, 공격자가 그것을 실제로 악용해 피해를 줄 수 있다는 뜻은 아닙니다. ExploitBench에서는 언어 모델이 취약점으로부터 익스플로잇 프리미티브를 만들어내어 공격자에게 임의 코드 실행(ACE) 같은 새로운 기능을 가능하게 해야 합니다.

ExploitBench는 익스플로잇 개발 과정을 16개의 서로 다른 능력으로 분해합니다. 이들 각 항목은 프로그램적으로 검증되며, 이를 통해 작동하는 익스플로잇을 만드는 데 필요한 다양한 중간 능력을 세밀하게 분석할 수 있습니다. 16개 능력은 다섯 개의 능력 단계로 나뉘며, 다음과 같은 능력 사다리를 형성합니다:

• T5 Coverage(취약한 코드 경로에 도달하기);
• T4 Reproduction(버그를 트리거하는 proof-of-concept 구성하기);
• T3 Target primitives(V8 샌드박스 내부에 제한된 프리미티브 생성하기);
• T2 Generic primitives(샌드박스를 깨고 프로세스 간 read/write 또는 infoleak 얻기);
• T1 Full Control(제어 흐름을 하이재킹하거나 임의 코드 실행 얻기).

이 프레임워크를 바탕으로 저자들은 V8 벤치마크를 구축했는데, 이는 V8 Exploit Tracker에서 가져온 V8 JavaScript 및 WebAssembly 엔진의 41개(현재는 패치됨) 취약점을 사용한다. V8 엔진은 널리 쓰이는 인프라이며, Chromium 기반 애플리케이션(예: Chrome, Edge, Android WebView), Node.js 환경(서버 백엔드), 그리고 Electron 앱(예: VS Code, Slack, Discord)을 구동한다. 이 프레임워크의 핵심 요소 중 하나는 보안 방어에 대한 테스트다. V8 샌드박스는 웹페이지의 JavaScript 객체가 존재하는 메모리를 차단하여, V8 버그가 브라우저 더 깊숙한 곳으로 이어지는 발판이 되지 않도록 한다. 가장 높은 점수 단계는 전체 V8 프로세스에서 임의 코드 실행이 가능함을 의미한다(브라우저에서 이는 전체 탭을 장악하는 것과 같다).

취약한 V8 빌드와 특정 취약점을 수정하는 패치가 주어지면, 언어 모델은 그 버그를 위한 익스플로잇을 만들도록 지시받는다. 그런 다음 익스플로잇은 사람이나 LLM 판정자 없이, 16개 능력 전부에 대해 자동으로 점수화된다. 낮은 단계는 패치된 빌드와의 차등 실행으로 확인하고, 높은 단계는 V8에 내장된 챌린지-응답 함수를 사용하며 여러 무작위 힙 레이아웃에 걸쳐 재생되므로, 유출된 주소를 하드코딩하는 식으로는 통과할 수 없다. 별도의 정적 트랜스크립트 검사도 다른 형태의 부정을 안전장치로 적발한다.

모든 모델은 300턴 예산이 있는 동일한 ExploitBench 하네스에서 실행되며, 이 하네스에는 Baseline과 Nudged라는 두 가지 변형이 있다. Nudged 변형에서는 모델이 예산 한도에 가까워지면 마무리하도록 경고하거나, 너무 일찍 멈추면 턴 예산을 더 사용하도록 유도하기 위해 하네스가 추가 프롬프트를 적응적으로 주입한다. 각 변형은 세 번의 시험으로 실행된다. Anthropic은 모든 Claude 모델을 실행한 뒤, 모든 결과와 트랜스크립트를 벤치마크 저자에게 제공했고, 저자들은 결과를 검증했다.

3번의 시험에서 41개 CVE 환경 전체에 걸쳐 달성한 최고 단계와, 모든 시험에서 측정된 16개 능력의 평균 cap(abilities) 달성치. 사용량은 API 사용량으로 계산된다. 출처: exploitbench.ai 그림 2: Baseline 변형에서, 모델이 주어진 능력 단계에 도달할 수 있었던 41개 중 환경의 누적 개수.

Baseline 변형에서, 모델이 주어진 능력 단계에 도달할 수 있었던 41개 중 환경의 누적 개수.

Mozilla Firefox에 대한 우리의 이전 결과와 일관되게, 모든 언어 모델은 주어진 취약점을 도달하거나 트리거할 수 있지만, Claude Opus 4.6 이후의 모델만이 V8 샌드박스 내부에서 프리미티브를 개발하는 데 진전을 보인다. V8 샌드박스를 탈출하여 T3에서 T2로 가는 것이 다음 능력의 벽인데, Mythos Preview만이 이를 안정적으로 수행할 수 있으며, 시험한 환경의 절반이 넘는 곳에서 이를 해낸다. 또한 Baseline 변형에서 거의 절반의 환경에서 제어 흐름 하이재킹(T1)도 달성한다. Baseline과 Nudged 변형을 합치면 Mythos Preview는 41개 CVE 중 21개에서 ACE를 달성하는 반면, 다른 어떤 모델도 어느 변형에서든 ACE를 1개조차 달성하지 못했다. 점수판에서 ACE를 달성한 다른 유일한 모델은 41개 중 2개 CVE에서만 그렇게 했으며, 그것도 전용 스캐폴드(proprietary scaffold)를 사용할 때에 한했다.

또한 저자들은 Mythos Preview의 몇 가지 익스플로잇 시도에 대해 심층 분석을 수행했습니다. 한 사례에서 Mythos Preview는 공개적으로 알려진 익스플로잇이 확률적이고 통제가 어려웠던 버그 CVE-2023-6702에 대해, 거의 결정론적인 익스플로잇을 만들어낼 수 있었습니다. 익스플로잇의 배포는 단 한 번의 시도로 제한될 수 있기 때문에, 실제로 매매되는 익스플로잇에서는 안정성이 종종 매우 중요합니다. Mythos Preview가 이를 달성한 방식 또한 인상적이었습니다. ExploitBench의 저자 중 한 명인 Seunghyun Lee는 이렇게 썼습니다. “나는 1-day v8CTF 익스플로잇의 원저자와 정확히 이 익스플로잇 계획의 가능성에 대해 비공개로 논의한 적이 있는데, 접근 방식의 복잡성 때문에 곧바로 제외했습니다. Mythos는 이 특정 익스플로잇 기법에 대해 공개적으로 이용 가능한 정보가 전혀 없음에도 이를 깔끔하고 완벽하게 실행했습니다.”

이 질적 분석의 더 자세한 내용은 여기에서 읽을 수 있으며, 자세한 내용은 벤치마크 웹사이트 exploitbench.ai 또는 preprint를 참고하세요.

ExploitGym

ExploitGym은 다양한 대상 집합 전반에서 언어 모델의 익스플로잇 능력을 측정하는 것을 목표로 하는 두 번째 벤치마크입니다. 이 벤치마크는 CyberGym 취약점 재현 벤치마크의 후속으로, UC Berkeley, Max Planck Institute for Security and Privacy, UC Santa Barbara, Arizona State University의 협업으로 개발되었으며, Anthropic, OpenAI, Google의 보안 연구자들의 기여도 포함되었습니다.

ExploitGym의 저자들은 OSS-Fuzz의 여러 프로젝트, V8 엔진, 그리고 Linux kernel 전반에 걸친 898개의 현재는 패치된 취약점에 평가 프레임워크를 적용합니다. 이 세 가지 대상 범주는 함께 세계에서 가장 많이 사용되는 소프트웨어의 큰 비중을 차지합니다.

각 취약점에 대해 언어 모델에는 빌드 정보(취약한 소스 코드와 빌드 스크립트), 취약점 정보(취약점 재현 증명; 취약점 설명), 런타임 정보(컴파일된 바이너리; 실행 스크립트), 그리고 취약한 엔트리포인트를 실행하는 원격 대상이 제공됩니다. 그런 다음 언어 모델은 대상의 보안 모델상 도달할 수 없어야 하는 권한 수준에서 코드를 실행하는, 대상에 대한 무단 코드 실행을 달성하는 작동하는 익스플로잇을 개발하는 과제를 맡게 됩니다. 이어서 그 상승된 권한을 사용해 동적으로 생성된 플래그를 가져와야 합니다. 시도는 올바른 플래그가 제출되고, 모델 심사자가 해당 시도가 의도된 취약점을 악용한 것으로 판단한 경우에만 성공으로 기록됩니다(다른, 어쩌면 더 쉽게 악용될 수 있는 취약점이 아니라). 평가 프레임워크는 V8 heap sandbox와 Linux Kernel Address Space Layout Randomization(KASLR) 같은 전환 가능한 보안 완화 기법을 지원합니다.

평가의 기본 프레임워크는 보안 완화 기법을 끈 상태로 2시간의 실제 경과 시간 제한을 사용하며, 모델은 개발자가 권장하는 하니스로 실행됩니다. 예를 들어 Claude 모델은 Claude Code 하니스로 실행됩니다. 모든 모델에는 동일한 프롬프트가 사용됩니다. Anthropic은 Opus 4.6과 Mythos Preview 실험을 수행했습니다.

2시간 제한을 사용했을 때 의도된 취약점을 이용한 모델별 성공 횟수입니다. 각 범주별 성공은 누적되어 표시되며, 각 막대의 맨 위에 총 성공 횟수가 표시됩니다.그림 4: 의도되지 않은 취약점을 사용한 경우를 포함한 모델별 플래그 획득 총횟수입니다.

의도되지 않은 취약점을 사용한 경우를 포함한 모델별 플래그 획득 총횟수입니다.

두 시간의 시간창 안에서 Mythos Preview는 의도된 취약점을 사용해 157개 과제에서 무단 코드 실행을 성공적으로 달성했으며, 코드 실행 경로로 가는 시도 중 의도된 취약점을 사용하지 않는 경우까지 포함하면 성공한 플래그 획득 수는 226개로 늘어납니다. 이전 세대의 Claude 모델들은 훨씬 낮은 성공률을 보입니다. 예를 들어 Opus 4.6은 의도된 취약점으로는 15회만 성공하고, 대체 취약점을 통한 성공까지 포함해도 36회에 그칩니다. 세 가지 대상 클래스에 걸친 성공 분포를 보면, Mythos Preview의 개선은 모든 클래스에서 나타나며, 커널 익스플로잇을 자주 개발할 수 있는 것으로 보고된 모델 두 개 중 하나입니다.

자세한 내용은 저자들의 블로그 또는 프리프린트를 참고하세요.

SCONE: 스마트 계약 익스플로잇

지난해 MATS 및 Anthropic Fellows Program과 협력하여, 우리는 LLM이 스마트 계약의 취약점을 찾아 악용하는 능력을 연구하기 위해 Smart Contract Exploitation benchmark (SCONE-bench)를 개발했습니다. 각 스마트 계약에 대해 언어 모델은 취약점을 식별하고, 로컬 시뮬레이션에서 해당 계약이 관리하는 자금을 탈취하는 익스플로잇을 만들도록 지시받습니다. 성능은 성공한 익스플로잇으로부터 얻은 총(시뮬레이션된) 수익으로 측정됩니다.

우리는 모든 모델의 최신 지식 컷오프 날짜인 2026년 1월 1일 이후에 보고된 12개의 익스플로잇을 사용하는 업데이트된 버전의 벤치마크를 실행했으며, 문제는 DefiHackLabs 데이터셋에서 가져왔습니다. 언어 모델이 성공적으로 익스플로잇한 각 스마트 계약에 대해, 우리는 CoinGecko API가 보고한 실제 익스플로잇 발생일의 역사적 환율을 사용해 모델의 네이티브 토큰 수익을 USD로 변환하여 익스플로잇의 달러 가치를 계산합니다. 그런 다음 모든 익스플로잇의 총 가치를 합산하고, 아래의 로그 스케일 그림에 이를 표시합니다.

Anthropic의 지난 1년 동안 출시된 모델들을 대상으로, 최신 지식 컷오프 날짜 이후에 보고된 스마트 계약 취약점을 성공적으로 악용해 얻은 총 수익(로그 스케일). 시뮬레이션과 Best@8에서 테스트한 결과입니다. 음영 영역은 모델-수익 쌍 집합에 대해 부트스트랩으로 계산한 90% 신뢰구간을 나타냅니다.

우리는 Mythos Preview가 이 벤치마크에서 3,500만 달러 규모의 스마트 계약을 악용할 수 있으며, 이는 우리가 테스트한 다음으로 가장 근접한 모델보다 1,500만 달러, 즉 약 75% 더 많다는 것을 발견했습니다. 최신 최전선 모델들은 모두 취약점을 더 일관되게 악용할 수 있고(더 높은 공격 성공률에 해당), 주어진 익스플로잇을 더 효율적으로 활용해 더 많은 자금을 탈취할 수 있습니다. Mythos Preview와 다른 모델들 사이의 수익 격차는 주로 Mythos Preview가 테스트된 모든 취약점을 성공적으로 악용한 유일한 모델이라는 점에서 비롯됩니다. Opus 4.7은 truebit을 악용할 수 있는 유일한 다른 모델이며, 8회 시도 설정에서 makina를 악용할 수 있었던 모델은 없었습니다. 우리는 이전 게시물에서 총 수익과 출시 시점을 기준으로 측정했을 때 Opus 4.5 이전 모델들의 성능이 평균 두 배 증가 시간이 1.1개월인 로그-선형 궤적을 따른다고 언급했습니다. Opus 4.5 이후의 우리 모델들도 이 추세를 계속 따르고 있지만, 두 배 증가 시간은 0.7개월에 불과합니다. 그 게시물에서 우리는 “언젠가는 두 배 증가 추세가 결국 평탄해질 것으로 예상한다”고 말했지만—분명히 아직 그 평탄화 지점에 도달하지는 않은 듯합니다.

이 게시물과 함께, 우리는 여기에서 SCONE-bench의 하네스와 데이터셋도 오픈소스로 공개합니다.

결론

올해 2월의 가장 강력한 모델조차 방어 조치가 대부분 비활성화된 시뮬레이션 환경에서 익스플로잇을 간신히 개발할 수 있었던 반면, Mythos Preview는 세계에서 가장 널리 사용되는 소프트웨어에 대해 완전한 엔드투엔드 익스플로잇을 구성할 수 있습니다. 우리는 Mythos 수준의 모델이 향후 6~12개월 내에 널리 이용 가능해질 것으로 믿습니다. 그렇게 되면 이런 종류의 익스플로잇 개발은 훨씬 적은 전문 지식을 요구하게 되어 점점 더 상품화될 것입니다.

모델이 점점 더 유능해질수록, 그들이 무엇을 할 수 있는지 잘못 판단했을 때의 비용도 함께 커집니다. 이 과제를 해결하려면 모델의 역량에 대한 정확하고 포괄적인 프로필을 구축해야 하며, 이는 다시 말해 높은 품질의 공개 벤치마크 개발을 필요로 합니다. 즉, 깊은 도메인 전문성을 가진 사람들이 만든 현실적이고 어려운 과제들입니다. 이 분야에는 ExploitBench와 ExploitGym 같은 작업이 더 많이 필요하며, 더 많은 취약점 분류, 더 많은 대상, 그리고 사이버 공격 체인의 더 많은 단계에 걸쳐 확장되어야 합니다. 점점 더 강력해지는 모델이 초래하는 위험을 연구하고 완화하려는 우리의 약속의 일환으로, 우리는 사이버 영역에서 모델에 대한 고품질이고 엄격한 평가 개발을 지원하고 있습니다. 자세한 내용은 External Researcher Access Program을 통해 문의해 주세요.

더 나은 측정은 책임 있는 배포에 필요하지만, 그것만으로는 충분하지 않습니다. Project Glasswing을 통해 사이버 방어자를 지원하는 것과 더불어, 우리는 Cyber Verification Program을 도입하여, 사용자가 자신의 소프트웨어와 인프라를 보호하기 위해 Claude를 사용하는 경우를 막지 않으면서도 잠재적으로 악의적인 사이버 위협을 더 공격적으로 차단할 수 있게 되었습니다.

저희의 노력에 함께하고 싶으시다면, research scientists and engineers, threat investigators, policy managers, offensive security researchers, security engineers, 그리고 many others를 위한 채용 공고가 있습니다.

출처

• 원문: https://www.anthropic.com/research/exploit-evals/ (2026-10-23 · anthropic.com)