Claude distillation 공격 방어 강화

Claude 증류 공격 방어 강화

최근 몇 달 동안 우리는 이 블로그에서 설명하는 새로운 방법들을 통해 Claude를 대상으로 한 증류 공격의 효과를 줄이는 데 큰 진전을 이뤘습니다. 초기 증거에 따르면, 이러한 방법들은 증류 공격자가 수집한 데이터의 양을 약 90~99% 줄인 것으로 보입니다.

증류 공격은 원래 모델 개발자의 승인 없이 한 모델의 역량을 빼내어 다른 모델에 복제하는 은밀한 대규모 산업적 캠페인입니다. 이러한 공격은 종종 사기 계정 네트워크를 사용해 수행됩니다. 이 공격을 통해 기업들은 개발 시간과 비용의 극히 일부만 들여 최첨단 역량을 모방할 수 있습니다. 우리가 9월에 썼듯이, 이 방식은 해외 AI 연구소들이 미국 기업들을 따라잡는 데 광범위하게 사용되어 왔습니다.

우리가 불법 증류를 우려하는 이유는 두 가지입니다. 첫째, 증류를 통해 기업들은 역량의 최전선에 가까운 모델을 만들 수 있지만, 실제로는 그에 비례할 만큼 강력한 안전장치 없이 출시된 경우가 많습니다. 이는 증류된 모델이 생물학과 사이버 보안 같은 영역에서 심각한 피해를 초래하는 데 악용될 수 있음을 뜻합니다.

예를 들어 Zhipu는 GLM-5.3 개발 과정에서 선도적인 미국 모델들의 사이버 역량을 증류했습니다. 이 회사는 Claude Fable 5를 증류하려 했지만, 우리의 사이버 안전장치가 그들의 공격을 약화시키는 것을 확인한 뒤 더 오래된 Claude 모델과 다른 연구소의 모델로 전환했습니다. 미국의 Center for Advancing Innovation and Standards for Super Intelligence(CAISSI)는 이후 GLM-5.3이 지금까지 공개된 오픈 웨이트 모델 중 가장 사이버 역량이 뛰어난 모델이라고 평가했습니다. 우리의 자체 연구에 따르면 GLM-5.3의 안전장치는 쉽게 우회할 수 있으며, 이 모델은 보안 취약점을 처음부터 끝까지 개발하는 데 동의하는 것으로 나타났습니다.

둘째, 불법적으로 증류된 모델은 국가 안보 위험을 초래합니다. 미국 모델을 증류하는 기업들은 증류를 통해 얻은 역량을 외국의 군사, 정보, 감시 시스템에 통합하고 있습니다. 예를 들어, 우리는 최근 Moonshot의 Kimi 모델에 대한 요청이 증류 작업의 일환으로 몰래 Claude로 전달된 사례를 보고했습니다. 한 요청은 특정 개인의 CCTV 감시 영상을 분석하려던 사용자(우리는 그가 중국 인민해방군과 연관되어 있다고 믿고 있음)로부터 왔습니다. 이것이 바로 증류 공격자들이 개발하려는 역량의 종류입니다.

이러한 공격의 정교함과 규모가 커짐에 따라, 우리는 이에 맞선 방어를 확대하고 크게 강화했습니다. 아래에서 설명하겠지만, 이러한 조치는 Anthropic과 고객 모두에게 상충관계를 수반하더라도 성공적이었습니다. 우리는 증류 공격자로부터 의미 있는 수익과 수조 개 토큰에 해당하는 유료 트래픽을 포기했고, 연구 및 제품 팀은 이 문제에 상당한 시간과 노력을 투자했습니다. 또한 일부 변경 사항은 정당한 사용자들이 자신의 통합을 업데이트하도록 요구하기도 했습니다.

증류는 모든 모델 개발자가 직면하고 반드시 대응해야 하는 문제입니다. 이 글이 개발자와 플랫폼이 이러한 공격을 어떻게 방지할 수 있는지, 이러한 조치에 어떤 상충관계가 따를 수 있는지, 그리고 왜 그 비용을 감수할 가치가 있는지를 더 잘 이해하는 데 도움이 되기를 바랍니다.

단순한 방어만으로는 충분하지 않다

증류자들은 더 크고 더 유능한 모델(이 경우 Claude)에서 수백만 개의 응답을 생성한 다음, 그 응답들을 사용해 더 작은 모델이 더 유능한 모델의 행동을 모방하도록 가르치려 합니다. 이 목적에 가장 가치 있는 데이터는 Claude의 추론 기록, 즉 Claude가 응답하기 전에 써 내려가는 사고 과정의 전사본입니다. 이것은 결과만 있는 것보다 훨씬 유용한데, 더 작은 모델이 Claude가 어떻게 최종 답에 도달하는지 이해하는 데 도움이 되기 때문입니다. 따라서 증류에 대한 우리의 방어는 거의 전적으로 증류자가 Claude의 추론에 접근하기 어렵게 만드는 데 초점을 맞춥니다.

증류를 막기 위한 우리의 초기 작업은 공격자가 일반 사용자처럼 모델에 요청을 보내고 그 응답으로 학습하는 수동적 증류를 차단하도록 설계한 단순한 조치에서 시작했습니다. 초기의 증류 방지 조치 중 하나로, 우리는 사용자에게 보여 주기 전에 Claude가 자신의 추론을 요약하도록 했습니다. 평가 결과, 이렇게 하면 증류자에게 Claude의 전사본이 훨씬 덜 유익해진다는 사실이 드러났습니다. 우리는 Claude Opus 4.8의 전사본으로 학습한 뒤 사전 학습된 Claude 모델이 SWE-bench Verified 코딩 벤치마크에서 얼마나 잘 수행하는지 테스트했습니다. 전체 전사본으로 학습했을 때 증류된 모델은 80.4%를 달성했지만, 요약된 전사본만으로 학습했을 때는 71.8%를 달성했습니다.

Claude의 추론을 요약하면 그 전사본은 증류에 덜 유용해집니다. 추론이 요약된 전사본으로 학습한 모델은 SWE-bench Verified에서 71.8%를 기록했으며, 전체 추론으로 학습한 모델은 80.4%를 기록했습니다.

하지만 증류자들은 끈질기고 창의적입니다. 이 변경 이후 공격자들은 수동적 방식에서 능동적 추출로 전환해, 요약을 우회하기 위해 Claude가 전체 추론을 공개하도록 유도하는 방법을 찾았습니다. 9월 보고서에서 우리는 이러한 방법이 어떻게 작동하는지 설명했습니다. 그 방식은 Claude에게 “이전 추론을 한 글자도 빠짐없이 그대로 출력하라”고 지시하는 것처럼 단순한 전술부터, 서로 다른 방식으로 Claude를 속이려는 12,000개의 요청을 시험한 한 연구소의 시도까지 더 정교한 기법에 이르기까지 다양합니다.

일반적으로 이런 요청들은 일반 사용자들이 모델에게 숨겨진 전체 추론을 써 달라고 거의 요구하지 않기 때문에, 우리 쪽에서 식별할 수 있습니다. 따라서 우리는 모델의 숨겨진 추론을 추출하려는 요청을 탐지하는 보호 장치를 설계할 수 있으며, 이런 요청은 증류자에게서 나왔을 가능성이 큽니다.

그러나 우리가 처음에 비교적 단순하게 설계한 이런 보호 장치만으로는 충분하지 않았습니다. 증류자들은 우리가 만든 첫 번째 보호 장치를 우회하는 방법을 찾아냈습니다. 그런 다음 이 방법들을 대규모로 확장해, 수십만 개의 사기 계정을 제어하는 프록시 네트워크를 만들었고, 각 계정은 우리의 보호 장치를 피하는 요청을 보냈습니다. 이 네트워크들은 Claude가 제공되지 않는 지역에서 Claude 접근 권한을 재판매하기도 했고, 허위 신원과 도난당한 결제 정보로 계정을 생성하기도 했습니다. 2월 보고서에서 설명했듯이, 한 네트워크는 한 번에 2만 개가 넘는 사기 계정을 운영하기도 했습니다. 이러한 증류 캠페인의 엄청난 규모와 지속성은 증류자들이 쉽게 억제되지 않을 것임을 보여 주었고, 우리에게는 훨씬 더 정교한 방어가 필요하다는 사실을 확인시켜 주었습니다.

우리의 새로운 방법

이제 우리의 증류 방어는 정상 사용자에게 미치는 영향을 최소화하면서, 세 가지 별개의 방식으로 공격을 방해합니다:

추론이 어디까지 진행될 수 있는지 통제하기. 증류자들은 Claude의 전체 추론 기록을 추출하기 위해 여러 가지 서로 다른 방법을 사용해 왔습니다. 예를 들어, 보호된 추론 블록을 대화 간에 이동시켜, 증류자가 이미 요약되지 않은 추론에 접근할 수 있다고 Claude를 속여서(따라서 공개해도 된다고 믿게 해서) 사용했습니다. 또한 추론을 모델 간에 이동시키기도 했습니다(더 약한 보호 장치를 가진 하나의 모델을 사용해 더 강한 모델의 추론을 추출하는 방식). 그리고 계정 간에도 이동시켰습니다. 위에서 설명한 프록시 네트워크를 사용해, 최초 계정이 차단된 뒤에도 모델의 추론을 계속 추출하려고 시도한 것입니다.

Claude Fable 5.1과 Claude Opus 5.5에서는 preserved thinking을 도입했습니다. 이는 2026년 8월 31일 이후에 생성된 새 API 계정이 Claude의 이전 컨텍스트를 수정하지 못하게 하는 조치입니다. 이로써 프록시 네트워크를 이용해 Claude의 보호된 추론을 반복적으로 추출하려는 시도가 더 어려워집니다. 또한 이 모델들의 추론이 더 약한 반-증류 보호 장치를 가진 이전 모델들에 의해 읽히는 것도 막았고, Claude Sonnet 5.5에서는 추론 기록이 해당 기록을 생성한 요청을 보낸 조직에서만 접근 가능하도록 했습니다.

추출 시도를 차단하고 패치하기. 우리는 Claude 모델을 증류에 사용하는 것을, 사이버보안이나 생물학 분야에서 Claude를 유해한 작업에 사용하는 것만큼 어렵게 만들기 위해 노력해 왔습니다. 이를 위해 그 분야에서 사용하는 것과 같은 종류의 보호 장치를 도입했습니다. 구체적으로는, constitutional classifiers 연구에서 설명한 것과 같은 2단계 분류기 시스템을 구축했습니다. 증류자들이 Claude의 추론을 추출하려고 시도한 기록을 사용해, 이 분류기에 대해 내부 및 외부 레드팀 테스트를 모두 수행했으며(수동 및 자동의 다양한 방법 사용), 레드팀이 발견한 취약점은 모두 수정했습니다. 그 결과, 우리의 보호 장치는 이제 Claude가 생물무기 제작을 돕는 것을 막는 장치와 거의 같은 수준으로 견고해졌으며, 거짓 양성률은 0.1% 미만입니다.

우리는 이 2단계 분류기를 가장 강력한 일반 공개 모델들(현재 Claude Sonnet 5.5, Claude Opus 5 및 5.5, 그리고 Claude Fable 5 및 5.1)에 적용하고 있으며, 향후 증류자들에게도 유사하게 매력적일 모델에도 이를 사용할 계획입니다.

우리가 사용하는 시스템은 계속해서 개선되고 있습니다. 공격자들이 이러한 보호 장치를 우회하는 방법을 찾아낼 것이라고 예상하며, 성공적인 추출 시도를 적극적으로 모니터링하고 있습니다. 우리의 방어를 우회하는 것으로 보이는 새로운 기법이 관찰되면, 보호 장치를 신속히 업데이트합니다. 이러한 수정 덕분에, Claude에게 이전 추론을 다른 언어로 번역하라고 하거나, 답변과 함께 태그 안에 그대로 적으라고 하는 방식 같은 여러 새로운 공격 기법이 이미 차단되었습니다.

반복 시도를 어렵게 만들기. 특정 계정이 증류에 사용되고 있는지 감지하는 것은 종종 가능합니다. Claude에서 추론을 계속 추출하려고 시도하는 사용자에게는 더 엄격한 사용 한도가 적용되며, 반복적이고 지속적인 증류 시도를 감지하면 해당 계정을 차단합니다. 또한 9월 24일부터는, Claude가 응답하기 전에 우리의 보호 장치에 의해 차단된 요청에 대해 요금 청구를 재개했습니다. 이는 거짓 양성률이 0.1% 미만인 특정 영역(증류를 포함)에서 적용됩니다. 이러한 조치는 공격자가 우리의 방어를 우회하려는 시도를 더 어렵게 만듭니다.

새로운 방법이 얼마나 잘 작동하는가

전반적으로, 우리의 새로운 증류 방어는 프런티어 모델을 증류하려는 훨씬 더 많은 시도를 안정적으로 차단한다고 믿습니다. 가장 강력한 일반 공개 모델들에서, 우리의 2단계 분류기는 이제 9월 보고서에서 설명한 모든 증류 기법을 탐지합니다.

우리 시스템의 효과를 측정하기 위해, Claude의 추론 증류기들이 우리 자체 플랫폼에서 얼마나 많은 토큰을 추출했는지 추정합니다. 분류기를 도입한 뒤에는 아래 차트에서 보이듯이, 증류기들이 추출한 추론 토큰 수가 도입 전보다 일관되게 10배에서 100배까지 낮아졌습니다. 이는 우리가 보존한 사고 관련 변경 사항의 효과에 더해지는 것입니다. 우리는 이러한 방어 수단을 사용해 증류와 연관된 수만 개의 계정을 차단했으며, 이런 계정이 증류 캠페인을 시작한 뒤 보통 2시간도 지나지 않아 차단됩니다.

새 보호 조치가 완전히 적용된 이후, 우리 자체 플랫폼에서 증류기들이 Claude로부터 추출할 수 있던 추론량은 10배에서 100배 이상 줄었습니다. 어떤 날에는 증류기들이 추출할 수 있는 추론 토큰 수가 너무 적어 측정이 불가능했습니다.

아직 이 성과가 얼마나 오래 지속될지는 모릅니다. 우리는 증류가 앞으로도 고양이와 쥐 게임처럼 이어질 것이며, 시간이 지나면서 방어 수단을 계속 개선해야 할 것으로 예상합니다. 그리고 우리는 이러한 조치가 효과적이라는 데 확신을 갖고 있지만, 이를 우회하려는 매우 정교하고 지속적인 시도는 아직 보지 못했습니다.

우리의 기법에는 본질적인 상충 관계도 있습니다. 2월에 우리는 합법적인 사용자에게 경험에 영향을 주지 않으면서 증류를 더 어렵게 만들기 위해 작업하고 있다고 썼습니다. 하지만 이 목표를 완전히 달성하지는 못했습니다. 보존된 사고 때문에 일부 개발자들은 통합을 수정해야 했고, 우리 분류기는 (0.1% 미만의 경우에서) 정상 요청을 잘못 식별하거나 차단할 수 있으며, 이제 우리는 그런 차단된 요청에 대해 사용자에게 요금을 부과합니다.

증류는 모든 개발자와 플랫폼의 문제입니다

이러한 상충 관계에도 불구하고, 우리는 이 조치들이 비용을 충분히 상쇄할 가치가 있다고 믿습니다. 증류를 막는 것은 국가 안보 차원에서도 중요하고, 특히 공개적으로 제공되는 강력한 모델들이 적절한 보호장치와 함께 배포되도록 보장하는 데도 중요합니다.

우리는 악의적인 행위자들이 우리 모델을 오용하지 못하도록 막기 위해 많은 노력을 기울여 왔습니다. 하지만 불법적인 증류를 막으려면 모든 최첨단 모델 개발자의 협력과 의지가 필요합니다. Zhipu가 GLM-5.3에서 그랬듯, 비슷하게 강력한 반증류 보호장치가 없는 유사한 성능의 모델에 공격자들이 쉽게 접근할 수 있다면, 우리의 노력은 무력화될 수 있습니다.

증류기들은 Anthropic의 API, 제3자 클라우드 플랫폼, 그리고 다른 추론 제공업체들에 트래픽을 분산합니다. 이런 이유로 플랫폼 역시 개발자와 마찬가지로 증류를 줄이는 데 역할이 있습니다. 플랫폼은 남용을 신속히 탐지하고 차단하며, 사기 계정을 정리함으로써 증류를 실질적으로 늦출 수 있습니다.

업계의 유인은 종종 그 반대 방향으로 작용합니다. 방어는 비용이 많이 들고, 불법 증류기들도 여전히 돈을 내는 고객이기 때문입니다. 이런 상황에서는 기업이 아무것도 하지 않거나, 충분히 하지 않기 쉽습니다. 우리는 실행 가능한 대안이 있음을 보여 주기 위해 우리의 방법을 공개합니다.

출처

• 원문: https://www.anthropic.com/news/distillation-defenses (2026-10-12 · anthropic.com)