Anthropic, 독립 평가자에게 직원 수준 접근 제공

Anthropic의 독립 평가자 직원 수준 접근 제공

지난달, 우리는 우리의 모델과 안전 관행에 대한 더 강력한 독립적 제3자 평가를 약속했습니다. 또한 우리는 기업들이 독립적인 외부 감사인 또는 평가자와 협력하겠다고 약속한 백악관 슈퍼 인텔리전스 협약에도 서명했습니다. 오늘 우리는 비영리단체로서 최전선 AI 모델을 평가하는 METR 팀에 직원과 유사한 접근 권한을 부여하기 시작했다고 발표합니다.

METR는 위험 평가 결과를 공개할 예정입니다. 지난 1년 동안 우리는 Risk Reports에 대한 여러 검토에서 METR와 협력해 왔습니다. 또한 우리는 평가자로서 SecureBio 및 Accenture와도 협력하고 있으며, Hugging Face를 포함한 몇몇 다른 조직과도 초기 논의를 진행하고 있습니다.

여기서는 평가자와 함께 일하는 우리의 접근 방식을 설명합니다.

우리가 독립 평가자와 협력하는 이유

모델이 더 강력해지면서, 더 강한 안전장치와 더 까다로운 위험 평가가 필요해졌습니다. 우리는 우리가 내리는 결정에 대해 공개적으로 책임을 지고 싶습니다. 하지만 안전 작업과 관련된 모든 정보를 공개적으로 공유할 수는 없습니다. 그중 일부는 악의적 행위자에게 유용할 수 있고, 컴퓨트나 훈련 정보처럼 상업적으로 민감한 내용도 있습니다. 대신 우리는 제3자 평가자에게 우리의 정보에 대한 깊은 접근 권한을 제공하고, 그들이 우리의 모델을 만드는 데 수반되는 위험에 대한 증거와 합리적 결론을 공유하도록 하고 있습니다. 우리는 최전선 AI 기업의 시스템에 대해 평가자들이 이해하는 내용과 기업 자체가 이해하는 내용 사이의 격차를 줄이는 것을 목표로 합니다.

최전선 모델을 평가하려면 평가자에게 다음이 필요합니다.

• 최전선 모델의 역량을 평가하는 데 필요한 전문성. 여기에는 alignment faking처럼 평가가 잘못될 수 있는 방식에 대한 이해도 포함됩니다.
• 독립성: 평가 대상인 회사의 지분을 보유해서는 안 되며, 그 회사에 재정적 또는 운영적으로 종속되어서도 안 됩니다.
• 위험을 의미 있게 평가할 수 있을 만큼 충분한 접근 권한. 최신 모델에 대한 접근뿐 아니라, 그 모델이 어떻게 훈련되었는지, 우리의 안전장치가 어떻게 작동하는지 등에 대한 가시성도 필요합니다.
• 모델이나 프로세스에 대한 관찰 결과와 평가를 자유롭게 공개할 수 있는 권한.

비유가 완벽히 맞지는 않지만, 은행 감독도 비슷한 논리로 작동합니다. 은행은 외부인보다 자기 자신의 위험 노출에 대해 더 많이 알고 있으므로, 규제 당국은 상주 검사관을 대형 은행 내부에 배치합니다. 어떤 은행의 위험 감수 행위가 대중을 위협할 수 있다면, 제3자는 그것을 사전에 파악하려고 합니다.

AI 업계에 있어 이는 강력한 안전 감독을 향한 한 걸음입니다. 우리는 여러 평가자와 빠르게 협력하면서 어떤 종류의 파트너십이 효과적인지 적극적으로 배우고 있습니다. 진행되는 대로 업데이트를 공유할 것을 약속합니다.

“직원과 유사한 접근 권한”이 의미하는 것

우리는 회사 장비, 사무 공간, 그리고 내부 도구 및 시스템에 대한 접근 권한을 갖춘 METR 직원 6명을 온보딩했으며, 그 수준은 대체로 우리 내부 위험 평가 팀이 가진 접근 수준과 비슷합니다. 명확하게 정의된 소수의 범주(예: 고객 데이터, 변호사-의뢰인 특권 정보, 또는 모델 아키텍처에 관한 정보)를 제외하고, Anthropic 직원들은 이들에게 동료 직원이 정렬 위험을 다루는 경우와 마찬가지로 정보를 공유하도록 권장됩니다.1

METR는 우리의 위험 수준, 사고, 또는 관행에 대한 분석을 공개할 예정입니다. Anthropic은 공개를 거부할 수 없지만, 기밀 IP의 재현과 같은 사전에 정의된 범주에 해당하는 경우 정보의 삭제를 요구할 수 있습니다. (Anthropic이 어떤 정보가 이러한 범주에 해당하고 어떤 정보가 해당하지 않는지 최종적으로 결정하지만, METR는 자신이 받은 접근 권한과 정보의 수준에 대해 특정 진술을 할 권리를 보유합니다.)2

METR과의 협력은 시행 가능한 합의에 따라 운영되는 소규모 팀에만 한정됩니다. METR의 다른 직원들은, 다른 프로젝트에서 우리와 함께 일하는 연구원들을 포함해, 그 팀의 업무와 분리되어 있습니다. 임베디드 평가는 Anthropic의 보안 기준 아래 일하는 몇몇 자격 있는 사람들에게 우리가 어떻게 운영되는지 가까이서 볼 수 있게 해줍니다. 이는 다른 조직이 우리의 정보나 고객 및 파트너의 정보를 얻는 수단이 아닙니다.

우리의 다른 평가자 파트너십

우리는 몇 가지 다른 파트너십도 진행하고 있습니다. 이러한 다른 파트너십은 아직 초기 단계이므로, 이 평가자들에게는 더 제한된 정보를 제공하고 있으며, 공개 권한도 더 제한적입니다. 이러한 초기 협력의 목표는 파트너가 기밀 정보를 보호하고, 우리 모델을 평가하는 데 필요한 자원과 전문성을 갖추고 있는지 확인하는 데 있습니다. 파트너십이 진전되고 신뢰가 쌓이면, 더 독립적인 평가자들을 완전히 임베드할 수 있기를 기대합니다.

우리는 평가자를 위한 세 가지 단계의 접근 권한을 개발하고 있습니다. 시간이 지나면서 세 번째 단계의 평가자가 여러 명 있게 되기를 바라며, 각 팀이 우리의 위험 태세와 주요 결정에 대한 자체 분석을 공개할 수 있기를 기대합니다.

첫 번째 단계에서는, 평가자가 범위가 좁은 위험 조사를 수행합니다. 우리는 1단계 평가자에게 어떤 접근 권한을 제공할지 결정하며, 평가자는 우리의 승인을 받아 그 결과를 공개할 수 있습니다.

두 번째 단계에서는, 평가자는 우리의 승인을 받지 않고도 공개할 수 있으며, 더 많은 정보에 접근할 수 있습니다. 다만 우리는 여전히 특정 범주의 정보 삭제를 요구할 수 있고, 평가자는 그런 삭제가 정당했는지에 대한 자신의 견해를 공개할 수 있습니다.

세 번째 단계는 우리가 METR과 함께 설명한 방식으로, 직원과 비슷한 수준의 접근 권한과 2단계와 유사한 공개 권한을 갖는 형태입니다.

SecureBio는 이전 위험 보고서에 대해 시범 검토를 완료하고 공개한 뒤, 현재 우리의 8월 위험 보고서 중 화학 및 생물학 무기 장을 검토하는 중입니다. 이 검토가 완료되면, 더 높은 접근 권한이 있는 프로젝트로 이동할 가능성을 검토할 예정입니다.3

Accenture 및 Faculty와 함께, 우리는 모델 평가와 레드팀 작업, 정렬 평가 수행, 모델 안전장치 테스트, 그리고 우리 조직 전반의 역량 구축을 포함하는 야심찬 파트너십을 향해 나아가고 있습니다.

우리는 자발적으로 평가자를 임베드하고 있으며, 모든 프런티어 AI 회사가 그렇게 해야 한다고 믿습니다.

출처

• 원문: https://www.anthropic.com/news/an-update-on-independent-evaluators (2026-10-15 · anthropic.com)