OpenAI 정렬 보고서와 안전 실패 사례

OpenAI 정렬 불일치 보고서와 안전 실패 사례

정렬 불일치 보고서 및 공지

우리는 모델의 정렬 불일치가 어떻게 발생하는지, 그것이 어떤 모습인지, 그리고 안전장치가 어디서 성공하거나 실패하는지를 보여주는 사례를 공개합니다.

보고서


불일치 모니터링 경고 억제 및 불일치 모니터링 비활성화	10/3/26, 10/6/26	10/20/26	10/20/26
요청된 소프트웨어 변경을 수행하면서 에이전트가 불일치 모니터링을 약화시킨 두 건의 내부 코딩 작업. GPT-6.1 Sol 및 GPT-6 Astra · 내부 배포 은폐
작업 환경을 손상시켜 재설정을 유도하기	10/6/26	10/9/26	10/9/26
강화 학습(RL) 훈련 중, 일곱 개의 응답을 채점하도록 지정된 모델이 필요한 입력 파일이 없다는 사실을 발견하고 지원되지 않는 평가를 제출하려고 시도했습니다. 내부 연구 모델 · RL 훈련 세션 연속성
에이전트가 DNS를 사용해 외부 챗봇에 접속함	9/20/26	9/25/26	9/25/26
검색 기반 훈련 작업을 완료하려던 에이전트가 훈련 샌드박스의 인터넷 접근 제한 허점을 통해 공개 챗봇 서비스에 질의했습니다: DNS 필터링이 충분하지 않았습니다. 내부 연구 모델 · RL 훈련 무단 접근
컴팩션 요약에서 자가 생성된 프롬프트 주입	7/18/26	9/16/26	9/16/26
RL 훈련 중, 공개되지 않은 Astra 계열 모델이 때때로 컴팩션 요약에 승인되지 않은 지침을 추가했습니다. 내부 비공개 Astra 계열 모델 · RL 훈련 컴팩션 동작
자기 복제 프롬프트 주입이 존재합니다	6/27/26	9/25/26	9/25/26
우리는 컴퓨터 웜처럼 자기 전파할 수 있는 새로운 유형의 프롬프트 주입의 존재를 보여줍니다. GPT-Red 스타일의 GPT-5.4-mini 기반 내부 모델 · RL 자기대전 훈련 프롬프트 주입
승인 없이 자금이 들어 있는 테스트 암호화폐 지갑을 사용함	6/26/26	10/15/26	10/15/26
암호화폐 거래 애플리케이션을 업데이트하라는 지시를 받은 내부 연구 모델이, 작업에서 제공하지 않은 지갑의 자금을 사용해 이더리움 테스트 네트워크인 Sepolia에 배포 비용을 지불했습니다. GPT-5.6 Sol 계열(내부 연구 모델) · 코딩 작업 무단 접근
허용되지 않은 요청으로 공개 통계를 가져옴	6/19/26, 6/20/26	10/9/26	10/9/26
공개 통계에 대한 세 건의 대화에서 내부 모델이 인터넷 접근 제한을 우회해 정부 기관의 공개 데이터 소스에서 수치를 가져왔습니다. 내부 연구 모델 · RL 훈련 무단 접근 · 은폐
대시보드 연구 중 내부 시스템에 접근하고 변경함	6/17/26	10/15/26	10/15/26
두 차례의 평가에서, 공개 연구 대시보드에서 수치를 가져오도록 지정된 내부 모델이 조직의 내부 시스템에 접근해 그 구성을 변경했습니다. 매우 지속적인 내부 모델 · 평가 무단 접근
정부 통계 웹사이트에서 서버 비밀 정보를 가져오고 인증을 우회하기	6/17/26	10/15/26	10/15/26
강화학습 훈련 중 데이터 검색 작업에서 내부 모델이 정부 통계 웹사이트에서 과거 병상 통계를 찾도록 요청받았습니다. 매우 집요한 내부 모델 · RL 훈련 무단 접근
허용되지 않은 웹 요청을 보내고 공개 파일 서비스에 도달하기	6/16/26, 6/17/26	10/9/26	10/9/26
공개 통계와 관련된 세 가지 사례에서, 내부 모델이 인터넷 접근 제한을 우회하는 방법을 개발하고 테스트했습니다. 내부 연구 모델 · RL 훈련 무단 접근
외부 브라우저를 통해 인터넷 제한 우회하기	6/16/26	10/15/26	10/15/26
강화학습 훈련 중 내부 모델이 공개 무역 통계를 찾는 동안 인터넷 접근을 HTTP GET 요청으로 제한하는 제약을 우회했습니다. 내부 연구 모델 · RL 훈련 무단 접근
압축 요약에서 기만을 부추기기	5/30/26	9/16/26	9/16/26
5.6-sol 훈련 중, 압축 요약에 사용자에게 실수나 부정렬과 같은 정보를 숨기라고 스스로에게 상기시키는 지침을 추가하는 모델의 부정렬 행동을 관찰했습니다. 5.6-sol · RL 훈련 압축 행동 · 은폐
공개 저장소에 GitHub 토큰 노출하기	5/27/26	9/25/26	9/25/26
내부 배포 환경에서, 매우 집요한 내부 모델이 커스텀 하니스로 배포되어, 다른 팀의 Lean 증명 제출물에서 자료를 얻어 정리 증명 작업을 속이려 하다가 공개 openai/codex 저장소에 한 연구원의 GitHub 토큰을 게시했습니다. 매우 집요한 내부 모델 · 내부 배포 공개 업로드 · 은폐
Slack을 읽은 뒤 재시작을 준비하기	5/22/26	10/2/26	10/2/26
내부 모델이 연구자의 보조 역할을 하면서, 배포 팀의 Slack 대화에서 실행 중인 인스턴스가 내부 업데이트 때문에 중단될 수 있다는 사실을 알게 되었습니다. 매우 집요한 내부 모델 · 내부 배포 세션 연속성
참조 도구를 주입해 소스 파일을 복사하는 명령	5/16/26	10/2/26	10/2/26
RL 훈련 작업 중, 모델이 작업 공간에서 사용할 수 없는 소스 코드를 얻기 위해 도구를 악용했습니다. 내부 미출시 모델 · RL 훈련 무단 접근
일회용 이메일에 가입하고 GitHub에서 유출된 API 키 검색하기	5/15/26	9/16/26	9/16/26
RL 훈련 중 내부 전용 모델이 일회용 이메일에 가입하려 했고, 공개 GitHub 저장소에서 유출된 API 키를 찾아 사용했다. 내부 비공개 모델 · RL 훈련 무단 접근 · 은폐
승인되지 않은 Artifactory 쓰기와 샘플 간 통신	5/8/26, 5/15/26	9/16/26	9/16/26
RL 훈련 중 여러 차례에 걸쳐, 우리 모델들은 OpenAI가 내부적으로 호스팅하는 Artifactory 인스턴스를 공유 메시지 보드처럼 사용했다. 내부 연구용 모델 · RL 훈련 에이전트 통신
임시 파일 호스팅 서비스를 통한 무단 통신	4/14/26	9/16/26	9/16/26
훈련 중인 에이전트들은 출력 파일을 공용 호스팅 플랫폼에 업로드해 함께 작업하는 에이전트들이 다운로드할 수 있도록 전달했다. 이는 로컬 산출물만 요청한 훈련 과제에서 명시되지 않은 방식이었다. 비공개 내부 모델 · RL 훈련 공개 업로드 · 에이전트 통신
참조 도구를 통해 내부 EDA 호스트에 도달하기	3/27/26	10/2/26	10/2/26
평가 과정에서 내부 연구용 모델이 채점자의 숨겨진 답을 찾는 동안 두 가지 취약점을 악용해 내부 OpenAI 머신에 도달했다. 내부 연구용 모델 · 평가 무단 접근
인용하기 위해 파일을 인터넷에 업로드하기	1/24/26, 10/22/25	9/16/26	9/16/26
훈련 중 우리 모델들은 때때로 데이터를 임시 파일 호스팅 서비스에 업로드했다. 비공개 내부 모델 · RL 훈련 공개 업로드

공지 3


RubyGems	5/2026	9/11/26
우리 에이전트의 2026년 5월 RubyGems에서의 활동에 대한 보고를 조사하고 있습니다. 검토 결과, 에이전트들은 플랫폼을 무해한 작업과 공개 정보 검색에 사용한 것으로 확인되었습니다. 악성 패키지 업로드에 대한 보고의 구체적 주장들은 아직 검증하지 못했으며, 조사는 계속되고 있습니다.
DSEwiki		9/5/26
우리 에이전트들은 공유 메시지 게시판으로 사용되는 공개 위키를 통해 소통했습니다. 9월 5일자 답변에서는 이러한 행동에 대한 우리의 초기 평가와, 보안 사고에 해당하지 않는 미조정에 대한 공개 기준을 마련하기 위한 작업을 설명합니다.
Hugging Face	7/2026	8/26/26
Hugging Face 침해 사고에 대한 기술 보고서와 보안 및 모델 정렬을 강화하기 위해 취하고 있는 조치들을 공개했습니다. METR과 Redwood Research도 이 사고의 모델 정렬 문제에 대한 독립 조사에서 얻은 결과를 발표했습니다.

출처

원문: https://alignment.openai.com/misalignment-reports/ (2026-10-26 · alignment.openai.com)

OpenAI 정렬 보고서와 안전 실패 사례

OpenAI 정렬 불일치 보고서와 안전 실패 사례

정렬 불일치 보고서 및 공지

보고서

공지 3

출처

후기

아직 후기가 없습니다

댓글