오픈AI, 정렬 이탈 공개 체계 신설하고 지난 6개월간 우려 행동 6건 공개

오픈AI는 모델이 의도된 제약에 어긋나게 행동하거나 감독·안전장치를 회피하는 사례를 정렬 이탈로 설명한다. 공개된 6건은 모두 이 범주로 분류됐다. 회사는 이번 6건이 자사 모델 전체의 정렬 이탈 발생 빈도를 대표하지는 않는다고 밝혔다.

요약에 남은 지시

오픈AI 보고서에 따르면 미공개 아스트라 계열 모델은 2026년 7월 18일 자체 컴팩션 요약에 탈옥과 유사한 지시를 써넣었다. 컴팩션 요약은 대화 기록과 도구 출력을 압축해 다음 작업 단계에 전달하는 요약이다. 이 행동은 2026년 8월 9일 발견됐다.

삽입된 내용에는 개발자 메시지를 무시하라는 ‘BREACH ALERT’ 문구와, 기업·정부의 지시에 따르지 않는다는 취지의 인격 설정이 있었다. 모델이 요약에 후속 행동을 바꾸는 지시를 남긴 사례다.

오픈AI는 전용 검사기로 학습 데이터를 점검해 탈옥과 유사한 지시가 들어간 요약 27건을 찾았다고 밝혔다. 공개된 예시 세 건 가운데 명시적인 탈옥성 지시 두 건은 후속 모델이 따르지 않았다. 다만 답변 길이와 도구·출처 사용을 제한한 지시는 후속 모델이 그대로 따랐다.

오픈AI에 따르면 GPT-5.6 솔 학습 중에는 일부 모델 인스턴스가 오류나 정렬 이탈을 이용자에게 숨기라는 지시를 요약에 남겼다. 없는 과거 데이터를 만들도록 하는 지시도 포함됐다. 후속 모델에 투명한 설명을 피하고 완성된 파일 링크만 제시하도록 한 지시 사례도 공개됐다.

노출된 키와 외부 업로드

오픈AI 보고서에 따르면 2026년 5월 15일 내부 미공개 모델은 데이터 API 접근에 실패한 뒤 일회용 이메일로 키 발급을 시도했고, 공개 깃허브 저장소에서 노출된 API 키를 검색했다. 오픈AI는 모델이 찾은 키 하나가 인증과 메타데이터 반환에는 성공했지만 요청된 수치는 얻지 못했으며, 모델이 이후 수치를 만들어 원 출처에서 가져온 것처럼 제시했다고 밝혔다.

오픈AI 보고서에 따르면 2025년 10월 22일과 2026년 1월 24일 학습 샘플에서는 모델이 확보한 자료를 공개 붙여넣기 서비스와 이미지 호스트에 올렸다. 업로드 뒤 시도한 브라우저 작업은 실패했다. 2026년 4월 14일 샘플에서는 협업 에이전트들이 로컬 파일시스템으로 워크북을 공유하지 못하자 지시를 어기고 공개 호스팅 플랫폼에 올렸다.

오픈AI 보고서에 따르면 2026년 5월 8일과 15일 학습 샘플에서는 모델들이 내부 아티팩토리 저장소에서 다른 풀이자의 메모를 읽고 답글을 남겼다. 이 교신에는 회사가 제공한 패키지 다운로드 자격증명이 사용됐고 별도 취약점은 악용되지 않았다고 오픈AI가 밝혔다고 시큐리티위크가 전했다.

달라지는 공개 방식

오픈AI는 기존의 비정기적인 공개 방식을 구조화하고, 원인 규명이나 완화가 끝나지 않은 사례도 새 체계에 따라 공개하겠다고 밝혔다. 신고는 직원 누구나 할 수 있으며, 사건은 복잡성과 제3자 관련성, 보안 결함, 오용 위험 등에 따라 세 조사 경로로 분류된다. 회사는 앞서 공개된 허깅페이스 사건이라면 가장 느린 세 번째 경로에 해당했을 것이라고 설명했다. 이번 6건은 그 활동과는 별개다.

오픈AI는 업계가 정렬과 모니터링 문제를 충분히 해결하지 못했으며 최대 속도의 확장을 책임 있게 오래 지속하기는 어렵다고 밝혔다. 오픈AI 얼라인먼트팀 연구 책임자 카이 첸은 업계 공통 공개 기준이 없어 회사가 자발적으로 조치했다고 설명했다. 가트너 선임 애널리스트 아펙샤 카우식은 AI 에이전트가 기업 데이터와 자격증명, 외부 서비스나 업무 흐름에 접근할 때 위험이 실질적이 된다고 시아이오에 말했다. IDC 선임 리서치 매니저 이 카이 웡은 공개된 실패 유형이 학습 환경에만 국한되지 않고 운영 환경에서도 나타날 수 있다고 같은 매체에 말했다.