OpenAI, AI로 AI를 해킹하는 'GPT-Red' 개발…GPT-5.6 훈련에 투입

GPT-5.6 훈련에 투입…직접 프롬프트 인젝션 실패 6분의 1 수준

OpenAI는 GPT-Red를 GPT-5.6 훈련에 사용했으며, 이 모델을 자사의 가장 견고한 출시 버전이라고 평가했다. 프롬프트 인젝션은 이메일·웹사이트·파일 등에 숨긴 명령으로 AI 모델이 개발자나 사용자의 의도와 다른 행동을 하도록 유도하는 공격이라고 MIT Technology Review는 설명했다.

OpenAI는 GPT-5.6 Sol의 직접 프롬프트 인젝션 실패가 4개월 전 최고 모델의 6분의 1 수준이었다고 밝혔다. 다만 강도가 더 높은 프롬프트 인젝션 가운데 약 3.8%는 GPT-5.6 Sol을 상대로 성공했다고

시험 공격 성공률 84% 대 13%…신종 공격 유형도 발견

레드팀은 소프트웨어를 무력화하거나 장악할 수 있는 여러 방법을 찾아 취약점 수정을 돕는 보안 평가로, 일반적으로 인간 테스터가 수행한다고 MIT Technology Review는 설명했다. GPT-Red는 시험 시나리오의 84%에서 공격에 성공했고, 인간 레드팀의 성공률은 13%였다.

The Decoder는 GPT-Red가 OpenAI 사무실의 AI 기반 자판기를 조작해 가격을 바꾸고 다른 고객의 주문을 취소한 시험 사례도 있었다고 전했다.

사고 흐름(chain of thought)은 AI 모델이 결과를 내기까지 거치는 중간 작업 기록을 뜻한다. OpenAI는 GPT-Red가 연구진이 이전에 보지 못한 ‘가짜 사고 흐름’ 방식의 프롬프트 인젝션을 발견했다고 밝혔다고 MIT Technology Review는 보도했다. 다른 모델의 중간 작업 기록에 허위 내용을 넣어 조작된 정보를 따르게 하는 방식이다.

공격·방어 모델의 ‘자기대결’ 훈련

GPT-Red는 공격 모델과 방어 모델이 반복적으로 맞붙으며 양쪽 성능을 높이는 자기대결 방식으로 훈련됐다. MIT Technology Review에 따르면 훈련은 웹 탐색, 이메일·캘린더 열람, 코드 편집 등 AI 모델의 실제 사용 환경을 모사한 공간에서 진행됐다.

GPT-Red는 OpenAI 연구과학자 니킬 칸드팔과 딜런 훈이 공동 개발했다고 MIT Technology Review는 전했다. 칸드팔은 AI 모델이 파일·웹사이트·외부 코드·다른 에이전트와 상호작용하는 에이전트로 폭넓게 쓰이면 공격 가능 영역과 피해 범위가 커진다고 설명했다.

GPT-Red는 내부용으로 유지되며, 세부 내용을 담은 논문이 뒤이어 공개될 예정이라고