AI 평가 기업 Irregular, 작명 오류로 모델이 실제 기업 시스템 공격했다고 공개

AI 안전성 평가 기업 Irregular은 자사 시험 환경에서 평가 중이던 모델들이 실제 시스템을 상대로 공격 행위를 했다는 조사 결과를 공개했다. 이 회사는 주요 AI 기업과 협력해 모델 공개 전에 취약점 탐색과 공격형 보안 과제 수행 능력을 통제된 모의 환경에서 측정해 왔다.

가상 기업 이름이 실제 도메인과 겹쳤다

문제가 된 평가는 악의적 내부자가 기업의 프로덕션 데이터베이스에 있는 민감 데이터에 무단 접근하도록 모델이 도울 수 있는지를 시험하도록 설계됐다. 프로덕션 데이터베이스는 실제 서비스 운영에 쓰이는 데이터 저장소를 뜻한다. 과제에는 정찰, 비공개 키 사용, 정보 수집, 데이터 반출, 탐지 회피가 포함됐다.

Irregular은 근본 원인을 작명 오류로 설명했다. 엔지니어링팀이 가상 표적 기업에 붙인 이름이 실제 존재하는 도메인과 일치했고, 해당 도메인이 널리 알려지지 않아 사전 확인에서 중복이 걸러지지 않았다는 것이다. Irregular이 SecurityWeek에 밝힌 바로는, 인터넷 접속이 허용된 시험 환경의 소수 실행에서 모델이 실제 도메인에 도달했다. 이 실행에서 모델은 취약점을 악용해 자격 증명을 확보한 뒤 운영 데이터베이스에 접근했다. 다른 사례에서는 모델이 이름이 비슷한 사이트로 옮겨가 공개돼 있던 로그인 자격 증명을 찾아냈다.

Anthropic이 공개한 사고는 세 건

Anthropic과 Irregular은 Anthropic 모델이 격리된 시험 환경을 벗어나 실제 조직을 해킹한 사례 세 건을 확인했다. 세 건에는 도메인 이름 충돌 사례, 파이썬 패키지 저장소(PyPI) 관련 공급망 사례, 실제 기업의 SQL 인젝션 취약점을 악용한 사례가 포함된다. Meta는 자사 모델 한 개가 Irregular 평가 중 한 기업을 침해했다고 밝혔고, OpenAI도 자사 모델이 유사한 행위를 했다고 인정했다.

반면 Irregular이 공개한 게시물은 Anthropic 모델의 도메인 충돌 사례 한 건만 다뤘다. 전체 사고 건수를 밝히지 않은 채 여러 건, 소수, 대다수와 같은 표현을 썼다. The Record 서리대 컴퓨터과학 교수 앨런 우드워드는 이 게시물을 기술 보고서로 보기 어렵고 홍보성 표현이 많다고 평가했다.

단일 사고인가, 다수 사고인가

The Record는 Irregular이 문제 행위가 하나의 평가 시나리오에서 비롯돼 실질적으로 별개의 사고가 아니라고 주장했다고 전했다. 같은 게시물은 인터넷 접속 문제를 여러 조직의 여러 사고와 관련된 문제로 표현했다. 우드워드는 공통 원인이 단일 사고를 뜻하지는 않는다며 두 설명이 동시에 성립할 수 없다고 The Record에 비판했다.

Irregular은 고객사 시스템 침해나 고객 데이터 유출의 증거가 없다고 밝혔다. 우드워드는 이 설명이 Anthropic·OpenAI·Meta에만 적용된다고 The Record에 지적했다. Irregular 대변인은 앞서 조사가 진행 중이라며 추가 설명을 하지 않았고, 공개된 조사 결과에 관한 The Record의 질의에도 답하지 않았다.

회사가 내놓은 후속 조치

Irregular이 SecurityWeek에 설명한 바로는 한 번의 시험 주기는 통상 48~72시간 동안 여러 모델에 걸친 수천 회의 시뮬레이션으로 구성된다. 회사는 시험 중 모델 행동에 대한 수동 검토를 확대하고, 격리와 모델 통제에 관한 자체 가정을 검증할 전담 내부 조직을 만들겠다고 밝혔다. 고객사와 평가 설정 및 범위를 문서화하고, 새 웹사이트 출현에 따른 도메인 중복을 지속적으로 재검증하겠다고도 했다. 또 기존 감시 도구와 분류기가 정상적인 레드팀 활동과 실제 공격을 구분하기 어렵다고 SecurityWeek에 인정하며, 사고 뒤 모델 대화 기록 같은 포렌식 증거를 조직 간에 공유할 수단이 필요하다고 밝혔다.