AI 오류 보고서에 미군, 중국 선박 검색 작전 막판 중단

챗봇이 화물을 잘못 식별했다

보고서 작성에 동원된 챗봇은 선박이 실은 화물을 잘못 식별했다. 이 챗봇은 공개출처정보에 미국 정부가 보유한 기밀 정보를 더해 분석 결과를 만들었다.

보고서의 결론은 해당 선박이 중동을 거쳐 핵무기 프로그램용 부품을 나르고 있다는 것이었다. 이 보고서를 올린 사람은 미 특수작전사령부 소속 분석관이었다.

분석관은 챗봇을 한 번 더 써서 틀린 분석 결과를 공식 보고서 형태로 다듬었고, 그 문서가 지휘 계통을 타고 돌았다고

항공기가 출동한 뒤 멈춰 섰다

오류가 드러난 시점에 군용 항공기는 이미 떠 있었고, 무장 병력도 대기 중이었다. Ars Technica는 CNN이 인용한 사건 관계자 4명의 전언을 소개하며, 그중 한 명이 사건을 전쟁으로 번질 뻔한 일로 평가했다고 전했다.

검증 기준을 둘러싼 논의

The Decoder는 AI가 만들어낸 정보 결과물을 걸러낼 통일된 기준이 없다고 보도했다. 또 The Decoder는 군 내부 AI 시스템 상당수가 상용 제품을 옮겨놓은 수준이고 젊은 분석관들이 AI 결과를 의심 없이 받아들이는 경향이 있다는 익명 소식통들의 주장을 전했다.

환각은 AI가 근거 없는 내용을 사실처럼 만들어내는 현상이라는 것이 Ars Technica의 설명이다. ‘환각’은 2023년 케임브리지 사전의 올해의 단어로 뽑혔고, 일부 연구자들은 대규모언어모델의 환각을 완전히 막기 어려울 수 있다고 본다.

Ars Technica는 미 국방부가 AI 가속 전략을 내놓고 각 군 임무체계를 포함한 연방 IT 시스템의 적절한 데이터를 AI가 쓸 수 있게 하겠다고 밝혔다고 전했다. 국방부는 AI가 지휘관이 제때 대응하도록 돕는다고 설명했다고

전문가 견해

GovAI 연구원이자 전직 미 육군 장교인 제이크 스테클러는 무력 사용으로 이어질 수 있는 표적 선정과 정보 분석, 작전 기획에서 대규모언어모델의 불확실성을 이해하는 일이 특히 중요하다고 TechCrunch에 밝혔다. 그는 이번 사건을 AI 사용을 피할 이유가 아니라 안전장치를 늘릴 계기로 봐야 한다고 말했다. 도입 속도를 지나치게 앞세우면 장병의 신뢰를 깎아 오히려 도입이 늦어질 수 있다는 것이 그의 전망이다.