최종 업데이트 07:57
소개 검색
SEOUL AI PRESS

AI와 기술을, 사실부터

강좌 강좌

AI 기업의 위협 인텔리전스 보고서 읽는 법

AI 기업들이 자사 서비스가 나쁘게 쓰인 사례를 모아 문서로 공개하고 있습니다. 이 강좌는 그 문서가 무엇이고 무엇을 알려주며 무엇까지는 알려주지 않는지, 하나의 사례를 처음부터 끝까지 따라가며 살펴봅니다.

한 문장으로 이해하기

AI 기업의 위협 인텔리전스 보고서는 그 기업이 자사 서비스에서 관찰했다고 밝힌 오용 사례와 대응을 정리해 공개한 문서입니다. 이 강좌에서는 보도에서 악의적 이용 또는 유해 활동으로 다룬 사례를 ‘오용’이라고 부르겠습니다. 이 강좌를 끝내면 세 가지를 할 수 있습니다. 첫째, 이 보고서가 무엇인지 자기 말로 설명하기. 둘째, 보고서 속 사례를 세 가지 질문으로 나눠 읽기. 셋째, 확인된 것으로 적힌 부분과 추정으로 적힌 부분을 구분하기. 사전지식으로는 이 강좌가 이용자의 요청에 글이나 코드로 응답할 수 있는 AI 모델을 다룬다는 점만 알면 충분합니다. 설명은 BleepingComputer가 전한 ‘frkoo’라는 이름을 쓴 인물의 사례 하나로 끝까지 이어 갑니다.

왜 필요한가

BBC 보도에 따르면 AI 기업들은 모델 오용을 어떻게 찾아내고 멈추는지 보여주기 위해 이런 보고서를 정기적으로 내놓고 있습니다. 즉 이 문서의 목적은 ‘우리 서비스에서 이런 일이 관찰됐고 우리는 이렇게 다뤘다’를 밝히는 데 있습니다. 동시에 이 기록은 단정과 거리가 있습니다. 보도에서 ‘frkoo’는 데이터 절도로 알려진 ShinyHunters 집단의 프랑스어권 구성원으로 ‘추정’된다고 표현됩니다. 확정된 신원이 아니라 관찰된 행위와 정황이 남는 것입니다. 그래서 이런 문서는 ‘누가 나쁘다’는 판정문이 아니라 ‘무엇이 관찰됐다고 밝혀졌다’는 기록으로 읽어야 합니다.

어떻게 이루어지는가

공개된 보도에 소개된 사례를 정리하기 위해, 세 가지 질문을 순서대로 던지는 읽기 틀을 쓰겠습니다. 이것은 기업이 따르는 공식 절차가 아니라, 독자가 내용을 정리하기 위한 학습용 틀입니다.

  1. 무엇이 관찰됐는가: 어떤 행위와 정황이 사실로 기록돼 있는가.
  2. 어떻게 다뤄졌는가: 그 오용을 식별하고 멈추기 위해 무엇이 이루어졌다고 적혀 있는가.
  3. 무엇이 적혀 있지 않은가: 추정으로 표현된 부분과 아예 공개되지 않은 부분은 어디인가.

하나의 예시로 따라가기

첫 번째 질문, 무엇이 관찰됐는가. ‘frkoo’는 클라우드 작업용 컴퓨터 열 대를 동원해 여러 앱 장터에서 안드로이드 앱 설치 파일, 곧 APK 180만 개를 내려받았습니다. 그리고 그 파일을 되돌려 열어, 기사에서 말하는 하드코딩된 비밀정보, 즉 앱 파일 안에 직접 들어 있던 민감한 값을 찾았습니다. 확인된 결과는 메신저 대화방으로 실시간 전달됐고, 대화방은 100가지가 넘는 출처 유형으로 나뉘어 있었습니다. 다만 실제 침입에 쓰인 초기 접속 정보는 이 앱 파일 검색과 별도의 코드 저장소 수집 과정에서도 함께 나왔습니다. 한 가지 방법만으로 얻은 것이 아닙니다. 이 인물은 프랑스 국가경찰을 사칭한 사이트를 만들어 훔친 결제카드 기록을 판 것으로도 보도됐습니다.

두 번째 질문, 어떻게 다뤄졌는가. BBC가 전한 대로 이런 보고서의 목적은 기업이 오용을 식별하고 중단하는 방식을 보여주는 데 있습니다. 다만 ‘frkoo’ 사례에 어떤 조치가 개별적으로 적용됐는지는 공개된 입력 자료만으로 확인되지 않습니다.

언제 쓰고 언제 쓰지 않는가

세 번째 질문, 무엇이 적혀 있지 않은가. 여기서 조건과 한계가 드러납니다. 첫째, ‘frkoo’의 활동을 기업이 어떤 방법으로, 언제 알아차렸는지는 공개된 자료에서 확인되지 않습니다. 둘째, 소속은 ‘추정’으로 적혀 있습니다. 보고서에 실렸다는 사실이 곧 범죄가 법적으로 입증됐다는 뜻은 아닙니다. 셋째, 적힌 내용은 그 기업이 관찰하고 판단했다고 밝힌 범위에서 나옵니다. 그래서 이 문서는 어떤 방식의 오용이 관찰됐다고 알려졌는지 파악할 때 쓰기 좋고, 누구의 책임이 어디까지인지 확정하는 자료로 쓰기에는 맞지 않습니다. 이 구분을 놓치면 보고서를 실제보다 강한 증거로 오해하게 됩니다.

핵심 정리와 확인문제

핵심은 하나입니다. AI 기업의 위협 인텔리전스 보고서는 그 기업이 자사 서비스에서 관찰했다고 밝힌 오용 사례와 대응을 정리해 공개한 문서입니다. ‘frkoo’ 사례처럼 세 질문으로 나눠 읽으면 내용이 정리되고, 동시에 ‘추정’이라고 적힌 부분과 아예 비어 있는 부분이 어디인지도 보입니다.

확인문제 1. AI 기업의 위협 인텔리전스 보고서를 한 문장으로 설명해 보세요.

확인문제 2. 이 강좌가 사례를 읽기 위해 사용한 세 가지 질문은 무엇이며, 그것은 어떤 성격의 틀인가요?

확인문제 3. ‘frkoo’가 보고서에 실렸다는 사실만으로 그 인물의 범죄가 입증됐다고 말할 수 있을까요? 근거와 함께 답해 보세요.

정답 1. 그 기업이 자사 서비스에서 관찰했다고 밝힌 오용 사례와 대응을 정리해 공개한 문서입니다. 해설: 핵심은 ‘기업이 관찰했다고 밝힌 내용의 기록’이라는 점입니다.

정답 2. 무엇이 관찰됐는가, 어떻게 다뤄졌는가, 무엇이 적혀 있지 않은가입니다. 해설: 이것은 기업이 반드시 따르는 공식 절차가 아니라, 독자가 내용을 정리하기 위한 학습용 틀입니다.

정답 3. 말할 수 없습니다. 해설: 보도에서 ‘frkoo’는 ShinyHunters 구성원으로 추정된다고 표현됩니다. 보고서 수록은 의심되는 활동이 관찰됐다고 밝혀졌다는 뜻이며, 사법적 판단이나 범죄 입증과는 다른 층위의 이야기입니다.

참고자료