모델 붕괴 입문: AI가 AI의 글을 학습할 때 생기는 위험

한 문장으로 이해하기

모델 붕괴는 대규모 언어모델이 인공지능(AI)이 만든 텍스트를 지나치게 많이 학습할 때 출력 품질이 떨어지는 현상이다. LLM은 대규모 언어모델을 뜻하며, 학습에 아주 많은 텍스트를 사용한다. 이 강좌를 마치면 세 가지를 할 수 있다. 모델 붕괴의 뜻을 조건과 결과를 함께 넣어 설명하기, 희귀 도서 추적 보도에서 확인된 사실과 확인되지 않은 동기를 구분하기, 그리고 이 개념의 적용 조건과 자료로 알 수 없는 한계를 나누기다. 필요한 사전지식은 두 가지다. AI 언어모델이 많은 텍스트를 학습해 만들어진다는 점, 그리고 학습 자료 안에 AI가 만든 텍스트가 포함될 수 있다는 점이다. 두 번째 전제는 아래에서 다시 설명한다.

왜 필요한가

LLM을 학습시키는 기업에는 매우 많은 텍스트가 필요하다. TechCrunch는 인터넷에서 확보할 수 있는 자료가 이미 상당히 활용됐다고 설명한다. 그래서 학습 자료를 어디서 구하느냐가 중요한 문제가 된다. 이때 자료 안에 AI 생성 텍스트가 과도하게 섞이면 출력 품질이 떨어질 수 있다는 위험이 함께 거론된다. 이 위험을 부르는 이름이 모델 붕괴다. 이 개념을 알아야 아마존이 희귀 도서를 스캔한다는 뉴스를 학습 자료라는 관점에서 읽을 수 있다.

어떻게 이루어지는가

1. AI가 만든 텍스트가 학습 자료 안에 포함된다.
2. 대규모 언어모델이 그런 텍스트를 지나치게 많이 학습한다.
3. 그 결과 모델의 출력 품질이 떨어진다.

이 세 단계가 입력 자료로 확인되는 범위다. 아래에서 다룰 희귀 도서 사례를 이 단계에 대볼 때는 조심할 점이 있다. TechCrunch는 2022년 이전에 출판된 텍스트는 대규모 언어모델이 작성한 것이 아니라고 설명하지만, 추적된 책이 언제 출판됐는지는 입력 자료로 확인되지 않는다. 또한 이 단계는 모델 붕괴의 일반 조건일 뿐이며, 희귀 도서가 실제로 이 위험을 피하려고 수집됐다는 뜻은 아니다. 어떤 경로로 AI 생성 텍스트가 자료에 들어가는지, 내부에서 어떤 일이 벌어져 품질이 떨어지는지 같은 세부 메커니즘도 이 강좌의 자료에서 확인되지 않는다. 따라서 여기서는 조건과 결과만 기억하면 충분하다.

하나의 예시로 따라가기

보도된 사례로 따라가 보자. 404 Media는 희귀 도서에 추적 장치를 넣어 이동 경로를 확인했고, 그 책이 미국 네바다주 라스베이거스의 아마존 창고에 도착했다고 보도했다. 같은 매체는 VGT3로 불리는 이 시설에서 책을 빠르게 스캔하려고 제본을 잘라내며, 그 과정에서 인쇄된 책이 파손된다고 전했다. 아마존은 고객이 사용하는 제품과 서비스를 개발하고 개선하는 데 도움을 주기 위해 상업적 경로로 책을 구매한다고 밝혔다.

여기까지가 보도로 확인된 사실이다. 해석은 따로 구분해야 한다. TechCrunch는 2022년 이전에 출판된 텍스트가 대규모 언어모델이 작성한 것이 아니어서 학습 자료로 가치가 있다고 설명한다. 이 설명은 모델 붕괴를 걱정하는 일반적 맥락에서 오래된 인쇄 자료가 왜 주목받는지를 알려준다. 다만 아마존이 모델 붕괴를 피할 목적으로 이 책들을 구했다는 내용은 공식 입장에서 확인되지 않았다. 보도된 행위와 추정된 동기를 섞지 않는 것이 이 사례를 읽는 핵심이다.

언제 쓰고 언제 쓰지 않는가

모델 붕괴는 조건이 붙는 개념이다. AI 생성 텍스트를 지나치게 많이 학습했을 때의 위험을 가리키므로, AI가 쓴 문장이 조금 섞였다고 곧바로 적용할 말이 아니다. 모델 결과가 마음에 들지 않는다고 해서 모두 모델 붕괴로 부르면 오해가 생긴다. 반대로 학습 자료의 출처와 구성을 이야기할 때는 쓸모 있는 개념이다. 앞의 희귀 도서 사례처럼 어떤 자료를 왜 모으는지 따질 때가 그렇다.

한계도 분명하다. 어느 정도 비율부터 문제가 되는지, 얼마나 심각해지는지에 대한 수치는 이 강좌의 입력 자료에 없다. Ars Technica는 기업들이 경쟁 우위 상실을 피하려고 학습 데이터를 신중하게 공개하지 않는다고 설명한다. 그래서 바깥에서 확인하기 어려운 부분이 남는다.

핵심 정리와 확인문제

모델 붕괴는 대규모 언어모델이 AI 생성 텍스트를 지나치게 많이 학습할 때 출력 품질이 떨어지는 현상이다. 이와 별개로, 희귀 도서가 아마존 시설에서 스캔된다는 보도가 있었고 오래된 인쇄물이 새로운 학습 자료로 언급됐다.

확인문제

문제 1. 모델 붕괴는 어떤 조건에서 생기는 현상인가?

문제 2. 아마존이 모델 붕괴를 피하려고 희귀 도서를 구매했다는 동기가 확인됐는가?

문제 3. 입력 자료에 모델 붕괴가 시작되는 특정 비율이 제시되어 있는가?

정답과 해설

정답 1. 대규모 언어모델이 AI가 만든 텍스트를 지나치게 많이 학습했을 때다. 해설: 그 결과가 출력 품질 저하다. 조건과 결과를 함께 말해야 정확한 설명이 된다.

정답 2. 확인되지 않았다. 해설: 보도로 확인된 사실은 추적된 책이 라스베이거스의 아마존 창고에 도착했다는 점과 VGT3 시설에서 제본을 잘라 스캔한다는 점이다. 아마존의 공식 입장은 제품과 서비스를 개발하고 개선하려고 상업적 경로로 책을 산다는 것이다. 모델 붕괴 회피라는 동기는 여기서 확인되지 않는 추정이다.

정답 3. 제시되어 있지 않다. 해설: 비율뿐 아니라 심각도에 대한 수치도 자료에 없으며, 기업이 학습 데이터를 공개하지 않는 점도 확인을 어렵게 한다.

참고자료

• 모델 붕괴 입문 참고자료
• 모델 붕괴 입문 참고자료
• 모델 붕괴 입문 참고자료