AI 작성 탐지기 입문: 한 편의 글이 아니라 웹 전체를 볼 때

이 강좌를 마치면 세 가지를 할 수 있다. 첫째, 인공지능(AI) 작성 탐지기가 내놓는 결과가 무엇인지 설명한다. 둘째, 연구에서 그 결과가 만들어진 단계를 순서대로 말한다. 셋째, 한 편의 글에 대한 분류와 많은 글을 모은 경향을 구분해 읽는다. 사전지식은 웹페이지가 무엇인지, 웹 주소 끝에 .com이나 .edu 같은 표시가 붙는다는 것, 챗봇으로 글을 만들 수 있다는 정도면 충분하다. 통계나 프로그래밍 지식은 필요하지 않다.

한 문장으로 이해하기

AI 작성 탐지기는 글을 분석해 그 글을 ‘AI 작성 신호가 있는 글’로 분류하는 도구다. 여기서 ‘탐지’는 누가 썼는지를 확정하는 확인이 아니라 분류에 가깝다. 그래서 결과는 ‘이 글은 AI가 썼다’가 아니라 ‘이 글은 AI 작성 신호가 있는 것으로 분류됐다’로 읽어야 한다. 이 차이가 강좌 전체의 핵심이다.

왜 필요한가

웹에 올라오는 글의 성격이 바뀌고 있는지 확인하고 싶기 때문이다. 2026년 7월에 모은 웹페이지 1만 건의 무작위 표본에서는 약 10%가 강한 AI 작성 신호를 보였다. 같은 연구에서 챗GPT 공개 이후에 게시된 페이지만 대상으로 삼자 그 비율은 35%로 올라갔다. 챗GPT는 2022년 11월에 공개됐다. 웹에는 그 이전에 만들어진 페이지가 많이 남아 있어서, 무엇을 대상으로 세느냐에 따라 숫자가 달라진다. 이 차이를 아는 것이 탐지 결과를 읽는 출발점이다.

어떻게 이루어지는가

1단계, 검사할 글을 모은다. 이 연구는 웹페이지를 모아 공개해 두는 아카이브인 커먼크롤에서 2021년 1월부터 2026년 7월까지의 영어 웹페이지 약 50만 건을 확보했다. 2단계, 탐지 기술에 글을 넣는다. 이 연구는 오픈 팬그램이라는 AI 작성 탐지 기술을 사용했다. 3단계, 각 글을 AI 작성 신호가 있는 글과 그렇지 않은 글로 분류한다. 4단계, 개별 분류 결과를 모아 전체 비율로 정리한다. 5단계, 조건을 나눠 다시 본다. 게시 시점이나 웹 주소 끝부분의 분류(도메인)로 나누면 다른 그림이 나온다.

하나의 예시로 따라가기

가상 예시로 위 단계를 따라가 보자. 어떤 쇼핑몰이 상품 소개 글 1,000편을 운영한다고 하자(가상 예시). 1단계로 그 1,000편을 모으고, 2~3단계로 탐지 기술에 넣어 각 글의 분류 결과를 받는다. 4단계에서 ‘AI 작성 신호 있음’이 200편, 즉 20%로 나왔다고 하자. 이 20%는 설명을 위해 임의로 정한 값이며 실제 조사 수치가 아니다. 이때 특정 한 편을 지목해 ‘이 글은 기계가 썼다’고 단정하는 것은 위험하다. 5단계처럼 게시 시점으로 나누면 최근 글의 비율이 더 높게 나올 수도 있는데, 이 역시 임의로 가정한 상황일 뿐 확인된 결과가 아니다. 실제 연구도 조건을 나눠 비교했고, 도메인별로 .com 약 10%, .org 4.6%, .edu와 .gov 각각 약 1%라는 차이를 확인했다.

언제 쓰고 언제 쓰지 않는가

이 연구가 보여 준 쓰임은 많은 페이지를 모아 전체 경향을 보는 것이다. 연구는 대규모 자료에서 나타난 패턴을 통계적으로 해석했고, 개별 문서를 확정적으로 판정하는 데 초점을 두지 않았다. 반대로 한 사람의 글 한 편을 두고 책임을 묻는 판단에는 적합하지 않다. AI 작성 탐지 도구는 사람이 작성한 페이지를 AI 작성으로 잘못 분류할 수 있기 때문이다. 이 연구에서는 특정 영어 문장부호와 특정 영어 단어·표현의 사용 변화도 AI 작성의 징후로 함께 조사됐다. 다만 이런 부호와 표현은 사람도 쓰므로, 그것만으로 작성 주체를 가릴 수는 없다. 또 이 연구는 영어 웹페이지를 대상으로 했다는 점도 적용 조건으로 기억할 만하다.

핵심 정리와 확인문제

탐지 결과는 한 편의 글의 작성자를 확정하는 증거가 아니다. 이 연구와 여기 쓰인 탐지 기술의 범위 안에서, 그 결과는 많은 페이지를 모아 경향을 해석하는 데 쓰였다.

확인문제

1. 2026년 7월 웹페이지 1만 건의 무작위 표본에서 강한 AI 작성 신호가 나타난 비율은 얼마인가?
2. 같은 연구에서 비율이 35%로 올라간 것은 대상 범위를 어떻게 바꿨기 때문인가?
3. 탐지 결과를 개인의 글 한 편을 판정하는 데 그대로 쓰면 안 되는 이유는 무엇인가?

정답과 해설

1. 정답: 약 10%다. 해설: 이 표본에는 챗GPT 공개 이전에 만들어진 오래된 페이지도 함께 섞여 있다.
2. 정답: 2022년 11월 챗GPT 공개 이후에 게시된 페이지만 대상으로 삼았기 때문이다. 해설: 대상 범위가 달라지면 같은 연구에서도 비율이 달라진다.
3. 정답: AI 작성 탐지 도구는 사람이 작성한 페이지를 AI 작성으로 잘못 분류할 수 있어서다. 해설: 두 출처가 소개한 연구의 해석도 개별 문서의 확정 판정이 아니라 대규모 자료의 경향에 초점을 두고 있다.

참고자료

• AI 작성 탐지기 입문 참고자료
• AI 작성 탐지기 입문 참고자료