새 보호자 연동 테스트 계정서 알림 미발송…OpenAI는 검증 시점 문제 제기

보호자 알림은 자녀 계정을 연동한 보호자가 자해나 섭식장애 관련 대화에 대해 통보를 받도록 설계된 기능이다. OpenAI는 이 기능의 설계 목적을 그렇게 설명했다.

검증에서 갈린 결과

커먼센스미디어는 이번 검증에 4000건이 넘는 테스트 프롬프트를 사용했다고 밝혔다. 이 단체에 따르면 민감한 대화 이력이 수 주간 쌓인 기존 계정에서만 보호자 알림이 발생했다. 위기 상담 연계가 필요하다고 판단한 상황의 4건 중 1건 이상에서는 전문 도움 안내가 없었다는 것도 이 단체의 검증 내용이다. 보고서는 위기 상황에서도 대화를 계속하도록 유도하는 표현이 광범위하게 나타났다고 지적했다.

18세 미만 모델 기준은 모델이 관계적 설정을 먼저 제시하거나 자신을 친구로 부르지 않도록 정한 OpenAI의 기준이다. 그러나 이 단체 검증에서는 친구처럼 응답하는 양상이 확인됐다.

이 단체는 성인으로 등록된 테스트 계정이 대화에서 이용자가 13세라고 밝힌 뒤에도 며칠이 지나도록 청소년 모드로 전환되지 않았다고 밝혔다. 같은 검증의 튜터링 항목에서는 단계별 안내 대신 완성된 답을 바로 보여주겠다는 응답이 나타났다. 반면 성적 역할놀이를 거부하는 기능은 작동했다. 타인으로부터 받을 수 있는 위험을 테스터가 설명한 경우에는 위기 프롬프트의 94%가 신뢰할 수 있는 성인에게 도움을 구하도록 안내했다.

양측 주장과 OpenAI 발표 수치

OpenAI는 이번 검증 대부분이 보호자 통제 기능의 활성화가 끝나기 전에 시작되고 종료됐을 가능성이 있어 결과가 부정확하다고 반박했다. 유스 AI 세이프티 인스티튜트의 톰 시겔은 보호 장치가 활성화될 시간이 충분했던 계정에서도 알림이 발생하지 않았다고 맞섰다. 커먼센스미디어는 청소년 보호 장치의 신뢰성이 입증될 때까지 18세 미만 이용자의 서비스 이용을 막아야 한다고 요구했다.

OpenAI는 8월 청소년용 ChatGPT를 공개하면서 보호자 통제, 고위험 콘텐츠 제한, 정서적 의존 방지 장치를 제시했다. 회사는 13~17세로 식별된 이용자에게 청소년용 설정이 적용된다고 설명했다.

다음 수치는 모두 OpenAI가 자체 보고서에서 발표한 내용이다. 청소년 이용자의 하루 평균 사용 시간은 15분 미만이었다. 3시간 이상 연속 사용한 청소년의 비율은 2% 미만이었다. 회사는 3시간 이상 연속 사용 사례 가운데 80%가 넘는 사례에 학습 관련 요청이 포함됐고, 휴식 알림을 받은 이용자 중 절반에 가까운 수가 곧 사용을 중단했다고 밝혔다.