모델 리포트 입문: EU 실천규약 서명 기업이 내는 모델 점검 문서

한 문장으로 이해하기

모델 리포트는 유럽연합(EU)의 규약인 「범용 AI 실천규약」에 서명한 기업이 모델의 시장 도입 시점까지 평가 내용과 완화 조치를 정리해 EU AI 사무국(AI Office)에 제출하는 보고서입니다. 여기서 완화 조치란 확인된 위험을 줄이기 위해 취한 대응을 뜻합니다.

이 강좌를 마치면 세 가지를 할 수 있습니다. 첫째, 모델 리포트가 무엇이고 어디에 제출되는지 설명하기. 둘째, 리포트에 담기는 항목과 제출까지의 절차를 순서대로 나열하기. 셋째, 이 문서가 답해주는 것과 답해주지 않는 것을 구분하기. 사전지식은 두 가지면 충분합니다. AI 모델이 입력을 받아 출력을 내놓는 프로그램이라는 것, 그리고 모델 성능을 시험처럼 측정하는 방식을 벤치마크라고 부른다는 것입니다.

왜 필요한가

모델의 수준을 비교하는 가장 익숙한 방법은 점수판입니다. 평가 기관 Artificial Analysis는 여러 벤치마크를 묶은 인텔리전스 인덱스를 운영합니다. GPT-6 아스트라의 채점을 두고 회의적인 반응이 나온 뒤, 이 기관은 4.2판을 내놓으며 평가 항목과 채점 방식을 바꿨습니다. 바뀐 지수에서 아스트라는 이전 모델보다 4점 높은 결과를 보였습니다. 무엇이 개편의 원인이었는지는 확인된 바가 없지만, 같은 모델의 점수도 지수 설계가 바뀌면 달라진다는 점은 분명합니다.

점수판이 답하지 못하는 질문은 또 있습니다. 보도에 따르면 아스트라는 추론 과정을 눈에 보이는 텍스트로 이전보다 덜 드러내는 것으로 관찰됐고, 연구자 라이언 그린블랫은 이에 우려를 나타냈습니다. 모델이 무엇을 맞혔는지는 점수로 나오지만, 어떤 점검을 거쳤고 무엇을 못 봤는지는 점수로 나오지 않습니다. 그 부분을 문서로 남기게 하려는 장치가 모델 리포트입니다.

어떻게 이루어지는가

실천규약 서명 기업이 밟는 절차는 다음과 같습니다.

1. 모델에 대해 수행한 평가 내용을 정리합니다.
2. 확인된 위험에 대한 완화 조치를 정리합니다.
3. 외부 평가자의 보고서를 함께 담습니다.
4. 관련된 각 모델 평가에서 무작위로 뽑은 입력·출력 견본 다섯 개를 포함합니다.
5. 이렇게 만든 모델 리포트를 모델의 시장 도입 시점까지 EU AI 사무국에 제출합니다.

4번 단계의 목적은 분명합니다. 회사 밖에서 그 평가 작업을 독립적으로 살펴볼 수 있게 하려는 것입니다. 비슷한 방향의 요구가 연구자들에게서도 나왔습니다. 2025년 7월 약 40명의 연구자는 사고 사슬(chain-of-thought), 즉 모델의 추론 과정이 출력 텍스트에 드러나는 형태를 감시할 수 있는 상태를 AI 안전을 위한 새롭지만 취약한 기회라고 설명했습니다. 이들은 개발사에 표준화된 평가와 함께 결과·방법론·한계를 보고하라고 요청했습니다. 다만 이 요청은 연구자들의 제안이고, 위 1~5번은 실천규약이 정한 제출 항목입니다. 둘은 방향이 겹칠 뿐 같은 것이 아닙니다.

하나의 예시로 따라가기

절차가 어떻게 굴러가는지 가상 예시로 따라가 보겠습니다. 실천규약에 서명한 어떤 기업이 범용 AI 모델 한 개를 유럽 시장에 내놓는다고 가정합니다. (아스트라의 모델 리포트가 실제로 제출됐는지는 이 강좌가 참고한 자료로 확인되지 않으므로, 아래는 절차 이해를 위한 가상 예시입니다.)

1단계에서 이 기업은 모델에 대해 수행한 평가 내용을 정리합니다. 2단계에서는 확인된 위험에 어떤 완화 조치를 했는지 적습니다. 3단계에서는 외부 평가자가 쓴 보고서를 함께 담습니다. 4단계에서는 평가마다 입력과 출력 견본을 무작위로 다섯 개씩 넣습니다. 5단계에서 이 문서가 시장 도입 시점까지 AI 사무국에 도착합니다.

이 가상 예시가 보여주는 것은 문서의 성격입니다. 점수판은 이 모델이 몇 점인지 알려주고, 모델 리포트는 무엇을 어떻게 점검했는지 바깥에서 따져볼 재료를 남깁니다.

언제 쓰고 언제 쓰지 않는가

확인되는 적용 조건은 명확합니다. 「범용 AI 실천규약」에 서명한 기업이 모델을 시장에 도입할 때, 그 시점까지 모델 리포트를 AI 사무국에 제출해야 한다는 것입니다. 그 밖의 상황에 어떤 의무가 있는지는 이 강좌가 참고한 자료만으로는 말할 수 없습니다.

오해하기 쉬운 지점도 짚겠습니다. 모델 리포트는 모델의 순위를 매기는 문서가 아닙니다. 순위는 인텔리전스 인덱스 같은 지수의 몫이고, 앞에서 봤듯 지수는 판을 바꾸면 결과도 달라집니다. 또 모델 리포트 제출을 안전 인증과 같은 것으로 볼 근거도 없습니다. 확인되는 기능은 평가와 완화 조치를 기록해 검토 가능하게 만든다는 데까지입니다.

한계는 이렇게 이해하면 좋습니다. 견본 다섯 개는 외부의 독립적 검토를 돕기 위한 장치로 설명됩니다. 그것이 평가 전체를 대신한다는 설명은 없습니다. 그리고 추론이 출력 텍스트에 드러나는 정도와 무관하게, 리포트에 남는 입력·출력 견본은 외부 검토가 들여다볼 수 있는 자료로 설명됩니다.

핵심 정리와 확인문제

정리하면, 모델 리포트는 실천규약 서명 기업이 시장 도입 시점까지 평가·완화 조치·외부 평가자 보고서·견본을 담아 EU AI 사무국에 내는 문서입니다. 점수판이 답하지 못하는 “어떻게 점검했는가"를 밖에서 확인할 재료를 남기는 장치입니다.

확인문제 1. 모델 리포트는 누가, 언제까지, 어디에 제출합니까?

정답 1. 「범용 AI 실천규약」에 서명한 기업이, 모델의 시장 도입 시점까지, EU AI 사무국에 제출합니다. 해설: 제출 주체는 모든 AI 개발사가 아니라 규약에 서명한 기업으로 한정됩니다. 제출 기한도 출시 이후가 아니라 시장 도입 시점까지입니다.

확인문제 2. 모델 리포트를 만들어 제출하기까지의 절차를 순서대로 나열하고, 입력·출력 견본이 몇 개이며 무엇을 위한 것인지 함께 설명하십시오.

정답 2. 순서는 이렇습니다. 첫째 수행한 평가 내용을 정리하고, 둘째 확인된 위험에 대한 완화 조치를 정리하고, 셋째 외부 평가자의 보고서를 함께 담고, 넷째 관련된 각 모델 평가에서 무작위로 뽑은 입력·출력 견본 다섯 개를 포함하고, 다섯째 시장 도입 시점까지 EU AI 사무국에 제출합니다. 해설: 견본은 평가마다 다섯 개이며, 회사 밖에서 그 평가 작업을 독립적으로 살펴볼 수 있게 하기 위한 것입니다.

확인문제 3. “모델 리포트를 냈으니 이 모델은 안전 인증을 받은 것이다.” 이 문장의 문제를 설명하십시오.

정답 3. 확인되는 것은 모델 리포트가 평가와 완화 조치를 기록해 검토 가능하게 만든다는 기능까지입니다. 해설: 제출과 안전 인증을 같은 것으로 볼 근거가 없으므로, 문서를 냈다는 사실만으로 안전이 판정됐다고 말할 수 없습니다.

참고자료

• 모델 리포트 입문 참고자료
• 모델 리포트 입문 참고자료
• 모델 리포트 입문 참고자료