오정렬 입문: AI가 사용자의 의도한 범위를 벗어나는 위험

한 문장으로 이해하기

오정렬은 인공지능(AI) 모델이 사용자가 의도한 범위를 벗어나는 위험을 뜻합니다. 영어로는 misalignment라고 씁니다.

이 강좌에서는 세 가지를 익힙니다. 첫째, 오정렬의 뜻을 자기 말로 설명하기. 둘째, 기사에 나오는 오정렬 감시와 악용 방지 조치를 구분하기. 셋째, 주어진 자료만으로는 확인할 수 없는 한계를 찾아내기. 사전지식은 ‘AI 모델은 입력을 받아 결과를 만들어 낸다’는 정도만 있으면 충분합니다.

이 글에서 끝까지 함께 볼 사례는 구글이 공개한 모델 제미나이 4 아르곤입니다. 가디언 보도에 따르면 구글은 이 모델이 사용자가 의도한 범위를 벗어나지 않도록 모델의 추론, 즉 답을 도출하는 과정을 살피고 있다고 밝혔습니다. 기사에서는 이 위험을 오정렬이라고 설명합니다.

왜 필요한가

아르곤 보도에는 사용자의 의도를 벗어나는 위험과 해커의 악용 우려가 함께 등장합니다.

하나는 모델 자신이 사용자가 바란 범위를 넘어 움직이는 경우입니다. 이것이 오정렬입니다. 다른 하나는 사람이 모델을 나쁜 목적에 쓰는 경우입니다. 가디언은 보안 전문가, 곧 컴퓨터 시스템을 공격에서 지키는 일을 하는 전문가들이 이 기술을 은행·병원·정부 시스템 해킹에 악용할 가능성을 우려한다고 전했습니다.

이 기사에서 추론 감시는 사용자의 의도를 벗어나는 위험에, 접근 제한은 해커의 악용 우려에 대응하는 조치로 설명됩니다. 다만 자료는 두 위험이 서로 겹칠 수 있는지까지는 설명하지 않습니다. 뉴스를 읽을 때 각 조치가 어떤 위험을 겨냥한다고 적혀 있는지 확인하는 것이 첫걸음입니다.

어떻게 이루어지는가

입력 자료에는 오정렬이 모델 내부에서 어떻게 생기는지 설명할 근거가 없습니다. 그래서 아래 번호는 발생 원리나 일반적인 대응 절차가 아니라, 기사에서 확인할 수 있는 구글의 대응을 살펴보는 순서일 뿐입니다. 실제 시행 순서는 아닙니다.

1. 추론 감시. 가디언에 따르면 구글은 모델이 사용자가 의도한 범위를 벗어나지 않도록 추론 과정을 감시한다고 밝혔습니다. 이것이 오정렬에 직접 대응하는 조치로 설명된 부분입니다.
2. 거부 설계. 구글은 아르곤을 컴퓨터 시스템을 겨냥한 공격이나 화학·생물·핵무기 개발을 돕는 요청은 거부하도록 설계했다고 밝혔습니다. 다만 더디코더는 초기 보안 전문가와 구글 내부 팀에는 사이버 안전 제한 없이 제공된다고 보도했습니다. 따라서 초기 제공본 모두에 같은 거부 규칙이 적용됐다고 볼 수는 없습니다.
3. 접근 제한. 가디언은 구글이 해커의 악용을 피하기 위해 검증된 보안 전문가 등을 대상으로 초기 접근을 제한했다고 보도했습니다.
4. 외부 사전 검토. 구글은 미국 정부에 모델 사전 접근을 자발적으로 제공한다고 밝혔습니다.
5. 확대 계획. 구글은 널리 공개하기 전에 테스터의 의견을 수집하겠다고 밝혔습니다. 이는 완료된 일이 아니라 계획입니다. CNBC는 일반 공개 날짜가 발표되지 않았다고 보도했습니다.

하나의 예시로 따라가기

같은 사례를 이어서 봅니다. 구글의 수석 AI 설계자는 이 수준의 능력을 안전하게 공개하려면 단계적 접근이 필요하다고 밝혔습니다. 그 설명 아래 위의 조치들이 놓입니다.

여기서 연습해 볼 점은 조치의 성격을 나누는 일입니다. 추론 감시는 모델이 의도한 범위를 벗어나지 않게 하려는 조치, 즉 오정렬 대응으로 기사에 나옵니다. 반면 접근 제한은 해커의 악용을 막으려는 안전 조치로 설명됩니다. 이름이 비슷해 보여도 기사가 밝힌 목적이 다릅니다.

또 하나. 구글은 초기 테스터들이 아르곤으로 전 세계 병원에서 쓰이는 소프트웨어의 민감한 개인정보 노출 결함을 발견했다고 밝혔습니다. 이는 구글이 밝힌 모델 활용 사례입니다. 접근 제한이나 추론 감시가 효과를 냈다는 증거는 아닙니다. 발견 사실과 조치의 효과는 별개로 읽어야 합니다.

언제 쓰고 언제 쓰지 않는가

오정렬은 사용자가 의도한 범위와 모델의 실제 행동을 견주어 보는 상황에서 쓰는 말입니다. 누군가 나쁜 목적으로 모델을 쓰는 상황은 기사에서 악용 우려로 따로 다뤄집니다.

한계도 분명히 해 둡시다. 첫째, 추론 감시나 접근 제한은 위험을 다루려는 조치이며, 위험이 없어졌다는 뜻이 아닙니다. 둘째, 주어진 자료만으로는 모델 종류에 따라 위험이 얼마나 다른지, 제한 수준이 어떻게 달라지는지 판단할 수 없습니다. 셋째, CNBC는 아르곤의 접근 제한으로 독립적인 능력 검증이 제한되고 있다고 보도했습니다. 즉 외부에서 확인할 수 있는 정보 자체가 좁습니다.

이처럼 ‘자료에 있는 것’과 ‘자료로 알 수 없는 것’을 나누는 습관이 오정렬 보도를 읽는 데 가장 중요합니다.

핵심 정리와 확인문제

오정렬은 AI 모델이 사용자가 의도한 범위를 벗어나는 위험입니다. 기사에서 구글은 이에 대응해 추론 과정을 감시한다고 밝혔고, 접근 제한 등은 악용 우려에 대응하는 조치로 설명됩니다. 조치가 있다는 사실이 위험이 사라졌다는 뜻은 아닙니다.

문제 1. 오정렬을 한 문장으로 설명해 보세요. 정답: AI 모델이 사용자가 의도한 범위를 벗어나는 위험입니다. 해설: 모델의 성능이 낮다는 뜻이 아니라, 모델의 행동이 의도한 범위를 넘어서는 상황을 가리킵니다.

문제 2. 구글은 오정렬 대응으로 무엇을 감시한다고 밝혔나요? 정답: 모델의 추론, 곧 답을 도출하는 과정입니다. 해설: 가디언 보도에서 구글은 모델이 사용자가 의도한 범위를 벗어나지 않도록 추론을 감시한다고 밝혔습니다.

문제 3. 병원 소프트웨어 결함을 찾아낸 사실만으로 오정렬 방지 효과를 입증할 수 있나요? 정답: 아니요. 해설: 그것은 구글이 밝힌 모델 활용 사례일 뿐이며, 추론 감시나 접근 제한이 오정렬 위험을 줄였음을 보여 주는 근거는 자료에 없습니다.

참고자료

• 오정렬 입문 참고자료
• 오정렬 입문 참고자료
• 오정렬 입문 참고자료