나델라, 고성능 AI에 격리·독립 통제·비상 제동 요구

통제 장치를 모델 바깥에 두자는 설계

나델라는 모델이 이미 침해됐다고 가정하고 처음부터 격리하는 설계를 요구했다. 그는 이런 장치를 비상 제동장치에 비유했다. 통제 장치와 안전장치 자체를 모델 외부에 배치하는 방안도 함께 제시했다.

그는 모델을 결정적인 시스템 설계와 인적 통제, 신뢰할 수 있는 운영 절차로 둘러싸야 한다고 주장했다. 기존 기준이 모자란 영역에는 업계 표준을 세워야 한다는 입장도 밝혔다. 모델을 내부자 위험처럼 다루자는 제안도 내놨다.

기록과 감사로 검증하는 구조

나델라가 제시한 관찰 가능성 원칙에는 모델 다양성과 사람이 읽을 수 있는 행동 기록이 들어갔다. 지속적인 시스템 시험, 독립적 통제와 감사 가능성, 격리, 사고 공개도 포함됐다. 의미 있는 모델 행동이라면 변조를 막은 상태로 사람이 읽을 수 있는 기록을 남겨야 한다는 요구가 뒤따랐다.

그는 신뢰할 수 있는 초지능 시스템이 특정 모델을 믿는 데서 나오는 것이 아니라는 취지로 말했다. 특정 모델을 덜 신뢰해도 작동하는 구조가 신뢰의 근거라는 주장이다. 또 AI의 신뢰 구조를 점검해야 하며, 초지능을 중첩된 블랙박스로 둔 채 그 권고와 답변, 행동을 그대로 받아들이거나 물리쳐서는 안 된다고 밝혔다.

업계 표준을 누가 어떤 일정으로 만들지, 마이크로소프트가 자사 제품과 서비스에 이 설계를 적용할지, 사고 공개가 어디까지 미치는지는 제공된 보도 범위에서 확인되지 않았다.