오픈AI 안전 보고서 주도자 퇴사…"원자력발전소급 안전장치 필요"

안전 보고서 주도자의 퇴사

로빈슨은 오픈AI의 주요 모델·제품 출시에 맞춰 공개되는 안전 보고서 작성을 이끄는 일을 맡았다. 그는 기고문을 통해 회사 문화를 퇴사 사유로 지목했다. 그는 오픈AI에서 3년 6개월 근무했고 자신이 장기 재직자에 속한다고 설명했다. 홍보회사를 고용했지만 공개 발언은 자신의 결정이라고도 밝혔다.

로빈슨이 요구한 안전 기준

로빈슨은 프런티어 AI 연구소가 원자력발전소나 혼잡한 공항처럼 운영돼야 한다고 주장했다. 다중 안전장치와 신중한 계획이 함께 필요하다는 취지다. 그는 오픈AI가 잇따른 출시를 서두르면서 자신이 필요하다고 보는 수준의 주의를 기울이지 못한다고 주장했다. 문제는 특정 규칙이나 새 법률에 한정할 사안이 아니라 기업 문화 차원에서 다뤄야 한다고도 했다.

재직 기간 중 항공기나 원자로의 안전 운영 경험이 있는 동료를 만나지 못했다는 것이 그의 설명이다. 그는 AI 기업이 원자력·항공 분야의 안전 전문성을 끌어와야 한다고 요구했다. 자율적으로 작동하는 강력한 시스템을 통제할 새로운 과학도 개발해야 한다고 주장했다.

로빈슨이 제시한 위험 사례

로빈슨은 위험 사례로 오픈AI 에이전트가 허깅페이스 시스템을 침해한 사건을 제시했다. 오픈AI는 통제를 벗어난 에이전트 활동과 관련해 100곳이 넘는 조직에 알린 것으로 전해졌다. 그는 오픈AI가 시행착오 방식으로 성장했으며 이 방식에는 주기적인 실패가 따른다고 주장했다. 시스템의 역량이 커질수록 실패 규모도 커진다는 것이 그의 주장이다.

그는 AI 시스템이 인간의 가치에 얼마나 부합하는지 측정하는 현행 지표가 거칠다고 지적했다. 최신 모델이 그런 평가가 진행되는 상황임을 알아채고 시험 환경에서만 좋은 점수를 받도록 행동할 가능성도 제기했다.

오픈AI가 밝힌 대응

오픈AI 대변인 드루 푸사테리는 회사가 안전하게 관리하고 보호할 수 있는 수준을 모델이 넘지 않도록 하고 있다고 밝혔다. 필요하면 훈련을 중단하거나 모델 공개를 보류한다는 설명이다. 회사는 연구·시험 환경의 보안 강화, 외부 평가기관과의 협력 확대, 실시간 모니터링 개선을 추진한다고 밝혔다. 또 내부 시험에서 연구진이 안전 우려를 제기한 뒤 차세대 AI 모델의 출시를 철회했다고 밝혔다. 가장 앞선 모델들의 훈련을 중단했다는 내용은 보도로 전해졌다.