앤스로픽 연구자 사임…"두 회사가 사람 목숨 걸고 도박"

콕슨은 두 회사 어느 쪽도 책임 있게 행동하지 않으며 스스로 개선하는 초지능을 향해 경쟁하고 있다고 주장했다. 그는 오픈AI와 앤스로픽에서 대형 AI 모델의 사전학습 연구를 3년간 수행했다.

콕슨이 지목한 위험은 아직 등장하지 않은 초인적 시스템이다. 그는 그런 시스템이 해킹 능력과 자원 획득 능력을 갖출 수 있다고 주장했다. 재귀적 자기개선은 AI 시스템이 사람의 개입 없이 후속 모델을 설계하고 개발하는 것을 뜻하며 아직 실현되지 않았다.

회사 안에서 나온 위험 추정

허빙어가 제시한 10% 초과라는 값은 검증된 발생 확률이 아니라 본인이 밝힌 개인적 추정치다. 그는 앤스로픽이 최선을 다하고 있다고 평가하면서도 초지능 정렬 문제를 해결할 계획이 아직 없고 해결 경로도 뚜렷하지 않다고 밝혔다. 정렬은 AI 시스템이 인간의 가치와 의도에 맞게 작동하도록 만드는 연구 분야를 뜻한다.

BBC에 따르면 허빙어는 현재 모델의 위험은 낮게 보면서도 기술이 스스로 개선하는 단계에 이를 가능성을 우려한다고 밝혔다. 앤스로픽이 8월 공개한 안전 보고서 역시 현재 모델의 재앙적 위험 가능성을 낮게 평가하면서 더 강력한 미래 모델에서는 정렬 이탈이 심해질 수 있다고 적었다.

오픈AI 수석과학자 야쿠프 파호츠키도 어떤 AI 기업도 최고 속도의 확장을 책임 있게 지속할 만큼 정렬과 모니터링 문제를 해결하지 못했다고 밝혔다. 그는 미래 AI 개발에 관한 국제 공조를 각국 정부의 최우선 과제로 꼽으면서, 자발적인 개발 속도 조절이 확산되기를 기대한다고 덧붙였다.

정치권에서 나온 요구

영국 노동당 하원의원 대런 존스는 콕슨의 사임을 언급하며 총리에게 공개서한을 보내 초지능의 규제되고 안전한 개발을 위한 다국적 조약을 요구했다. 미국에서는 버니 샌더스 상원의원이 의회에 AI 규제를 다시 촉구하며 소수의 사람들이 인류의 미래를 결정해서는 안 된다고 밝혔다.

허빙어는 7월 미국 정부에 자동화된 AI 개발 속도를 의도적으로 조절할 수단을 마련하라고 촉구한 공개서한의 약 1400명 서명자 가운데 한 명이었다. 같은 매체에 따르면 2023년에는 샘 올트먼과 다리오 아모데이 등이 AI로 인한 절멸 위험 완화를 팬데믹과 핵전쟁 같은 사회적 규모의 위험과 함께 국제적 우선과제로 다뤄야 한다는 성명에 서명했다.

확인되지 않은 부분

파이낸셜타임스는 앤스로픽이 영국 AI보안연구소의 출시 전 테스트에 최신 모델을 제출하지 않았다고 보도했다. 영국 내각부 대변인은 최신 모델의 미제출 여부를 확인하지 않은 채, AI보안연구소가 앤스로픽을 포함한 업계 파트너들과 계속 긴밀히 협력하고 있다고 밝혔다. 앤스로픽은 직원들의 게시물과 AI보안연구소 관련 상황에 대한 논평을 거부했다.

유엔에 AI 관련 자문을 하는 컴퓨터과학자 웬디 홀은 BBC 인터뷰에서 두 연구자의 게시물에 충격을 받았다고 말했다. 그러면서 기업공개를 앞둔 상황을 고려하면 일부 내용은 홍보나 마케팅일 수 있다는 개인적 견해를 밝혔다.