윌리슨 "노트북 Qwen도 신경망 가중치 해석"…Kimi는 '브레이크아웃' 정답

노트북 속 Qwen으로 가중치 해석 시험

윌리슨은 연구에 실린 예제 하나를 골라 직접 시험했다고 밝혔다. 그는 자신의 노트북에서 실행한 Qwen 3.8 27B도 가중치를 해석하는 작업을 할 수 있었다고 전했다. 다만 Qwen이 구체적으로 어떤 답을 냈는지, 그 답이 맞았는지는 글에서 밝히지 않았다.

가중치는 신경망 내부의 수치 값이다. 실험에서 언어모델이 받는 자료는 부동소수점 숫자를 텍스트로 늘어놓은 원시 가중치다.

10×10 격자 게임 4종, 계산기 없이 한 번에 답해야

실험 대상은 10×10 격자로 단순화한 브레이크아웃·퐁·팩맨·프리웨이 네 게임이다. 게임마다 강화학습으로 신경망을 하나씩 학습시킨 뒤, 그 가중치를 언어모델에 제시했다. 언어모델은 코드를 실행하거나 계산기를 쓸 수 없다. 한 번의 응답만으로 어떤 게임을 학습한 신경망인지 판별해야 한다.

윌리슨은 게임별 실험 프롬프트가 깃허브 저장소에 올라와 있다고 밝혔다. 프롬프트는 가중치 부분만 다르고 나머지 내용은 서로 같다.

윌리슨은 도구 없이 원시 가중치만 읽는 문제와 코드를 써서 다른 모델을 개선하는 문제를 구분해서 봐야 한다고 평가했다. 그래서 자신의 글은 도구를 쓰지 않는 경우에 집중했다고 설명했다.

Kimi K3.1 Pro는 9분 41초 추론 끝에 ‘브레이크아웃’

윌리슨은 오픈라우터를 통해 Kimi K3.1 Pro에 브레이크아웃 프롬프트를 실행했다. 그는 이 모델이 9분 41초 동안 추론한 끝에 브레이크아웃이라고 맞혔다고 밝혔다. Qwen과 달리 Kimi는 시험한 게임과 정답 여부가 구체적으로 제시된 사례다.

연구진, GPT-6 Astra가 가중치를 읽고 고친다고 주장

윌리슨이 소개한 연구 글은 리키야 다케히 등 4명이 쓴 ‘Sparks of Weight-Space Programming’이다. 저자들은 이 글을 블로그 게시물로 분류했다.

연구진은 GPT-6 Astra를 비롯한 최상위 모델이 텍스트로 된 원시 가중치를 해석하고 수정할 수 있다고 주장했다. 연구진은 이런 접근에 ‘가중치 공간 프로그래밍’이라는 이름을 붙였다. 가중치 공간 프로그래밍은 언어모델이 학습 루프를 짜지 않고 추론만으로 신경망 각 부분이 맡은 계산을 파악해 가중치를 분석·수정하는 방식이다.

연구진은 GPT-6 Astra가 원시 가중치만 보고 신경망이 무슨 작업을 하도록 학습됐는지 알아낼 수 있다고 주장했다. 또 GPT-6 Astra가 환경 피드백 없이 처음부터 짠 소형 게임용 신경망이 게임을 더 잘했다고 주장했다. 비교 대상은 PPO라는 학습 방식으로 1억 스텝 동안 학습시킨 신경망이다.

다른 모델을 고친 사례도 내놨다. 연구진은 GPT-6 Astra가 경사 계산 없이 Qwen3.5-0.8B 가중치의 0.016%만 고쳐, 추론이 같은 내용을 되풀이하는 문제를 해결했다고 주장했다. 같은 샘플링 설정에서 수학 성능 점수는 7.9%에서 48.1%로 올랐고, 지시 이행 점수는 3배가 됐다는 설명이다. 이 결과는 윌리슨이 노트북에서 실행한 Qwen 3.8 27B가 아니라 Qwen3.5-0.8B에 관한 연구진의 주장이다.