엔비디아 "같은 모델도 하네스 바꾸자 ARC-AGI-3 30%→100%"

엔비디아 연구진은 메모리 처리를 조정하고 감독 구성요소를 넣은 맞춤형 하네스를 적용한 Claude Opus 5가 ARC-AGI-3에서 100%를 기록했다고 밝혔다. TechCrunch가 전한 같은 연구에서 하네스를 적용하지 않은 Claude Opus 5는 30%에 그쳤고, 이 점수가 시험 대상 모델 가운데 가장 높았다.

점수를 가른 조건

하네스는 AI 모델을 둘러싼 소프트웨어 계층으로 도구와 메모리 관리, 작동 규칙을 포함한다는 것이 TechCrunch의 설명이다. ARC-AGI-3는 지시문이 없는 2차원 게임에서 모델이 진행 규칙과 승리 방법을 스스로 파악하도록 하는 상호작용 추론 벤치마크다. 감독 구성요소는 주 작업 에이전트가 방향을 벗어나거나 막다른 경로를 탐색할 때 진행 방향을 조정하도록 돕는다.

엔비디아 AI 부문 제품 담당 부사장 아델 엘 할라크는 주 작업 에이전트에 감독 에이전트를 추가한 구성이 더 흥미로운 부분이었다고 설명했다. 엘 할라크는 에이전트가 모델과 하네스, 런타임, 이용 가능한 스킬 및 라이브러리로 구성된다고도 말했다.

엔비디아 연구진이 만든 하네스의 이름은 Agentic Variation Operators, 약칭 AVO다. Techmeme에 게재된 엔비디아 기술 블로그 글 제목에 따르면 범용 코딩 에이전트 시스템 AVO는 ARC-AGI-3 공개 세트의 25개 환경에서 모두 100%를 기록하고 183개 레벨을 완료했다.

남은 쟁점

롱호라이즌 과제는 완성된 결과를 만들기 위해 여러 결정을 장기간 연결하는 작업으로, 한 번의 프롬프트에 답하는 작업과 구분된다. 오픈AI는 ARC-AGI-3에서 자사 모델들이 10% 미만을 기록한 뒤 2026년 7월 자체 연구를 수행해 하네스 설정 두 가지 조정만으로 점수를 세 배로 높였다. 다만 그 연구에서는 어떤 모델도 100%에 가까운 점수를 내지 못했다.

TechCrunch는 현재 다수의 에이전트 사용자가 Claude Code, Codex, Hermes 같은 단일 계층 하네스에 의존한다고 전했다. 또한 AVO는 엔비디아의 신제품이 아니며, 엔비디아는 하네스 구축 기술을 NeMo 브랜드로 제공하고 그중 일부는 상용, 상당 부분은 공개돼 있다고 덧붙였다.