롱호라이즌 과제 입문: 같은 모델도 감싸는 구조에 따라 달라진다

한 문장으로 이해하기

롱호라이즌(long-horizon) 과제란 ‘긴 시간 지평’이라는 뜻으로, 여러 결정을 이어 가며 완성해야 하고 때로는 여러 날이 걸릴 수 있는 작업을 말합니다. 지시문 하나에 답 하나를 받고 끝나는 작업과 대비됩니다. 그리고 하네스(harness)는 모델이 쓸 도구, 기억을 다루는 방식, 지켜야 할 규칙 등을 담은 소프트웨어 구조입니다. 이 강좌를 마치면 롱호라이즌 과제의 뜻을 단발 작업과 견주어 설명하고, 하네스 구성이 결과에 어떻게 개입했는지 단계로 말하고, 이 관점을 언제 적용하고 언제 조심해야 하는지 구분할 수 있습니다. 사전 지식은 두 가지면 충분합니다. 하나는 AI 모델이 입력을 받아 출력을 내놓는 프로그램이라는 이해이고, 다른 하나는 지시문이 AI에 요청을 전달하는 입력이라는 개념입니다.

왜 필요한가

모델을 고르는 일에는 많은 관심이 쏠리지만, 긴 과제에서는 모델 바깥의 구조도 함께 봐야 합니다. 소개된 실험에서는 도구와 기억 관리 등을 포함한 하네스 구성이 달라지자 결과도 달라졌기 때문입니다.

긴 과제가 쉽지 않다는 점은 다른 연구에서도 나타났습니다. 보도에 따르면 마이크로소프트의 연구는 문서 편집형 롱호라이즌 과제에서 19개 대형 언어 모델 모두가 오류를 만들었다고 보고했습니다. 대형 언어 모델은 글을 입력받아 글을 생성하는 AI 모델을 가리킵니다. 확인된 범위는 여기까지입니다. 보도에 소개된 그 문서 편집 연구에서는 시험한 19개 모델이 모두 오류를 냈다는 사실이며, 이를 모든 모델과 모든 긴 과제로 넓혀 말할 근거는 이 자료에 없습니다.

어떻게 이루어지는가

보도된 엔비디아 연구의 진행을 단계로 정리하면 이렇습니다.

1. 긴 호흡의 과제를 고릅니다. 연구진은 ARC-AGI-3를 썼습니다. 별도 지시가 없는 2차원 게임에서 규칙을 스스로 파악하고 승리하도록 요구하는 상호작용 추론 벤치마크(성능을 재는 표준 시험)입니다.
2. 기준 점수를 잽니다. 맞춤 하네스와 감독 구성요소를 적용하기 전 클로드 오푸스 5는 30%를 기록했고, 이는 시험된 모델 가운데 가장 높은 점수였습니다.
3. 하네스를 손봅니다. 연구진은 기억 관리를 조정한 맞춤 하네스를 만들었습니다. 이 하네스의 이름은 AVO(Agentic Variation Operators)이며, 기사에서는 이를 새로운 엔비디아 제품이 아니라고 밝혔습니다.
4. 감독 구성요소를 더합니다. 이 요소는 주 에이전트가 막히거나 비효율적인 경로를 반복할 때 진행 방향을 조정하도록 돕습니다. 에이전트는 스스로 판단해 여러 단계를 수행하는 AI를 뜻합니다.
5. 다시 잽니다. 같은 모델이 ARC-AGI-3에서 100%를 기록했습니다.

하나의 예시로 따라가기

앞의 다섯 단계를 사례 하나로 이어서 따라가 보겠습니다. 여기서 쓰는 사례는 보도된 ARC-AGI-3 실험 한 건이며, 가상 상황이 아닙니다.

별도 지시가 없는 2차원 게임 앞에 모델을 세우면, 모델은 규칙을 시험해 보며 파악해야 합니다. 한 번의 답이 아니라 여러 시도를 이어 붙여야 하므로 이 과제는 롱호라이즌 과제에 해당합니다. 맞춤 하네스와 감독 구성요소를 적용하기 전 오푸스 5의 점수는 30%였습니다. 여기에 기억 관리를 조정한 AVO 하네스를 씌우고 감독 구성요소를 붙이자 같은 모델이 100%를 기록했습니다.

여기까지가 보도된 연구 결과입니다. 이어지는 문장은 강좌 작성자의 해석입니다. 이 실험에서 바뀐 것은 모델이 아니라 모델을 감싼 구성이었으므로, 긴 과제를 다룰 때는 모델 선택만이 아니라 그 바깥 구성도 함께 살펴볼 이유가 됩니다. 다만 이 결론이 곧 모든 과제에서 하네스가 모델보다 중요하다는 뜻은 아닙니다. 참고로 기사에 따르면 오픈AI는 하네스 설정 두 가지를 조정해 자사 모델의 ARC-AGI-3 점수를 세 배로 높였지만 100%에는 이르지 못했습니다.

언제 쓰고 언제 쓰지 않는가

이 관점은 과제가 여러 결정을 이어 가야 하고 완성까지 여러 날이 걸릴 수 있을 때 의미가 있습니다. 반대로 지시문 하나에 답 하나를 받는 단발 작업이라면 하네스 논의의 무게는 줄어듭니다.

한계도 분명합니다. 첫째, 위 결과는 특정 모델과 특정 벤치마크에서 얻은 것이므로 모든 롱호라이즌 과제에 그대로 일반화할 수 없습니다. 둘째, 100%라는 점수는 해당 벤치마크의 결과일 뿐 다른 종류의 능력까지 보장하지 않습니다. 셋째, 이 실험만으로는 감독 구성요소가 다른 과제의 안전성과 정확성을 보장한다고 판단할 수 없습니다.

비용도 함께 봐야 합니다. 기사에 인용된 데이터브릭스 측 설명은 같은 모델도 하네스 선택에 따라 비용이 달라지고 두 배가 될 수 있다고 주장합니다. 이는 기업 관계자의 주장이며 모든 상황에 적용되는 고정된 수치는 아닙니다.

핵심 정리와 확인문제

롱호라이즌 과제는 결정을 길게 이어 가야 하는 일이고, 소개된 실험에서는 같은 모델도 하네스 구성에 따라 결과가 크게 달랐습니다. 기억 관리 조정과 감독 구성요소가 그 실험에서 바뀐 부분이었습니다.

확인문제

1. 롱호라이즌 과제는 무엇과 대비되는 개념인가요?
2. 같은 모델의 점수가 달라진 실험에서 변경된 요소는 무엇인가요?
3. 이 실험 결과를 모든 롱호라이즌 과제에 그대로 적용하면 안 되는 이유는 무엇인가요?

정답과 해설

1. 정답: 지시문 하나에 답 하나를 받는 단발 작업과 대비됩니다. 해설: 롱호라이즌 과제는 여러 결정을 이어 가야 하고 완성까지 여러 날이 걸릴 수 있습니다.
2. 정답: 기억 관리를 조정한 맞춤 하네스와 감독 구성요소입니다. 해설: 모델은 그대로였고 모델을 감싼 구성만 달라졌습니다.
3. 정답: 특정 모델과 특정 벤치마크에서 얻은 결과이기 때문입니다. 해설: ARC-AGI-3라는 한 시험에서 클로드 오푸스 5로 얻은 결과이므로, 다른 과제와 다른 모델에서도 같은 차이가 나타난다고 단정할 수 없습니다.

참고자료

• 롱호라이즌 과제 입문 참고자료
• 롱호라이즌 과제 입문 참고자료