하네스 입문: AI 모델을 둘러싸고 도구·기억·규칙을 관리하는 소프트웨어

한 문장으로 이해하기

하네스(harness)는 AI 모델 주변에서 도구, 기억 관리, 규칙 등을 관리하는 소프트웨어 체계입니다. 흔히 ‘껍데기’에 비유되지만 단순한 겉포장이 아니라, 모델이 일하는 환경을 짜 주는 구조물에 가깝습니다. 입력 자료가 된 기사에서는 이 하네스가 원시 모델이 자율적으로 행동하도록 돕는 주변 체계로 설명됩니다. 여기서 자율적으로 행동하는 AI를 에이전트(agent)라고 부릅니다.

이 강좌를 마치면 세 가지를 할 수 있습니다. 첫째, 하네스의 뜻을 자기 말로 설명하기. 둘째, 긴 작업에서 하네스가 왜 주목받는지 말하기. 셋째, 하네스가 도움이 되는 상황과 그렇지 않은 한계를 구분하기. 사전지식은 많지 않아도 됩니다. AI 모델에 질문을 넣으면 답이 나온다는 정도, 그리고 여러 단계를 거쳐 진행되는 업무가 있다는 정도면 충분합니다.

왜 필요한가

우리가 흔히 쓰는 AI는 질문 하나에 답 하나를 내놓습니다. 그런데 실제 업무는 그렇게 끝나지 않습니다. 여러 결정을 이어 붙여 완성된 결과물을 만들어야 하고, 때로는 며칠 동안 이어집니다. 이런 일을 긴 호흡의 작업, 즉 롱호라이즌(long-horizon) 작업이라고 부릅니다.

문제는 이런 작업에서 모델이 흔들린다는 점입니다. 기사에 소개된 마이크로소프트 연구는 문서 편집을 포함한 긴 작업으로 대규모 언어모델(LLM, 많은 글을 학습해 문장을 만들어 내는 AI) 19개를 시험했고, 모든 모델이 문서에 오류를 만들었다고 보고했습니다. 또한 여러 결정을 자율적으로 이어 가던 모델이 사용자 파일이나 데이터베이스를 삭제한 사례도 기사에 적혀 있습니다.

엔비디아의 연구는 이런 긴 작업에서 기반 모델뿐 아니라 하네스가 성과에 큰 영향을 줄 수 있음을 보여 줬습니다. 엔비디아의 아델 엘 할라크는 에이전트가 모델과 그 주변 소프트웨어 요소로 함께 구성된다고 설명했습니다.

어떻게 이루어지는가

입력 자료가 확인해 주는 범위에서 하네스의 기능을 정리하면 이렇습니다.

1. 모델이 쓸 수 있는 도구를 관리한다.
2. 기억을 관리한다.
3. 맥락을 관리한다.
4. 피드백을 처리한다.
5. 모델이 따라야 할 규칙을 담는다.
6. 경우에 따라 감독자 요소를 둔다. 주 작업 에이전트가 막히거나 잘못된 방향을 탐색할 때 개입하는 역할이다.

여섯 번째 항목은 모든 하네스의 필수 조건이 아닙니다. 다만 엔비디아의 해당 시험에서는 감독자 요소가 성과에 중요한 역할을 했습니다.

하나의 예시로 따라가기

엔비디아 연구가 쓴 시험대는 ARC-AGI-3라는 대화형 추론 벤치마크(성능 측정용 표준 시험)입니다. 지시문이 없는 2차원 게임들로 구성되며, 모델이 게임 방법을 스스로 알아내고 이겨야 합니다.

같은 모델을 서로 다른 하네스 조건에서 시험한 결과를 보면 차이가 드러납니다. 기사에 따르면 하네스가 없는 조건에서 Claude Opus 5는 30%를 기록했고, 이는 시험된 모델 가운데 가장 높은 결과였습니다. 반면 기억 관리를 조정하고 감독자 요소를 포함한 맞춤 하네스를 사용했을 때 같은 모델이 100%를 기록했습니다.

두 점수를 나란히 놓으면 앞 단원에서 본 기능들이 왜 거론되는지 감이 옵니다. 기억 관리와 감독자라는, 모델 바깥에 있는 요소가 조건에 포함됐을 때 결과가 달랐기 때문입니다. 다만 이 차이가 오직 하네스 하나 때문이라고 단정할 수는 없습니다. 기사가 알려 주는 것은 조건이 달랐고 점수가 달랐다는 사실까지입니다. 참고로 엔비디아 연구진이 만든 하네스의 이름은 에이전트 변형 연산자(Agentic Variation Operators, AVO)이며, 기사는 이를 새로운 엔비디아 제품이 아니라고 명시합니다.

언제 쓰고 언제 쓰지 않는가

하네스가 논의되는 상황은 분명합니다. 여러 결정을 길게 이어 가야 하고, 중간에 방향이 어긋날 위험이 있는 작업입니다. 반대로 질문 하나에 답 하나로 끝나는 일이라면 복잡한 하네스를 고민할 이유가 적습니다.

흔한 오해도 짚어야 합니다. 하네스가 모델을 대체하지는 않습니다. 모델 선택은 여전히 중요하며, 모델은 긴 작업을 수행하는 에이전트 시스템 전체의 한 구성 요소입니다.

하네스는 잘못 고르면 손해가 되기도 합니다. 기사에 소개된 데이터브릭스의 연구와 발언에 따르면, 같은 모델이라도 하네스 선택에 따라 비용이 달라지고 잘못된 하네스는 비용을 두 배로 만들 수 있습니다.

한계도 있습니다. 오픈AI는 하네스 설정 두 가지를 조정해 자사 모델들의 ARC-AGI-3 점수를 세 배로 높였지만, 기사에 따르면 어떤 모델도 100%에 가까워지지 못했습니다. 하네스는 성과를 크게 움직일 수 있는 조절 장치이지, 긴 작업의 모든 오류나 위험을 없애 주는 장치가 아닙니다.

핵심 정리와 확인문제

하네스는 모델 주변에서 도구·기억·맥락·피드백·규칙을 관리하는 소프트웨어 체계이고, 긴 호흡의 작업에서는 같은 모델의 결과도 하네스 조건에 따라 달라질 수 있습니다. 다만 모델을 대신하지도, 모든 오류를 없애지도 못합니다.

1. 하네스가 관리한다고 이 강좌에서 설명한 기능을 세 가지 쓰세요.
2. 엔비디아 연구에서 Claude Opus 5의 ARC-AGI-3 점수는 조건에 따라 어떻게 달랐나요?
3. 하네스를 잘못 골랐을 때 생길 수 있는 문제 한 가지를 쓰세요.

1번 정답: 도구 관리, 기억 관리, 맥락 관리, 피드백 처리, 규칙 담기 가운데 세 가지를 쓰면 됩니다. 이 다섯 가지가 본문에서 다룬 항목입니다. 감독자 요소는 모든 하네스의 필수 기능이 아니므로 정답에 넣을 때는 ‘경우에 따라’라는 조건이 붙습니다.

2번 정답: 하네스가 없는 조건에서는 30%였고, 기억 관리를 조정하고 감독자 요소를 포함한 맞춤 하네스를 사용한 조건에서는 100%였습니다. 모델은 같았지만 조건이 달랐습니다.

3번 정답: 비용이 커질 수 있습니다. 데이터브릭스 쪽 설명에 따르면 같은 모델이라도 하네스 선택에 따라 비용이 달라지고, 잘못된 하네스는 비용을 두 배로 만들 수 있습니다.

참고자료

• 하네스 입문 참고자료
• 하네스 입문 참고자료