출력 토큰 입문: AI가 만들어 내는 분량을 재는 단위

한 문장으로 이해하기

출력 토큰은 AI 모델이 내보내는 글을 세는 단위입니다. CNBC는 토큰 하나가 영어 단어 약 4분의 3에 해당한다고 설명했습니다. 반대로 사용자가 집어넣는 질문이나 자료는 입력 토큰으로 셉니다. 이 강좌를 끝내면 첫째 출력 토큰과 입력 토큰을 구분하고, 둘째 출력 한도와 요금이 사용에 주는 영향을 설명하고, 셋째 긴 생성이 필요한 작업과 그렇지 않은 작업을 가릴 수 있습니다. 미리 알아 둘 것은 두 가지입니다. AI 모델이 질문을 받아 글로 답한다는 점, 그리고 일부 유료 AI 서비스는 토큰 사용량을 기준으로 요금을 제시한다는 점입니다.

왜 필요한가

출력 토큰을 모르면 서비스 설명서의 두 가지 숫자를 읽을 수 없습니다. 하나는 모델이 얼마나 길게 생성할 수 있는지이고, 다른 하나는 얼마를 내는지입니다. 제미나이 4 아르곤의 출력 한도는 기존 6만4000토큰에서 100만토큰으로 늘어났고, 구글은 100만 출력 토큰 지원을 업계 최초라고 밝혔습니다. 구글이 제시한 취지는 한 번에 많은 분량을 생성할 수 있으면 어려운 문제를 더 깊이 다룰 수 있다는 것입니다. 다만 아르곤에서 아주 긴 응답을 받을 때는 중지와 후속 요청을 통한 재개가 필요할 수 있습니다. 요금도 같은 단위로 매겨집니다. 아르곤의 도입 가격은 입력 100만토큰당 2달러, 출력 100만토큰당 10달러이며, 공개된 정규 가격은 각각 4달러와 20달러입니다.

어떻게 이루어지는가

1. 사용자가 질문과 참고 자료를 넣습니다. 이 분량은 입력 토큰으로 계산됩니다. 아르곤의 입력 맥락 창, 즉 모델이 한 번에 참고할 수 있는 입력 범위는 100만토큰으로 유지됩니다.
2. 모델이 답을 생성합니다. 이 생성 분량이 출력 토큰입니다.
3. 아르곤에 공개된 최대 출력 지원량은 100만토큰입니다.
4. 구글은 긴 응답을 중지한 뒤 후속 요청으로 재개하는 ‘롱 디코드 컨티뉴에이션’ 기능을 제미나이 API(응용 프로그램 연결 창구)에 추가하고 있습니다. 이는 아르곤 쪽에 더해지는 기능으로 설명됐습니다.
5. 공개된 아르곤 가격표에서는 입력 토큰과 출력 토큰의 단가가 각각 제시됩니다. 캐시된 입력, 즉 이미 저장해 둔 입력에는 정규 입력 토큰 가격보다 95% 낮은 가격이 적용됩니다.

하나의 예시로 따라가기

아래는 이해를 돕기 위한 가상 예시입니다. 한 개발팀이 아르곤에게 긴 사내 코드 점검 보고서를 쓰게 한다고 가정합니다. 먼저 코드와 지시문을 넣으면 그만큼이 입력 토큰으로 집계됩니다(1단계). 모델은 설명 문장을 생성하고, 그 분량이 출력 토큰으로 쌓입니다(2단계). 이 모델에 공개된 최대 출력 지원량은 100만토큰입니다(3단계). 응답이 매우 길어지면 롱 디코드 컨티뉴에이션처럼 중지 후 후속 요청으로 이어 받는 방식이 필요할 수 있습니다(4단계). 마지막으로 공개된 가격표에 따라 입력과 출력 분량의 단가가 각각 적용됩니다(5단계). 여기서 참고할 수치가 있습니다. 아티피셜 애널리시스의 초기 평가에서 아르곤은 과제당 평균 6만2000 출력 토큰을, GPT-6 아스트라는 2만7000토큰을 사용했습니다. 같은 기관의 초기 평가 중 지능 지수 과제 비용은 도입 가격 기준 아르곤이 1.99달러, 아스트라가 3.26달러였고, 도입 할인이 끝난 뒤 아르곤 비용은 3.98달러로 제시됐습니다. 이는 해당 기관의 특정 과제 결과일 뿐 모든 작업의 비용을 대표하지는 않습니다. 다만 단가가 낮아도 생성 분량이 많으면 총액이 달라질 수 있다는 점은 기억할 만합니다.

언제 쓰고 언제 쓰지 않는가

출력 한도가 큰 모델은 긴 생성이나 여러 단계의 처리가 필요한 작업에서 고려할 수 있습니다. 구글의 툴시 도시는 아르곤이 여러 단계가 필요하고 장시간 실행될 수 있는 복잡한 과제를 처리하는 능력을 강조했습니다. 반대로 그가 설명한 대로, 개인 에이전트, 즉 사용자를 대신해 작업을 처리해 주는 AI 도구의 일상 작업에는 가장 강력한 프런티어 모델이 필요하지 않으며 더 가볍고 저렴한 모델도 중요합니다. 여기서 프런티어 모델은 성능을 가장 앞서 끌어올린 최상급 모델을 가리키는 말입니다. 오해하기 쉬운 지점도 정리해야 합니다. 첫째, 출력 한도가 100만토큰이라고 해서 항상 그만큼 생성해야 하는 것은 아닙니다. 둘째, 한도가 크다고 답변의 정확성이 자동으로 높아지지는 않습니다. 셋째, 단가가 낮다고 총비용이 낮다고 단정할 수 없습니다. 넷째, 가격이 공개됐어도 누구나 바로 쓸 수 있다는 뜻은 아닙니다. 아르곤은 처음에 일부 사이버 보안 방어 전문가와 기업 클라우드 고객에게 제한적으로 제공됐고 공개 출시일은 발표되지 않았습니다. 구글은 최상급 모델의 강력한 성능을 안전하게 공개하려면 단계적 접근이 필요하다고 밝혔습니다. 또한 보도는 실제 사용 성능이 모델뿐 아니라 모델을 둘러싼 소프트웨어에도 좌우된다고 지적했습니다.

핵심 정리와 확인문제

출력 토큰은 모델이 생성하는 분량을 나타내는 단위이며, 일부 서비스에서는 출력 한도와 요금을 이해하는 데 쓰입니다. 한도가 크면 긴 생성을 시도할 수 있지만, 실제 소비량과 제공 조건까지 함께 봐야 합니다.

확인문제

1. 입력 토큰과 출력 토큰의 차이는 무엇인가요?
2. 아티피셜 애널리시스의 초기 평가에서 출력 토큰 단가가 더 싼 모델의 과제 비용이 역전될 수 있었던 이유는 무엇인가요?
3. 구글 측 설명에 따르면 가장 강력한 프런티어 모델이 반드시 필요하지 않은 작업은 무엇인가요?

정답과 해설

1. 정답: 입력 토큰은 사용자가 모델에 넣는 질문과 자료의 분량을, 출력 토큰은 모델이 생성해 내보내는 분량을 셉니다. 해설: 아르곤의 도입 가격이 입력 100만토큰당 2달러, 출력 100만토큰당 10달러로 나뉘어 매겨진 것이 이 구분의 예입니다.
2. 정답: 과제당 생성 분량이 많았기 때문입니다. 해설: 해당 기관의 초기 평가에서 아르곤은 과제당 평균 6만2000 출력 토큰을, GPT-6 아스트라는 2만7000토큰을 사용했고, 같은 평가의 지능 지수 과제에서 도입 할인이 끝난 뒤 아르곤 비용은 3.98달러로 제시돼 아스트라의 3.26달러를 넘었습니다. 이는 그 과제에 한정된 결과입니다.
3. 정답: 개인 에이전트의 일상 작업입니다. 해설: 툴시 도시는 이런 작업에는 가장 강력한 프런티어 모델이 필요하지 않으며 더 가볍고 저렴한 모델도 중요하다고 설명했습니다.

참고자료

• 출력 토큰 입문 참고자료
• 출력 토큰 입문 참고자료
• 출력 토큰 입문 참고자료