토큰

토큰은 언어모델이 텍스트를 읽고 예측할 때 사용하는 기본 단위입니다. 토큰화 방식에 따라 한 단어가 하나의 토큰이 되거나 여러 조각으로 나뉠 수 있으며, 공백이나 문장부호도 토큰 처리에 영향을 줄 수 있습니다.

따라서 ‘한 단어는 한 토큰’이라고 계산하면 틀릴 수 있습니다. 같은 문장도 모델이 사용하는 토크나이저와 언어에 따라 토큰 수가 달라집니다.

입력과 출력 토큰 수는 처리 가능한 글의 길이, 응답 시간, API 비용과 연결됩니다. 모델이 한 번에 처리할 수 있는 최대 범위를 비교할 때도 단어 수가 아니라 토큰 수를 주로 사용합니다.