토큰

토큰은 AI가 텍스트를 처리하는 기본 단위입니다. 사람은 문장을 단어와 뜻으로 읽지만, 모델은 문장을 더 작은 조각으로 나눠 계산합니다. 그 조각이 토큰입니다.

토큰 수는 비용과 성능에 영향을 줍니다. 입력 문서가 길수록 더 많은 토큰을 쓰고, 답변이 길수록 출력 토큰도 늘어납니다. 모델마다 한 번에 처리할 수 있는 최대 토큰 수가 다릅니다.

뉴스 자동화에서는 토큰 관리가 중요합니다. 원문을 너무 길게 넣으면 비용이 늘고, 너무 적게 넣으면 핵심 맥락이 빠질 수 있습니다. 그래서 먼저 사실을 추출하고, 필요한 근거만 정리해 글쓰기 단계로 넘기는 방식이 안정적입니다.