컨텍스트 윈도

컨텍스트 윈도는 언어모델이 한 번의 처리에서 참고할 수 있는 정보의 범위입니다. 일반적으로 사용자의 입력, 시스템 지시, 대화 기록, 첨부 문서와 모델이 생성할 출력이 이 범위 안에서 토큰을 차지합니다.

컨텍스트 윈도가 크면 긴 문서나 대화를 더 많이 넣을 수 있습니다. 하지만 최대 길이가 크다는 사실이 모든 위치의 정보를 똑같이 정확하게 활용한다는 뜻은 아닙니다.

제품별 수치를 비교할 때는 입력과 출력에 각각 적용되는 제한, 실제 사용 가능한 범위, 긴 문맥에서의 성능을 함께 확인해야 합니다.