추론

추론은 학습이 끝난 모델을 실제로 사용해 결과를 얻는 과정입니다. 사진을 분류하거나 문장을 번역하고, 챗봇이 답을 생성하는 순간에 모델이 수행하는 계산이 추론입니다.

AI 문맥의 추론은 사람이 논리적으로 결론을 내리는 행위와 완전히 같은 뜻이 아닙니다. 모델이 입력과 학습된 매개변수를 이용해 출력을 계산하는 기술적 실행 단계를 가리키는 경우가 많습니다.

추론 비용과 속도는 모델 크기, 입력 길이, 출력 길이, 하드웨어, 최적화 방식 등에 따라 달라집니다.