지식 증류

지식 증류는 성능이 높은 큰 모델을 ‘교사’, 더 작은 모델을 ‘학생’으로 두고 학생이 교사의 예측을 따라 하도록 학습하는 방법입니다.

학생 모델은 일반적으로 교사 모델보다 빠르고 적은 메모리와 에너지를 사용합니다. 대신 교사의 성능을 완전히 유지하지 못할 수 있으며, 어떤 데이터와 목표로 증류했는지에 따라 능력이 달라집니다.

모델 발표에서 ‘증류 모델’이라고 하면 단순 압축 파일이 아니라 별도의 학습 과정을 거친 작은 모델이라는 뜻입니다. 파인튜닝이나 양자화와는 목적과 방법이 다릅니다.