양자화

양자화는 모델이 사용하는 숫자를 더 낮은 정밀도로 표현하는 최적화 방법입니다. 예를 들어 32비트 값을 8비트나 4비트 수준으로 줄여 모델 크기와 메모리 사용량, 추론 비용을 낮출 수 있습니다.

덕분에 큰 모델을 소비자용 기기나 제한된 하드웨어에서 실행하기 쉬워질 수 있습니다. 학습을 마친 뒤 적용하는 방식과 양자화를 고려해 학습하는 방식 등이 있습니다.

정밀도를 낮추면 일부 작업에서 성능이 떨어질 수 있으므로, ‘몇 비트 모델’이라는 수치와 함께 원본 모델 대비 품질 평가를 확인해야 합니다.