지식 증류

지식 증류(知識蒸溜, knowledge distillation)는 지식을 증류한다는 뜻으로 서로 다른 기계학습 모델의 지식을 전하는 기법이다.

기계 학습에서 지식 증류 또는 모델 증류는 큰 모델에서 작은 모델로 지식을 전달하는 프로세스이다. 대규모 모델(예: 매우 심층적인 신경망 또는 여러 모델의 앙상블)은 소규모 모델보다 지식 용량이 높지만 이 용량이 완전히 활용되지 않을 수 있다. 모델이 지식 용량을 거의 활용하지 않더라도 모델을 평가하는 데 계산 비용이 많이 들 수 있다. 지식 증류는 유효성 손실 없이 큰 모델의 지식을 작은 모델로 이전한다. 소형 모델은 평가 비용이 저렴하므로 덜 강력한 하드웨어(예: 모바일 장치)에 배포할 수 있다.

지식 증류는 객체 감지, 음향 모델 및 자연어 처리와 같은 기계 학습의 여러 응용 분야에서 성공적으로 사용되었다. 최근에는 그리드가 아닌 데이터에 적용 가능한 그래프 신경망에도 도입되었다.