파인 튜닝
파인 튜닝(fine tuning)은 딥 러닝에서 사전 훈련된 모델의 가중치가 새로운 데이터에 대해 훈련되는 전이학습에 대한 접근 방식이다. 파인 튜닝은 전체 신경망에서 수행될 수도 있고 해당 레이어의 하위 집합에서만 수행될 수도 있다. 이 경우 파인 튜닝되지 않은 레이어는 "동결"된다(역전파 단계에서 업데이트되지 않음). 모델은 원래 모델보다 훨씬 적은 매개변수로 구성된 "어댑터"로 보강될 수도 있으며, 어댑터의 가중치를 조정하고 모델의 나머지 가중치는 고정된 상태로 두어 매개변수 효율적인 방식으로 파인 튜닝할 수도 있다.
합성곱 신경망과 같은 일부 아키텍처의 경우 이전 레이어(입력 레이어에 가장 가까운 레이어)를 동결 상태로 유지하는 것이 일반적이다. 이는 낮은 수준의 특징을 포착하는 반면, 나중 레이어는 종종 더 관련될 수 있는 높은 수준의 특징을 식별하기 때문이다. 모델이 훈련되는 작업이다.
대규모 및 일반 말뭉치에 대해 사전 학습된 모델은 일반적으로 모델의 매개변수를 시작점으로 재사용하고 처음부터 학습된 작업별 레이어를 추가하여 파인 튜닝된다. 전체 모델을 파인 튜닝하는 것도 일반적이며 종종 더 나은 결과를 얻을 수 있지만 계산 비용이 더 많이 든다.
파인 튜닝은 일반적으로 지도 학습을 통해 수행되지만 약한 지도 학습을 사용하여 모델을 파인 튜닝하는 기술도 있다. 파인 튜닝은 인간 피드백 기반 목표의 강화 학습과 결합되어 ChatGPT(GPT-3의 파인 튜닝 버전) 및 스패로(Sparrow)와 같은 언어 모델을 생성할 수 있다.