톱 p 샘플링

톱 p 샘플링(Top-p sampling) 또는 핵 샘플링(nucleus sampling)은 아리 홀츠먼(Ari Holtzman)이 2019년에 제안한 자기회귀 언어 모델 디코딩을 위한 기술이다. 핵 샘플링이 도입되기 전에는 최대 우도 디코딩과 빔 탐색이 텍스트 생성을 위한 표준 기술이었지만 둘 다 이러한 디코딩 전략은 반복적이고 부자연스러운 텍스트를 생성하기 쉽다. 톱 p 샘플링은 임계값 p를 설정한 다음 누적 확률이 p보다 작은 가장 가능성이 높은 토큰 집합으로 샘플링을 제한하여 이를 방지한다.

톱 k 샘플링은 누적 확률에 관계없이 k-최고 확률 토큰에서 샘플을 취한다는 점을 제외하면 유사하다. 톱 p 샘플링의 장점은 출력 분포의 모양과 특정 작업 및 데이터 세트에 따라 달라질 수 있는 k의 최적 값을 선택하는 어려운 문제를 피할 수 있다는 것이다.

톱 p 샘플링 기술은 ChatGPT와 같은 널리 사용되는 대규모 언어 모델 애플리케이션에 사용되며 허깅 페이스 및 코히어(Cohere)와 같은 언어 모델링 프레임워크에서 구현된다.