쿨백-라이블러 발산

쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 상대 엔트로피(relative entropy), 정보 획득량(information gain), 인포메이션 다이버전스(information divergence)라고도 한다. 정보이론에서는 상대 엔트로피, 기계학습의 결정 트리에서는 정보 획득량을 주로 사용한다.

쿨백-라이블러 발산은 비대칭으로, 두 값의 위치를 바꾸면 함수값도 달라진다. 따라서 이 함수는 거리 함수는 아니다.

정의

두 확률변수에 대한 확률분포 $P,Q$가 있을 때, 두 분포의 쿨백-라이블러 발산은 다음과 같이 정의된다.

• 이산확률변수의 경우: $D_{\mathrm {KL} }(P\|Q)=\sum _{i}P(i)\log {\frac {P(i)}{Q(i)}}$
• 연속확률변수의 경우: $D_{\mathrm {KL} }(P\|Q)=\int _{-\infty }^{\infty }p(x)\log {\frac {p(x)}{q(x)}}dx$, 여기에서 $p,q$는 두 확률분포의 확률 밀도 함수를 의미한다.

또는, 측도를 사용하여 더 일반적으로 표현할 수도 있다. 두 확률측도 $P,Q$가 있고 $Q$는 $P$에 대해 절대수렴할 경우, 두 분포의 쿨백-라이블러 발산은 다음과 같이 정의된다.

$D_{\mathrm {KL} }(P\|Q)=-\int _{X}\log {\frac {dQ}{dP}}dP$

여기에서 ${\frac {dQ}{dP}}$는 라돈-니코딤 도함수(Radon–Nikodym derivative)이다.

의미

쿨백-라이블러 발산은 어떠한 확률분포 $P$가 있을 때, 샘플링 과정에서 그 분포를 근사적으로 표현하는 확률분포 $Q$를 $P$ 대신 사용할 경우 엔트로피 변화를 의미한다. 따라서, 원래의 분포가 가지는 엔트로피 $H(P)$와 $P$ 대신 $Q$를 사용할 때의 교차 엔트로피(cross entropy) $H(P,Q)$의 차이를 구하면,

$D_{\mathrm {KL} }(P\|Q)=H(P,Q)-H(P)$

$=(-\sum _{x}p(x)\log q(x))-(-\sum _{x}p(x)\log p(x))$

로, 원래 정의했던 식과 같은 결과가 나온다.