가능도

위키백과, 우리 모두의 백과사전.
(우도 (통계)에서 넘어옴)
이동: 둘러보기, 검색

통계학에서, 가능도(可能度, 영어: likelihood) 또는 우도(尤度)는 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값이다. 구체적으로, 주어진 표집값에 대한 모수의 가능도는 이 모수를 따르는 분포가 주어진 관측값에 대하여 부여하는 확률이다. 가능도 함수는 확률 분포가 아니며, 합하여 1이 되지 않을 수 있다.

정의[편집]

확률변수 X가 모수 \theta에 대한 확률분포 P_\theta(X)를 가지며, X가 특정한 값 x으로 표집되었을 경우, \theta가능도 함수 \mathcal L(\theta|x)는 다음과 같이 정의된다.

\mathcal{L}(\theta|x) =\Pr(X=x|\theta)

이때 표기법을 \mathcal{L}(\theta|x) 대신 \mathcal{L}(x|\theta)로 사용하는 경우도 있다. 로그 가능도(영어: log likelihood)는 가능도 함수의 로그이며, 확률 변수가 독립 확률 변수로 나누어지는 경우와 같이 확률 분포 함수가 곱셈 꼴로 나올 때 미분 계산의 편의성을 위해 사용한다. 로그 함수는 단조 증가하기 때문에, 가능도 함수에서 극값을 가지는 위치와 로그 가능도에서 극값을 가지는 위치는 같다. 따라서 가능도 함수를 미분하여 극값을 구하는 대신, 로그 가능도를 미분하여도 같은 결과를 얻을 수 있다.

만약 확률 변수 XX = (X_1, X_2, \cdots, X_n)의 꼴로 주어져 있으며, X_i이 확률 분포로 P_{i, \theta}(X_i)를 가진다면 가능도 함수와 로그 가능도 함수는 다음과 같다.

\mathcal{L}(\theta|x) = P_\theta(X=x) = P_{1,\theta}(X_1=x_1) P_{2,\theta}(X_2=x_2) \cdots P_{n,\theta}(X_n=x_n)
\log \mathcal{L}(\theta|x) = \log P_{1,\theta}(X_1=x_1) + \log P_{2,\theta}(X_2=x_2) + \cdots + \log P_{n,\theta}(X_n=x_n) = \sum_i \log P_{i, \theta}(X_i = x_i)

[편집]

예를 들어, 어떤 동전을 던져서 나오는 결과를 확률 변수 X라고 한다면, 이 변수는 앞(\uparrow)과 뒤(\downarrow)의 두 값을 가질 수 있다. 동전을 던져 앞이 나올 확률이

\Pr_\theta(X=\uparrow) = \theta

로 주어지는 경우, 동전을 세 번 던져 앞, 뒤, 앞이 나왔을 때의 \theta의 가능도는

\mathcal L(\theta|\uparrow\downarrow\uparrow)=\theta \cdot (1-\theta) \cdot \theta = \theta^2 (1-\theta)

가 된다. 가능도 함수를 적분하면

\int_0^1\mathcal L(\theta|\uparrow\downarrow\uparrow)\,d\theta=\int_0^1\theta^2(1-\theta)\,d\theta=1/12

이므로, 가능도는 확률 분포가 아님을 알 수 있다.