우도 (통계)

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색

우도(likelihood,尤度), 가능도(可能度)는 확률 분포 함수에서 확률 변수가 특정한 값으로 고정되어 있을 때, 매개변수에 대한 확률값의 함수이다. 즉, 우도는 각 매개변수에 대해 특정 값을 얻을 확률을 가지는 함수이다.

예를 들어, 어떤 동전을 던져서 나오는 결과를 확률 변수 X라고 한다면, 이 변수는 앞(h)과 뒤(t)의 두 값을 가질 수 있다. 동전을 던져 앞이 나올 확률이 P_\theta(X=h) = \theta로 주어지는 경우, 동전을 세 번 던져 앞, 뒤, 앞이 나왔을 때의 \theta의 우도는

\theta \cdot (1-\theta) \cdot \theta = \theta^2 (1-\theta)

가 된다.

우도는 각 매개변수 값에 대해 확률 변수의 확률값이며, 확률변수가 주어졌을 때 매개변수가 어떤 값을 가지는지에 대한 확률이 아니다. 우도 분포는 확률 분포가 아니며, 일반적으로 분포를 적분한 값이 1이 되지 않는다.

정의[편집]

확률 변수 X가 매개변수 \theta에 대한 확률분포 P_\theta(X)를 가지며, X가 특정한 값 x를 가지는 것이 알려진 경우, \theta의 우도 함수는 다음과 같이 정의된다.

\mathcal{L}(\theta|x) = P_\theta(X=x)

이때 표기법을 \mathcal{L}(\theta|x) 대신 \mathcal{L}(x|\theta)로 사용하는 경우도 있다.

로그 우도[편집]

로그 우도(log likelihood)는 우도 함수에 로그 함수를 씌운 것으로, 확률 변수가 독립 확률 변수로 나누어지는 경우와 같이 확률 분포 함수가 곱셈 꼴로 나올 때 미분 계산의 편의성을 위해 사용한다.

만약 확률 변수 XX = (X_1, X_2, \cdots, X_n)의 꼴로 주어져 있으며, X_i이 확률 분포로 P_{i, \theta}(X_i)를 가진다면 우도 함수는

\mathcal{L}(\theta|x) = P_\theta(X=x) = P_{1,\theta}(X_1=x_1) P_{2,\theta}(X_2=x_2) \cdots P_{n,\theta}(X_n=x_n)

가 된다. 여기에 로그를 씌우게 되면,

\log \mathcal{L}(\theta|x) = \log P_{1,\theta}(X_1=x_1) + \log P_{2,\theta}(X_2=x_2) + \cdots + \log P_{n,\theta}(X_n=x_n) = \sum_i \log P_{i, \theta}(X_i = x_i)

의 형태를 띄게 된다.

로그 함수는 단조 증가하기 때문에, 우도 함수에서 극값을 가지는 위치와 로그 우도에서 극값을 가지는 위치는 같다. 따라서 우도 함수를 미분하여 극값을 구하는 대신, 로그 우도를 미분하여도 같은 결과를 얻을 수 있다.