최대가능도 방법

최대우도 (maximum likelihood estimation, MLE)는 어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법으로, 어떤 모수가 주어졌을 때 원하는 값들이 나올 확률 (우도 (수학))을 최대로 만드는 모수를 선택하는 방법이다. 점추정 방식에 속한다.

방법

어떤 모수 $\theta$로 결정되는 확률변수들의 모임 $D_{\theta }=(X_{1},X_{2},\cdots ,X_{n})$이 있고, $D_{\theta }$의 확률 밀도 함수나 확률 질량 함수가 $f$이고, 그 확률변수들에서 각각 값 $x_{1},x_{2},\cdots ,x_{n}$을 얻었을 경우, 우도 ${\mathcal {L}}(\theta )$는 다음과 같다.

${\mathcal {L}}(\theta )=f_{\theta }(x_{1},x_{2},\cdots ,x_{n})$

여기에서 우도를 최대로 만드는 $\theta$는

${\widehat {\theta }}={\underset {\theta }{\operatorname {argmax} }}\ {\mathcal {L}}(\theta )$

가 된다.

이때 $X_{1},X_{2},\cdots ,X_{n}$이 모두 독립적이고 같은 확률분포를 가지고 있다면, ${\mathcal {L}}$은 다음과 같이 표현이 가능하다.

${\mathcal {L}}(\theta )=\prod _{i}f_{\theta }(x_{i})$

또한, 로그함수는 단조 증가하므로, ${\mathcal {L}}$에 로그를 씌운 값의 최대값은 원래 값 ${\widehat {\theta }}$과 같고, 이 경우 계산이 비교적 간단해진다.

${\mathcal {L}}^{*}(\theta )=\log {\mathcal {L}}(\theta )=\sum _{i}\log f_{\theta }(x_{i})$

예제: 가우스 분포

평균 $\mu$와 분산 $\sigma ^{2}$의 값을 모르는 가우스 분포에서 $x_{1},x_{2},\cdots ,x_{n}$의 값을 표집하였을 때, 이 값들을 이용하여 원래 분포의 평균과 분산을 추측한다. 이 경우 구해야 하는 모수는 $\theta =(\mu ,\sigma )$이다. 가우스 분포의 확률밀도함수가

$f_{\mu ,\sigma }(x_{i})={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp({\frac {-(x_{i}-\mu )^{2}}{2\sigma ^{2}}})$

이고, $x_{1},x_{2},\cdots ,x_{n}$가 모두 독립이므로

${\mathcal {L}}(\theta )=\prod _{i}f_{\mu ,\sigma }(x_{i})=\prod _{i}{\frac {1}{{\sqrt {2\pi }}\sigma }}\exp({\frac {-(x_{i}-\mu )^{2}}{2\sigma ^{2}}})$

양변에 로그를 띄우면

${\mathcal {L}}^{*}(\theta )=-{\frac {n}{2}}\log {2\pi }-n\log \sigma -{\frac {1}{2\sigma ^{2}}}\sum _{i}{(x_{i}-\mu )^{2}}$

가 된다. 식의 값을 최대로 만드는 모수를 찾기 위해, 양변을 $\mu$로 각각 편미분하여 0이 되는 값을 찾는다.

${\frac {\partial }{\partial \mu }}{\mathcal {L}}^{*}(\theta )={\frac {1}{\sigma ^{2}}}\sum _{i}(x_{i}-\mu )$

$={\frac {1}{\sigma ^{2}}}(\sum _{i}x_{i}-n\mu )$

따라서 이 식을 0으로 만드는 값은 ${\widehat {\mu }}=(\sum _{i}x_{i})/n$으로, 즉 표집한 값들의 평균이 된다. 마찬가지 방법으로 양변을 $\sigma$로 편미분하면

${\frac {\partial }{\partial \sigma }}{\mathcal {L}}^{*}(\theta )=-{\frac {n}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i}(x_{i}-\mu )^{2}$

따라서 이 식을 0으로 만드는 값은 $\sigma ^{2}=\sum _{i}(x_{i}-\mu )^{2}/n$이 된다.