최대가능도 방법

최대우도(maximum likelihood, ML)는 어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법으로, 어떤 모수가 주어졌을 때 원하는 값들이 나올 확률(우도 (수학))을 최대로 만드는 모수를 선택하는 방법이다. 점추정 방식에 속한다.

방법

어떤 모수 $\theta$로 결정되는 확률변수들의 모임 $D_{\theta }=(X_{1},X_{2},\cdots ,X_{n})$이 있고, $D_{\theta }$의 확률 밀도 함수나 확률 질량 함수가 $f$이고, 그 확률변수들에서 각각 값 $x_{1},x_{2},\cdots ,x_{n}$을 얻었을 경우, 우도 ${\mathcal {L}}(\theta )$는 다음과 같다.

${\mathcal {L}}(\theta )=f_{\theta }(x_{1},x_{2},\cdots ,x_{n})$

여기에서 우도를 최대로 만드는 $\theta$는

${\widehat {\theta }}={\underset {\theta }{\operatorname {argmax} }}\ {\mathcal {L}}(\theta )$

가 된다.

이때 $X_{1},X_{2},\cdots ,X_{n}$이 모두 독립적이고 같은 확률분포를 가지고 있다면, ${\mathcal {L}}$은 다음과 같이 표현이 가능하다.

${\mathcal {L}}(\theta )=\prod f_{\theta }(x_{i})$

또한, 로그함수는 단조 증가하므로, ${\mathcal {L}}$에 로그를 씌워도 최대값 ${\widehat {\theta }}$는 변하지 않고, 계산이 비교적 간단해진다.

${\mathcal {L}}^{*}(\theta )=\log {\mathcal {L}}(\theta )=\sum \log f_{\theta }(x_{i})$