최대가능도방법 (最大可能度方法, 영어: maximum likelihood method) 또는 최대우도법(最大尤度法)은 어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법이다. 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도를 최대로 만드는 모수를 선택하는 방법이다. 점추정 방식에 속한다.
어떤 모수
로 결정되는 확률변수들의 모임
이 있고,
의 확률 밀도 함수나 확률 질량 함수가
이고, 그 확률변수들에서 각각 값
을 얻었을 경우, 가능도
는 다음과 같다.
![{\displaystyle {\mathcal {L}}(\theta )=f_{\theta }(x_{1},x_{2},\cdots ,x_{n})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a4e1f531eb40a44316ce85b1a50778199073d316)
여기에서 가능도를 최대로 만드는
는
![{\displaystyle {\widehat {\theta }}={\underset {\theta }{\operatorname {argmax} }}\ {\mathcal {L}}(\theta )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f090261c0399247a6f3303b2b161869f2a6d15fa)
가 된다.
이때
이 모두 독립적이고 같은 확률분포를 가지고 있다면,
은 다음과 같이 표현이 가능하다.
![{\displaystyle {\mathcal {L}}(\theta )=\prod _{i}f_{\theta }(x_{i})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e50fc202373688dbc613797075e166fa335fa0ed)
또한, 로그함수는 단조 증가하므로,
에 로그를 씌운 값의 최댓값은 원래 값
과 같고, 이 경우 계산이 비교적 간단해진다.
![{\displaystyle {\mathcal {L}}^{*}(\theta )=\log {\mathcal {L}}(\theta )=\sum _{i}\log f_{\theta }(x_{i})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1684f8814e202ed92340b13bac4e1e53f25f5a3e)
예제: 가우스 분포[편집]
평균
와 분산
의 값을 모르는 정규분포에서
의 값을 표집하였을 때, 이 값들을 이용하여 원래 분포의 평균과 분산을 추측한다. 이 경우 구해야 하는 모수는
이다. 정규분포의 확률 밀도 함수가
![{\displaystyle f_{\mu ,\sigma }(x_{i})={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp({\frac {-(x_{i}-\mu )^{2}}{2\sigma ^{2}}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/26e9224d26894ca285e12352f9b3af362e04f9e2)
이고,
가 모두 독립이므로
![{\displaystyle {\mathcal {L}}(\theta )=\prod _{i}f_{\mu ,\sigma }(x_{i})=\prod _{i}{\frac {1}{{\sqrt {2\pi }}\sigma }}\exp({\frac {-(x_{i}-\mu )^{2}}{2\sigma ^{2}}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/26ba30da1c02ee9b8e7e39b68abe08cd5ded4b65)
양변에 로그를 씌우면
![{\displaystyle {\mathcal {L}}^{*}(\theta )=-{\frac {n}{2}}\log {2\pi }-n\log \sigma -{\frac {1}{2\sigma ^{2}}}\sum _{i}{(x_{i}-\mu )^{2}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e7bf17aab9f310a93178b7149c5f932e8366ca64)
가 된다. 식의 값을 최대화하는 모수를 찾기 위해, 양변을
로 각각 편미분하여 0이 되는 값을 찾는다.
![{\displaystyle {\frac {\partial }{\partial \mu }}{\mathcal {L}}^{*}(\theta )={\frac {1}{\sigma ^{2}}}\sum _{i}(x_{i}-\mu )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/215c557b7ea74dbdb1e32657e0693bbfccf2eae3)
![{\displaystyle ={\frac {1}{\sigma ^{2}}}(\sum _{i}x_{i}-n\mu )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/22c3022ccf54684b556a66f4d1624598a5a8de15)
따라서 이 식을 0으로 만드는 값은
으로, 즉 표집한 값들의 평균이 된다. 마찬가지 방법으로 양변을
로 편미분하면
![{\displaystyle {\frac {\partial }{\partial \sigma }}{\mathcal {L}}^{*}(\theta )=-{\frac {n}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i}(x_{i}-\mu )^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f0370b80639fd1350fc36985745e3f21bb1ea2b2)
따라서 이 식을 0으로 만드는 값은 다음과 같다.
![{\displaystyle \sigma ^{2}=\sum _{i}(x_{i}-\mu )^{2}/n}](https://wikimedia.org/api/rest_v1/media/math/render/svg/aa922dee2af103b57ad8fea75d27dfe761d9de72)
참고 문헌[편집]
- Lehmann, E. L.; Casella, G. (1998). 《Theory of Point Estimation》 (영어) 2판. Springer. ISBN 0-387-98502-6.
- Shao, Jun (1998). 《Mathematical Statistics》 (영어). New York: Springer. ISBN 0-387-98674-X.
같이 보기[편집]
외부 링크[편집]