최대가능도방법

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색

최대가능도방법 (最大可能度方法, 영어: maximum likelihood method) 또는 최대우도법(最大尤度法)은 어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법이다. 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도를 최대로 만드는 모수를 선택하는 방법이다. 점추정 방식에 속한다.

방법[편집]

어떤 모수 \theta로 결정되는 확률변수들의 모임 D_\theta = (X_1, X_2, \cdots, X_n)이 있고, D_\theta확률 밀도 함수확률 질량 함수f이고, 그 확률변수들에서 각각 값 x_1, x_2, \cdots, x_n을 얻었을 경우, 가능도 \mathcal{L}(\theta)는 다음과 같다.

\mathcal{L}(\theta) = f_{\theta}(x_1, x_2, \cdots, x_n)

여기에서 가능도를 최대로 만드는 \theta

\widehat{\theta} = \underset{\theta}{\operatorname{argmax}}\ \mathcal{L}(\theta)

가 된다.

이때 X_1, X_2, \cdots, X_n이 모두 독립적이고 같은 확률분포를 가지고 있다면, \mathcal{L}은 다음과 같이 표현이 가능하다.

\mathcal{L}(\theta) = \prod_i f_{\theta}(x_i)

또한, 로그함수단조 증가하므로, \mathcal{L}에 로그를 씌운 값의 최대값은 원래 값 \widehat{\theta}과 같고, 이 경우 계산이 비교적 간단해진다.

\mathcal{L}^*(\theta) = \log \mathcal{L}(\theta) = \sum_i \log f_{\theta}(x_i)

예제: 가우스 분포[편집]

평균 \mu분산 \sigma^2의 값을 모르는 정규분포에서 x_1, x_2, \cdots, x_n의 값을 표집하였을 때, 이 값들을 이용하여 원래 분포의 평균과 분산을 추측한다. 이 경우 구해야 하는 모수는 \theta = (\mu, \sigma)이다. 정규분포확률 밀도 함수

f_{\mu, \sigma}(x_i) = \frac{1}{\sqrt{2 \pi} \sigma} \exp(\frac{-(x_i - \mu)^2}{2 \sigma^2})

이고, x_1, x_2, \cdots, x_n가 모두 독립이므로

\mathcal{L}(\theta) = \prod_i f_{\mu, \sigma}(x_i) = \prod_i \frac{1}{\sqrt{2 \pi} \sigma} \exp(\frac{-(x_i - \mu)^2}{2 \sigma^2})

양변에 로그를 씌우면

\mathcal{L}^*(\theta) = -\frac{n}{2} \log{2\pi} - n \log \sigma - \frac{1}{2 \sigma^2} \sum_i {(x_i - \mu)^2}

가 된다. 식의 값을 최대화하는 모수를 찾기 위해, 양변을 \mu로 각각 편미분하여 0이 되는 값을 찾는다.

\frac{\partial}{\partial \mu} \mathcal{L}^*(\theta) = \frac{1}{\sigma^2} \sum_i (x_i - \mu)
= \frac{1}{\sigma^2} (\sum_i x_i - n \mu)

따라서 이 식을 0으로 만드는 값은 \widehat \mu = (\sum_i x_i) / n으로, 즉 표집한 값들의 평균이 된다. 마찬가지 방법으로 양변을 \sigma로 편미분하면

\frac{\partial}{\partial \sigma} \mathcal{L}^*(\theta) = -\frac{n}{\sigma} + \frac{1}{\sigma^3} \sum_i (x_i - \mu)^2

따라서 이 식을 0으로 만드는 값은 다음과 같다.

\sigma^2 = \sum_i (x_i - \mu)^2 / n

참고 문헌[편집]

  • (영어) Lehmann, E. L., Casella, G. (1998년). 《Theory of Point Estimation》, 2판, Springer. ISBN 0-387-98502-6
  • (영어) Shao, Jun (1998). 《Mathematical Statistics》. Springer. ISBN 0-387-98674-X

같이 보기[편집]

바깥 고리[편집]