피셔 정보

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색

통계학에서, 피셔 정보(영어: Fisher information)는 어떤 확률변수의 관측값으로부터, 확률변수의 분포의 매개변수에 대해 유추할 수 있는 정보의 양이다.

정의[편집]

확률변수 X가 미지의 매개변수 \theta로 주어지는 분포를 따른다고 하자. 그렇다면, 관측값 X=x으로부터 주어지는, \theta에 대한 피셔 정보 \mathcal I(\theta)는 다음과 같다.

\mathcal I_x(\theta)=\operatorname E\left[\left(\frac{\partial}{\partial\theta}\ln\Pr(x|\theta)\right)^2\right]

성질[편집]

피셔 정보는 독립 확률변수에 대하여 가법적(영어: additive)이다. 즉, 동일한 분포를 가진 두 독립 확률변수 X,Y가 측정되었을 때, 다음이 성립한다.

\mathcal I_{X,Y}(\theta)=\mathcal I_X(\theta)+\mathcal I_Y(\theta)

다시 말해, 같은 실험을 n번 하면, n배의 피셔 정보를 얻는다.

참고 문헌[편집]

  • (영어) Frieden, B. Roy (2004년). 《Science from Fisher Information: A Unification》. Cambridge University Press. ISBN 0-521-00911-1
  • (영어) Hald, A. (1999년 5월). On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares. 《Statistical Science》 14 (2): 214–222. JSTOR 2676741.
  • (영어) Hald, A. (1998년). 《A History of Mathematical Statistics from 1750 to 1930》. New York: Wiley. ISBN 0-471-17912-4
  • (영어) Lehmann, E. L., G. Casella (1998년). 《Theory of Point Estimation》, 2판, Springer. ISBN 0-387-98502-6
  • (영어) Le Cam, Lucien (1986년). 《Asymptotic Methods in Statistical Decision Theory》. Springer-Verlag. ISBN 0-387-96307-3
  • (영어) Pratt, John W. (1976년 5월). F. Y. Edgeworth and R. A. Fisher on the Efficiency of Maximum Likelihood Estimation. 《The Annals of Statistics》 4 (3): 501–514. doi:10.1214/aos/1176343457. JSTOR 2958222.
  • (영어) Schervish, Mark J. (1995년). 《Theory of Statistics》. New York: Springer. ISBN 0-387-94546-6

같이 보기[편집]