피셔 정보

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색

통계학에서, 피셔 정보(영어: Fisher information)는 어떤 확률변수의 관측값으로부터, 확률변수의 분포의 매개변수에 대해 유추할 수 있는 정보의 양이다.

정의[편집]

확률변수 X가 미지의 매개변수 \theta로 주어지는 분포를 따른다고 하자. 그렇다면, 관측값 X=x으로부터 주어지는, \theta에 대한 피셔 정보 \mathcal I(\theta)는 다음과 같다.

\mathcal I_x(\theta)=\operatorname E\left[\left(\frac{\partial}{\partial\theta}\ln\Pr(x|\theta)\right)^2\right]

성질[편집]

피셔 정보는 독립 확률변수에 대하여 가법적(영어: additive)이다. 즉, 동일한 분포를 가진 두 독립 확률변수 X,Y가 측정되었을 때, 다음이 성립한다.

\mathcal I_{X,Y}(\theta)=\mathcal I_X(\theta)+\mathcal I_Y(\theta)

다시 말해, 같은 실험을 n번 하면, n배의 피셔 정보를 얻는다.

참고 문헌[편집]

  • Frieden, B. Roy (2004). 《Science from Fisher Information: A Unification》 (영어). Cambridge University Press. ISBN 0-521-00911-1. 
  • Hald, A. (1999년 5월). “On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares” (영어). 《Statistical Science》 14 (2): 214–222. JSTOR 2676741. 
  • Hald, A. (1998). 《A History of Mathematical Statistics from 1750 to 1930》 (영어). New York: Wiley. ISBN 0-471-17912-4. 
  • Lehmann, E. L.; G. Casella (1998). 《Theory of Point Estimation》 (영어) 2판. Springer. ISBN 0-387-98502-6. 
  • Le Cam, Lucien (1986). 《Asymptotic Methods in Statistical Decision Theory》 (영어). Springer-Verlag. ISBN 0-387-96307-3. 
  • Pratt, John W. (1976년 5월). “F. Y. Edgeworth and R. A. Fisher on the Efficiency of Maximum Likelihood Estimation” (영어). 《The Annals of Statistics》 4 (3): 501–514. doi:10.1214/aos/1176343457. JSTOR 2958222. 
  • Schervish, Mark J. (1995). 《Theory of Statistics》 (영어). New York: Springer. ISBN 0-387-94546-6. 

같이 보기[편집]