추정량

통계학에서 추정량(推定量, 영어: estimator)은 표집값들로부터 모수의 값을 추정하는 방법이다.

정의

확률변수 $X\colon P\to {\mathcal {X}}$가 모수 $\theta \in \Theta$를 가지는 분포를 따른다고 하자. 그렇다면 모수 $\theta$의 추정량 ${\hat {\theta }}\colon {\mathcal {X}}\to \Theta$은 임의의 가측 함수이다.

모수 공간 $\Theta$와 표본 공간 ${\mathcal {X}}$ 둘 다 유클리드 공간의 부분공간으로 간주하자.

오차와 편향

표본 $x\in {\mathcal {X}}$에 대한, 모수 $\theta$의 추정량 ${\hat {\theta }}$의 오차(영어: error)는 다음과 같다.

${\mathcal {E}}_{\hat {\theta }}(x)={\hat {\theta }}(x)-\theta$

모수 $\theta$의 추정량 ${\hat {\theta }}$의 편향(영어: bias)은 그 오차의 기댓값이다.

$B({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)-\theta )$

모수 $\theta$의 불편추정량(영어: unbiased estimator) ${\hat {\theta }}$은 편향이 0인 추정량이다. 즉, 다음 성질을 만족시키는 추정량이다.

$\operatorname {E} ({\hat {\theta }}(X))=\theta$

추정량 ${\hat {\theta }}$의 누적평균제곱오차(영어: mean squared error)는 오차의 제곱들의 기댓값이다.

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}]$

분산과 효율

표본 $x\in {\mathcal {X}}$에 대한, 모수 $\theta$의 추정량 ${\hat {\theta }}$의 표본편차(영어: sampling deviation)는 다음과 같다.

$d(x)={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }}(X))={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }})$

모수 $\theta$의 추정량 ${\hat {\theta }}$의 분산(영어: variance)은 표본편차의 제곱의 기댓값이다.

$\operatorname {var} ({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)^{2})-\operatorname {E} ({\hat {\theta }}(X))^{2}$

모수 $\theta$의 추정량 ${\hat {\theta }}$의 효율(영어: efficiency)은 다음과 같다.

$e({\hat {\theta }})={\frac {1}{{\mathcal {I}}_{X}(\theta )\operatorname {var} ({\hat {\theta }})}}$

여기서 ${\mathcal {I}}_{X}(\theta )$는 피셔 정보이다. 크라메르-라오 하한에 따라, 추정량의 효율은 항상 1 이하이다.

$e({\hat {\theta }})\leq 1$

효율이 1인 추정량을 최대효율추정량(영어: most efficient estimator)이라고 한다.

일치성과 점근적 정규성

모수 $\theta$의 약한 일치추정량(영어: weakly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열 $\{{\hat {\theta }}_{n}\}$이다. 모든 $\epsilon >0$에 대하여,

$\lim _{n\to \infty }\Pr(|{\hat {\theta }}_{n}(X)-\theta |<\epsilon )=1$

모수 $\theta$의 강한 일치추정량(영어: strongly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열 $\{{\hat {\theta }}_{n}\}$이다.

거의 확실하게, $n\to \infty$이면 ${\hat {\theta }}_{n}\to \theta$

모수 $\theta$의 점근적 정규 추정량(영어: asymptotically normal estimator)은 다음 성질을 만족시키는 추정량들의 열 $\{{\hat {\theta }}_{n}\}$이다. 어떤 $V\in \mathbb {R} ^{+}$에 대하여,

${\sqrt {n}}({\hat {\theta }}_{n}-\theta ){\xrightarrow {\text{D}}}{\mathcal {N}}(0,V)$

여기서 ${\xrightarrow {\text{D}}}$는 확률변수의 분포수렴이며, ${\mathcal {N}}(0,V)$는 평균이 0이고 분산이 $V$인 정규분포이다.

참고 문헌

• Lehmann, E. L.; Casella, G. (1998). 《Theory of Point Estimation》 (영어) 2판. Springer. ISBN 0-387-98502-6.  CS1 관리 - 추가 문구 (링크)
• Shao, Jun (1998). 《Mathematical Statistics》 (영어). New York: Springer. ISBN 0-387-98674-X. 

같이 보기

• 최대가능도방법
• 베이즈 추정량
• 크라메르-라오 하한

외부 링크

• Bol'shev, L.N. (2001). “Statistical estimator”. 《Encyclopedia of Mathematics》 (영어). Springer-Verlag. ISBN 978-1-55608-010-4.