중심극한정리

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색
매우 불규칙한 분포도 충분히 많은 수를 더하면 중심극한정리에 따라 결국 정규분포로 수렴한다.

확률론통계학에서, 중심극한정리(中心極限定理, 영어: central limit theorem, 약자 CLT)는 동일한 확률분포를 가진 독립 확률 변수 n개의 평균값은 n이 적당히 크다면 정규분포가까워진다는 정리이다. 수학자 피에르시몽 라플라스는 1774년에서 1786년 사이의 일련의 논문에서 이러한 정리의 발견과 증명을 시도하였다. 확률통계학에서 큰 의미가 있으며 실용적인 면에서도 품질관리, 식스 시그마에서 많이 이용된다.

정리[편집]

중심극한정리는 주어진 조건에 따라서 여러 가지가 있다.

린데베르그-레비 중심극한정리[편집]

가장 많이 쓰이는 중심극한정리는 린데베르그–레비 중심극한정리(영어: Lindeberg–Lévy central limit theorem)이며, 같은 분포를 가지는 독립 확률 변수에 대해 다룬다. 이 정리는 다음과 같다. 만약 확률 변수 X_1, X_2, \cdots들이

  1. 서로 독립적이고,
  2. 같은 확률 분포를 가지고,
  3. 그 확률 분포의 기댓값 μ표준편차σ가 유한하다면,

평균 S_n = (X_1 + \cdots + X_n)/n의 분포는 기댓값 μ, 표준편차 \sigma/ \sqrt n정규분포 N(μ,σ2/n)에 분포수렴한다. 즉,

\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)

가 성립한다.

랴푸노프 중심극한정리[편집]

알렉산드르 랴푸노프가 증명한 랴푸노프 중심극한정리(영어: Lyapunov central limit theorem)는 기본 정리에서 같은 분포를 가지는 조건을 다음과 같이 완화하였다. 만약 각 확률변수 X_i

  1. 서로 독립적이고,
  2. 각각 유한한 평균과 분산 \mu_i, \sigma^2_i를 가지며,
  3. (랴푸노프 조건) s^2_i = \sum_{j \le i} \sigma^2_i를 정의하면 어떤 양의 실수 \delta에 대하여
\lim_{n\to\infty} \frac{1}{s_{n}^{2+\delta}} \sum_{i=1}^{n} \operatorname{E}\big[\,|X_{i} - \mu_{i}|^{2+\delta}\,\big] = 0
가 성립할 때,

\sum_i (X_i - \mu_i)/s_i의 분포는 n이 커질수록 표준정규분포분포수렴한다.

\frac1{s_n}\sum_{i=1}^{n} (X_i - \mu_i) \xrightarrow{\mathrm d}\mathcal N(0,1)

린데베르그 중심극한정리[편집]

린데베르그 중심극한정리(영어: Lindeberg central limit theorem)는 랴푸노프 중심극한정리의 조건을 조금 더 완화한 것이다. 이 경우, 만약 각 확률변수 X_i

  1. 서로 독립적이고,
  2. 각각 유한한 평균과 분산 \mu_i, \sigma^2_i를 가지며,
  3. (린데베르그 조건) 다음 공식이 성립할 때,
\lim_{n \to \infty} \frac{1}{s_n^2}\sum_{i = 1}^{n} \operatorname{E}\big[ (X_i - \mu_i)^2 \cdot \mathbf{1}_{\{ | X_i - \mu_i | > \varepsilon s_n \}} \big] = 0

랴푸노프 중심극한정리와 같은 결론을 내릴 수 있다. 여기에서 \mathbf{1}_{\{\cdots\}}지시함수이다.

마팅게일 중심극한정리[편집]

마팅게일의 경우, 각 X_i들이 독립 변수가 아니므로 위 정리들은 성립하지 않는다. 다만, 이 경우에도 다음과 같은 마팅게일 중심극한정리(영어: martingale central limit theorem)가 성립한다. 만약 각 확률변수 X_i

  1. 마팅게일을 이루며,
  2. n\to\infty인 극한에서 다음이 성립하고,
 \frac1n \sum_{k=1}^n \operatorname{E} ((X_i-X_{i-1})^2 | X_1,\dots,X_{i-1})\to1
  1. 모든 \epsilon>0에 대하여 n\to\infty인 극한에서 다음이 성립할 경우,
     \frac1n \sum_{i=1}^n \operatorname{E} \left( (X_i-X_{i-1})^2; |X_i-X_{i-1}| > \varepsilon \sqrt n \right) \to 0

X_n/\sqrt nn\to\infty인 극한에서 표준정규분포분포수렴한다.

X_n/\sqrt n\xrightarrow{\mathrm d}\mathcal N(0,1)

여기서 \operatorname{E}(A|B)는 조건부 기댓값, \operatorname{E}(A;B)는 제한 기댓값(영어: restricted expectation)이다.

이항분포의 예[편집]

사건이 일어날 확률을 p , 일어나지 않을 확률을 q라 할 때, N번의 시행중에서 사건이 n번 일어날 확률은 다음과 같다.

\operatorname{P}(n) = {N \choose n} {p^n}{q^{(N-n)}}

이 확률분포가 결국 N이 상당히 커지면, 이 확률분포는 거의 연속적이라고 볼 수 있다.

연속적인 분포에서의 \scriptstyle {n}={\bar{n}}에서 연속적인 확률밀도함수가 극대값을 가지게 된다면, 다음의 식을 만족하게 된다.

\left({\frac{\partial \operatorname{P}}{\partial n}}\right)_{{n}={\bar{n}}} = 0

로그 함수는 단조증가 함수이므로, 다음의 식도 만족하게 된다.

\left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_{{n}={\bar{n}}} = 0

충분히 작은 {\eta}에 대하여 \scriptstyle  {n} \equiv {\bar{n}} + {\eta}라 정의하고 \scriptstyle {\bar{n}}근처에서 {\eta}에 대하여 테일러 전개하면 다음과 같다.

\ln{\operatorname{P}(n)} = \ln{\operatorname{P}(\bar{n})} + {B_1}{\eta} + \frac{1}{2} {B_2}{\eta}^2 + \frac{1}{6} {B_3}{\eta}^3 +\dots

여기서 이미 \scriptstyle {B_1}=\left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_{{n}={\bar{n}}}이므로, 0이 된다는 걸 알 수 있다. 또한 {\eta}가 충분히 작으므로, 다음과 같이 {\eta}에 대한 2차식으로 근사할 수 있다.

\ln{\operatorname{P}(n)} \approx \ln{\operatorname{P}(\bar{n})} + \frac{1}{2} {B_2}{\eta}^2

양변에 로그를 풀어서 원래 모양으로 만들어주면 다음과 같다.

\operatorname{P}(n) = \operatorname{P}(\bar{n})e^{\frac{1}{2} {B_2}{(n-\bar{n})}^2}

여기서, \scriptstyle \left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_{{n}={\bar{n}}} = 0 이므로 이것을 바탕으로 스털링 근사를 이용하여 \scriptstyle {\bar{n}} 을 구해보면,

{\frac{\partial \ln{\operatorname{P}}}{\partial n}} = -\ln{n} + \ln{(N-n)} + \ln{p} -\ln{q}
\frac{(N-{\bar{n}})}{\bar{n}} \frac{p}{q} = 1
 \therefore {\bar{n}}=Np=m

\bar{n}은 평균이 됨을 알 수 있다.

이제 {B}_{2}를 구해보면, 다음을 얻는다.

\frac{\partial ^2 \ln{\operatorname{P}}}{\partial ^2 n} = - \frac{1}{n} - \frac{1}{N-n}
{B}_{2} = - \frac{1}{Np} - \frac{1}{Nq} = -\frac{p+q}{Npq} = -\frac{1}{Npq} = -\frac{1}{\sigma ^2}

그렇다면 확률밀도함수는 다음과 같이 쓸 수 있다.

\operatorname{P}(n)= {A} {e^{-\frac{(n-m)^2}{2\sigma ^2}}}

이 확률밀도 함수를 표준화시키면 최종적인 확률밀도 함수를 얻을 수 있다.

\operatorname{P}(n)= {\frac{1}{\sqrt{2\pi} \sigma}} {e^{-\frac{(n-m)^2}{2\sigma ^2}}}

따라서 {\mathrm{B}(N,p)}N이 충분히 커질 때(보통 Np>5, Nq>5일 때), {\mathrm{Z}(Np,Npq)}로 근사할 수 있다.

참고 문헌[편집]

  • (영어) Bauer, Heinz (2001년). 《Measure and integration theory》. Berlin: De Gruyter. ISBN 3110167190
  • (영어) Billingsley, Patrick (1995년). 《Probability and measure》, Third, John Wiley & sons. ISBN 0-471-00710-2
  • (영어) Durrett, Richard (2004). 《Probability: theory and examples》, 4th, Cambridge University Press. ISBN 0521765390
  • (영어) Bradley, Richard (2007년). 《Introduction to strong mixing conditions》. Heber City, Utah, U.S.: Kendrick Press. ISBN 0-9740427-9-X
  • (영어) Bradley, Richard (2005년). Basic properties of strong mixing conditions. A survey and some open questions. 《Probability Surveys》 2: 107–144. arXiv:math/0511078v1. doi:10.1214/154957805100000104.

바깥 고리[편집]