중심극한정리

중심극한정리(Central Limit Theorem, CLT)는 동일한 확률분포를 가진 독립 확률 변수 n개의 평균값은 n이 적당히 크다면 정규분포에 가까워진다는 정리이다. 수학자 피에르시몽 라플라스는 1774년에서 1786년 사이의 일련의 논문에서 이러한 정리의 발견과 증명을 시도하였다. 확률과 통계학에서 큰 의미가 있으며 실용적인 면에서도 품질관리, 식스 시그마에서 많이 이용된다.

[편집] 정리

[편집] 기본 정리

가장 많이 쓰이는 정리는 같은 분포를 가지는 독립 확률 변수에 대해 다룬다. Lindeberg–Lévy 중심극한정리라고도 부른다. 이 정리는 다음과 같다. 같은 확률 분포를 가지는 독립 확률 변수 $X_1, X_2, \cdots$ 의 기대값 μ와 표준편차σ가 유한한 값을 갖는다면, 평균 $S_n = (X_1 + \cdots + X_n)/n$ 의 분포는 기대값 μ, 표준편차 $\sigma/ \sqrt n$ 인 정규분포 N(μ,σ²/n)에 수렴한다. 즉,

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

가 성립한다.

[편집] 라푸노프 CLT

알렉산더 라푸노프의 정리는 기본 정리에서 같은 분포를 가지는 조건을 다음과 같이 완화하였다. 만약 각 확률변수 $X_i$ 가 유한한 평균과 분산 $\mu_i, \sigma^2_i$ 를 가지며 $s^2_i = \sum_{j \le i} \sigma^2_i$ 일 때, 어떤 양의 실수 $\delta$ 에 대하여

$\lim_{n\to\infty} \frac{1}{s_{n}^{2+\delta}} \sum_{i=1}^{n} \operatorname{E}\big[\,|X_{i} - \mu_{i}|^{2+\delta}\,\big] = 0$

가 성립할 때, $\sum_i (X_i - \mu_i)/s_i$ 의 분포는 n이 커질수록 표준정규분포에 수렴한다. 즉,

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

이다.

[편집] 린드버그 CLT

린드버그 CLT는 라푸노프 CLT의 조건을 조금 더 완화한 것으로, 린드버그 조건이라는 다음의 조건을 가진다.

$\lim_{n \to \infty} \frac{1}{s_n^2}\sum_{i = 1}^{n} \operatorname{E}\big[ (X_i - \mu_i)^2 \cdot \mathbf{1}_{\{ | X_i - \mu_i | > \varepsilon s_n \}} \big] = 0$

여기에서 $\mathbf{1}_{\{\cdots\}}$ 는 표시함수이다.

[편집] 중심극한정리: 이항분포의 예

사건이 일어날 확률을 $p$ , 일어나지 않을 확률을 $q$ 라 할 때, $N$ 번의 시행중에서 사건이 $n$ 번 일어날 확률은 다음과 같다.

$\operatorname{P}(n) = {N \choose n} {p^n}{q^{(N-n)}}$

이 확률분포가 결국 $N$ 이 상당히 커지면, 이 확률분포는 거의 연속적이라고 볼 수 있다.

연속적인 분포에서의 $\scriptstyle {n}={\bar{n}}$ 에서 연속적인 확률밀도함수가 극대값을 가지게 된다면, 다음의 식을 만족하게 된다.

$\left({\frac{\partial \operatorname{P}}{\partial n}}\right)_{{n}={\bar{n}}} = 0$

로그 함수는 단조증가 함수이므로, 다음의 식도 만족하게 된다.

$\left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_{{n}={\bar{n}}} = 0$

충분히 작은 ${\eta}$ 에 대하여 $\scriptstyle {n} \equiv {\bar{n}} + {\eta}$ 라 정의하고 $\scriptstyle {\bar{n}}$ 근처에서 ${\eta}$ 에 대하여 테일러 전개하면 다음과 같다.

$\ln{\operatorname{P}(n)} = \ln{\operatorname{P}(\bar{n})} + {B_1}{\eta} + \frac{1}{2} {B_2}{\eta}^2 + \frac{1}{6} {B_3}{\eta}^3 +\dots$

여기서 이미 $\scriptstyle {B_1}=\left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_{{n}={\bar{n}}}$ 이므로, 0이 된다는 걸 알 수 있다. 또한 ${\eta}$ 가 충분히 작으므로, 다음과 같이 ${\eta}$ 에 대한 2차식으로 근사할 수 있다.

$\ln{\operatorname{P}(n)} \approx \ln{\operatorname{P}(\bar{n})} + \frac{1}{2} {B_2}{\eta}^2$

양변에 로그를 풀어서 원래 모양으로 만들어주면 다음과 같다.

$\operatorname{P}(n) = \operatorname{P}(\bar{n})e^{\frac{1}{2} {B_2}{(n-\bar{n})}^2}$

여기서, $\scriptstyle \left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_{{n}={\bar{n}}} = 0$ 이므로 이것을 바탕으로 스털링 공식을 이용하여 $\scriptstyle {\bar{n}}$ 을 구해보면,