확률변수의 수렴

확률변수의 수렴에는 여러 가지의 정의가 존재한다.

분포수렴

확률변수 $X_n$이 균등분포 $U(0,1)$를 따를 때, 중심극한정리에 따르면 $Z_n := \sum_i X_i/\sqrt{n}$은 정규분포로 분포수렴한다.

분포수렴(convergence in distribution), 약한 수렴(weak convergence)은 확률변수의 확률분포함수가 수렴하는 것을 의미한다. 확률변수 $X_1, X_2, \cdots$와 각각의 확률분포함수 $F_1, F_2, \cdots$에 대하여, 어떤 확률변수 $X$와 와 확률분포함수 $F$가 존재하여,

모든 실수 $x$에 대하여 $\lim_{n \to \infty} F_n(x) = F(x)$

가 성립할 경우, $\{X_n\}$은 $X$로 분포수렴한다고 정의한다. 기호로는

$\begin{align} & X_n \ \xrightarrow{d}\ X,\ \ X_n \ \xrightarrow{\mathcal{D}}\ X,\ \ X_n \ \xrightarrow{\mathcal{L}}\ X,\ \ X_n \ \xrightarrow{d}\ \mathcal{L}_X, \\ & X_n \rightsquigarrow X,\ \ X_n \Rightarrow X,\ \ \mathcal{L}(X_n)\to\mathcal{L}(X),\\ \end{align}$

등이 사용된다. 여기에서 $\mathcal{L}$은 확률분포를 가리키며, 예를 들어 $X$가 표준정규분포라면 $X_n\,\xrightarrow{d}\,\mathcal{N}(0,\,1)$와 같이 표기할 수 있다.

분포수렴은 확률변수들이 같은 확률공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포수렴의 예제로는 중심극한정리가 있다.

확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 $A \subseteq \mathbb{R}^k$가 $\Pr[X \in \partial A] = 0$일 때(continuity set),

에 대하여 $\lim_{n \to \infty} \Pr[X_n \in A] = \Pr[X \in A]$

가 성립한다면 $X_n$은 $X$로 분포수렴한다.

성질

• 레비 연속성 정리(Lévy's continuity theorem): 확률변수 $X_n$가 $X$로 분포수렴하는 것과 $X_n$의 특성함수가 $X$의 특성함수로 점마다 수렴하는 것은 동치이다.
• 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다. 가령, $f_n(x) = (1 - \cos (2 \pi n x)) {1}_{ \{ x \in (0,1) \} }$에 대응하는 확률변수는 균등분포 $U(0,1)$로 수렴하지만, $f_n$은 수렴하지 않는다.
• 확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다.
• Portmanteau theorem: 분포수렴은 다음 중 하나와 동치이다.
  • 모든 유계 연속함수 $f$에 대해 $E[f(X_n)] \to E[f(X)]$
  • 모든 유계 리프시츠 연속 함수 $f$에 대해 $E[f(X_n)] \to E[f(X)]$
  • 위로 유계이고 위에서 반연속인 함수 $f$에 대해 $\lim \sup [E f(X_n)] \le E [f(x)]$
  • 아래로 유계이고 아래에서 반연속인 함수 $f$에 대해 $\lim \inf [E f(X_n)] \ge E [f(x)]$
  • 모든 닫힌 집합 $C$에 대해 $\lim \sup \Pr[X_n \in C] \le \Pr[X \in C]$
  • 모든 열린 집합 $U$에 대해 $\lim \inf \Pr[X_n \in U] \ge \Pr[X \in U]$
  • 모든 $X$의 continuity set에 대해 $\lim \Pr[X_n \in A] = \Pr[X \in A]$

확률수렴

확률수렴(convergence in probability)은 같은 확률공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다.

확률변수 $X_1, X_2, \cdots$와 $X$에 대하여, 모든 $\epsilon>0$에 대해

$\lim_{n\to\infty}\Pr\big(|X_n-X| \geq \varepsilon\big) = 0$

가 성립할 때, $\{X_n\}$은 $X$로 확률수렴한다고 정의한다.

확률수렴의 표기는 다음과 같이 사용한다.

$X_n \ \xrightarrow{p}\ X,\ \ X_n \ \xrightarrow{P}\ X,\ \ \underset{n\to\infty}{\operatorname{plim}}\, X_n = X$

정의를 확률변수뿐만이 아니라 가분공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 가분공간 $(S, d)$가 주어졌을 때, 모든 $\varepsilon>0$에 대하여

$\Pr\big(d(X_n,X)\geq\varepsilon\big) \to 0$

가 성립하는 경우 확률수렴한다고 정의한다.

성질

• 거의 확실한 수렴은 확률수렴을 포함한다.
  • 이산확률공간에서는 확률수렴과 거의 확실한 수렴이 동치이다.
• 확률수렴은 분포수렴을 포함한다.
  • 상수로 수렴하는 경우, 분포수렴과 확률수렴은 동치이다.
• (continuous mapping 정리) 임의의 연속함수 $g$에 대해, $X_n$이 $X$로 확률수렴한다면 $g(X_n)$은 $g(X)$로 확률수렴한다.

거의 확실한 수렴

거의 확실한 수렴(almost sure convergence)은 거의 모든 점에서 점마다 수렴(pointwise convergence)하는 것을 의미한다.

확률공간 $(\Omega, \mathcal{F}, P)$ 위의 확률변수 $X_1, X_2, \cdots$와 $X$에 대하여,

$\operatorname{Pr}\!\left( \lim_{n\to\infty}\! X_n = X \right) = 1$

이 성립할 경우, $\{X_n\}$은 $X$로 거의 확실하게 수렴한다고 정의한다. 이 조건은 다음과 동치이다.

$\operatorname{Pr}\Big( \omega \in \Omega : \lim_{n \to \infty} X_n(\omega) = X(\omega) \Big) = 1$

즉, 각 $\omega$에 대하여 거의 모든 점에서 수렴한다는 의미이다.

거의 확실한 수렴은 $X_n \, \xrightarrow{\mathrm{a.s.}} \, X$로 표기한다.

성질

• 거의 확실한 수렴은 확률수렴, 분포수렴을 포함한다.

확실한 수렴

확실한 수렴(sure convergence)은 확률변수가 모든 점마다 수렴하는 것을 의미한다.

확률공간 $(\Omega, \mathcal{F}, P)$ 위의 확률변수 $X_1, X_2, \cdots$와 $X$에 대하여

$\lim_{n\rightarrow\infty}X_n(\omega)=X(\omega), \, \, \forall \omega \in \Omega$

가 성립할 경우, $\{X_n\}$은 $X$로 확실하게 수렴한다고 정의한다.