확률변수의 수렴에는 여러 가지의 정의가 존재한다.
확률변수
이 균등분포
를 따를 때, 중심극한정리에 따르면
은 정규분포로 분포수렴한다.
분포 수렴(convergence in distribution), 약한 수렴(weak convergence)은 확률변수의 누적 분포 함수가 수렴하는 것을 의미한다. 확률변수
와 각각의 누적 분포 함수
에 대하여, 어떤 확률변수
와 와 확률 분포 함수
가 존재하여,
- 모든 실수
에 대하여 ![{\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/732e5a10862bfd7c3d470e681f53f4cd11070a15)
가 성립할 경우,
은
로 분포수렴한다고 정의한다. 기호로는
![{\displaystyle {\begin{aligned}&X_{n}\ {\xrightarrow {d}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {D}}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {L}}}\ X,\ \ X_{n}\ {\xrightarrow {d}}\ {\mathcal {L}}_{X},\\&X_{n}\rightsquigarrow X,\ \ X_{n}\Rightarrow X,\ \ {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/264d1885b5e04a1094c7f6882d4f5708c7cd52e9)
등이 사용된다. 여기에서
은 확률 분포를 가리키며, 예를 들어
가 표준정규분포라면
와 같이 표기할 수 있다.
분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 예제로는 중심극한정리가 있다.
확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합
가
일 때(continuity set),
- 에 대하여
![{\displaystyle \lim _{n\to \infty }\Pr[X_{n}\in A]=\Pr[X\in A]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/03254baa583b6b71b131bb4ab461adee6bf7aab0)
가 성립한다면
은
로 분포수렴한다.
- 레비 연속성 정리(Lévy's continuity theorem): 확률변수
가
로 분포수렴하는 것과
의 특성함수가
의 특성함수로 점마다 수렴하는 것은 동치이다.
- 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다. 가령,
에 대응하는 확률변수는 균등분포
로 수렴하지만,
은 수렴하지 않는다.
- 확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다.
- Portmanteau theorem: 분포수렴은 다음 중 하나와 동치이다.
- 모든 유계 연속 함수
에 대해 ![{\displaystyle E[f(X_{n})]\to E[f(X)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5cbfaaa1884035651fa841e606b13f1aea409aa3)
- 모든 유계 립시츠 연속 함수
에 대해 ![{\displaystyle E[f(X_{n})]\to E[f(X)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5cbfaaa1884035651fa841e606b13f1aea409aa3)
- 위로 유계이고 위에서 반연속인 함수
에 대해 ![{\displaystyle \lim \sup[Ef(X_{n})]\leq E[f(x)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bcbc837cc10cb3db5cb244834afd2ff077d88734)
- 아래로 유계이고 아래에서 반연속인 함수
에 대해 ![{\displaystyle \lim \inf[Ef(X_{n})]\geq E[f(x)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1dce34c1c69011638f54eda01258e5d17aa0249b)
- 모든 닫힌 집합
에 대해 ![{\displaystyle \lim \sup \Pr[X_{n}\in C]\leq \Pr[X\in C]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f4b9ebb2941cb6cee0113d55008fe78322d2a064)
- 모든 열린 집합
에 대해 ![{\displaystyle \lim \inf \Pr[X_{n}\in U]\geq \Pr[X\in U]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/968785a60e5cfc20ee895c47028dc963347723a4)
- 모든
의 continuity set에 대해 ![{\displaystyle \lim \Pr[X_{n}\in A]=\Pr[X\in A]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9d36590745648a586aa149754ab8f4a893b16194)
확률 수렴(convergence in probability)은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다.
확률변수
와
에 대하여, 모든
에 대해
![{\displaystyle \lim _{n\to \infty }\Pr {\big (}|X_{n}-X|\geq \varepsilon {\big )}=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4593cb603ab62e7a87213c43399ccf0e4d9e56e8)
가 성립할 때,
은
로 확률 수렴한다고 정의한다.
확률 수렴의 표기는 다음과 같다.
![{\displaystyle X_{n}\ {\xrightarrow {p}}\ X,\ \ X_{n}\ {\xrightarrow {P}}\ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X}](https://wikimedia.org/api/rest_v1/media/math/render/svg/27b293a73b54dc1530c1432d105e305d1dbcd81e)
정의를 확률변수뿐만이 아니라 분해 가능 공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 분해 가능 공간
가 주어졌을 때, 모든
에 대하여
![{\displaystyle \Pr {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5543e943797027c85efd0baa979381a9640551df)
가 성립하는 경우 확률 수렴한다고 정의한다.
- 거의 확실한 수렴은 확률 수렴을 포함한다.
- 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다.
- 확률 수렴은 분포 수렴을 포함한다.
- 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다.
- (연속 사상 정리 영어: continuous mapping theorem) 임의의 연속 함수
에 대해,
이
로 확률 수렴한다면
은
로 확률 수렴한다.
거의 확실한 수렴(almost sure convergence)은 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다.
확률 공간
위의 확률변수
와
에 대하여,
![{\displaystyle \operatorname {Pr} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6986b060a0973ba2b36e05f1c2fffe6d2c2eebfd)
이 성립할 경우,
은
로 거의 확실하게 수렴한다고 정의한다. 이 조건은 다음과 동치이다.
![{\displaystyle \operatorname {Pr} {\Big (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Big )}=1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f046900d198184d34d0c16eeec9a8edc3ae63a14)
즉, 각
에 대하여 거의 어디서나 수렴한다는 의미이다.
거의 확실한 수렴은
로 표기한다.
확실한 수렴(sure convergence)은 확률변수가 모든 점마다 수렴하는 것을 의미한다.
확률공간
위의 확률변수
와
에 대하여
![{\displaystyle \lim _{n\rightarrow \infty }X_{n}(\omega )=X(\omega ),\,\,\forall \omega \in \Omega }](https://wikimedia.org/api/rest_v1/media/math/render/svg/f65b4bc5350bbe26cb4b4669903a67f3ee5a0b6a)
가 성립할 경우,
은
로 확실하게 수렴한다고 정의한다.