지수족

지수족(exponential family)은 지수함수와 연관되어 있는 특정 확률분포 종류를 가리키는 말로, 정규 분포나 감마 분포, 다항 분포 등 일반적으로 널리 사용되는 분포들이 다수 포함되어 있다.

정의

일반적으로, 확률분포가 다음의 형태로 나타나는 경우 지수족이라고 부른다.

$f(x;\theta )=h(x)\ \exp[\ \eta (\theta )\cdot T(x)\ -\ A(\theta )\ ]$

여기에서 $\theta$는 함수의 매개변수이며, $h(x)$, $T(x)$, $\eta (\theta )$, $A(\theta )$는 알려져 있는 함수이다. 여기에서 $T(x)$는 충분통계량의 역할을 한다.

위의 형태는 다음과 같은 형태로 나타내기도 한다.

$f(x;\theta )=h(x)\ g(\theta )\exp[\ \eta (\theta )\cdot T(x)\ ]$

$f(x;\theta )=\exp[\ \eta (\theta )\cdot T(x)-A(\theta )+B(x)\ ]$

만약 분포가 여러 개의 매개변수를 받는 경우, 다음의 형태로 확장할 수 있다. 매개변수 ${\boldsymbol {\theta }}=(\theta _{1},\theta _{2},\ldots ,\theta _{d})^{T}$에 대해, 대응하는 지수족은 다음과 같다.

$f(x;{\boldsymbol {\theta }})=h(x)\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(x)-A({\boldsymbol {\theta }})\right)$

예제

지수족에 속하는 분포에는 다음의 예가 있다.

• 정규 분포
• 지수 분포
• 감마 분포
• 카이제곱 분포
• 베타 분포
• 디리클레 분포
• 와이블 분포
• 베르누이 분포, 이항 분포
• 다항 분포
• 푸아송 분포
• 기하 분포

하지만, 일반적으로 지수족의 혼합 모델(mixture model)은 지수족에 속하지 않는다.

어떤 분포가 지수족에 속하는지를 판단할 때에는 특정 하나의 분포가 아니라 모든 매개변수에 대한 분포 모양에 대해 판단해야 한다. 또한 매개변수의 설정에 따라서는 같은 이름이지만 지수족에 속하거나 속하지 않는 경우도 존재한다. 예를 들어, 이항 분포는 시행 횟수가 고정된 경우 지수족에 속하지만, 시행 횟수가 매개변수로 들어가는 경우 지수족에 속하지 않는다.

성질

Pitman–Koopman–Darmois 정리에 따르면, 지수족 분포에는 표본의 숫자와 무관하게 고정된 차원을 가지는 충분통계량이 존재한다. 즉, 서로 독립이고 같은 분포를 따르는(i.i.d.) 표본 $X_{1},\cdots ,X_{n}$가 있을 때, 충분통계량 $T(X_{1},\cdots ,X_{n})$이 존재하여 이 함수값의 차원이 $n$과 관계없는 고정된 값을 가진다.

외부 링크

• 지수족과 완전통계량
• exponential family