시벤코 정리

1989년 시벤코(Cybenko)가 발표한 시벤코 정리(Cybenko's theorem)는 다음과 같다.

$\varphi$를 시그모이드 형식의 연속 함수라 하자(예, $\varphi(\xi) = 1/(1+e^{-\xi})$). $[0,1]^n$ 또는 $R^n$의 부분집합에서 실수의 연속 함수 $f$와 $\epsilon > 0$가 주어지면, 다음을 만족하는 벡터 $\mathbf{w_1}, \mathbf{w_2}, \dots, \mathbf{w_N}, \mathbf{\alpha}$, $\mathbf{\theta}$와 매개 함수 $G(\mathbf{\cdot},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}): [0,1]^n \rightarrow R$이 존재한다.

$|G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) - f(x)| < |\epsilon|$ for all $\mathbf{x} \in [0,1]^n$

이때,

$G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) = \sum_{i=1}^N\alpha_j\varphi(\mathbf{w}_j^T\mathbf{x} + \theta_j)$

이고, $\mathbf{w}_j \in R^n, \alpha_j, \theta_j \in R, \mathbf{w} = (\mathbf{w}_1, \mathbf{w}_2, \dots \mathbf{w}_N), \mathbf{\alpha} = (\alpha_1, \alpha_2, \dots, \alpha_N),$ $\mathbf{\theta} = (\theta_1, \theta_2, \dots, \theta_N)$이다.

이 정리는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다. 단, $\mathbf{w}_1, \mathbf{w}_2, \dots , \mathbf{w}_N, \mathbf{\alpha}$와 $\mathbf{\theta}$를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다.

참고문헌

• M. Hassoun, "Fundamentals of Artificial Neural Networks," MIT Press, p.48, 1995
• G. Cybenko "Approximation by Superpositions of a Sigmoidal Function", 1989