시벤코 정리

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색

1989년 시벤코(Cybenko)가 발표한 시벤코 정리(Cybenko's theorem)는 다음과 같다.

\varphi시그모이드 형식의 연속 함수라 하자(예, \varphi(\xi) = 1/(1+e^{-\xi})). [0,1]^n 또는 R^n의 부분집합에서 실수의 연속 함수 f\epsilon > 0가 주어지면, 다음을 만족하는 벡터 \mathbf{w_1}, \mathbf{w_2}, \dots, \mathbf{w_N}, \mathbf{\alpha}, \mathbf{\theta}와 매개 함수 G(\mathbf{\cdot},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}): [0,1]^n \rightarrow R이 존재한다.

|G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) - f(x)| < |\epsilon| for all \mathbf{x} \in [0,1]^n

이때,

G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) = \sum_{i=1}^N\alpha_j\varphi(\mathbf{w}_j^T\mathbf{x} + \theta_j)

이고, \mathbf{w}_j \in R^n, \alpha_j, \theta_j \in R, \mathbf{w} = (\mathbf{w}_1, \mathbf{w}_2, \dots \mathbf{w}_N), \mathbf{\alpha} = (\alpha_1, \alpha_2, \dots, \alpha_N), \mathbf{\theta} = (\theta_1, \theta_2, \dots, \theta_N)이다.

이 정리는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다. 단, \mathbf{w}_1, \mathbf{w}_2, \dots , \mathbf{w}_N, \mathbf{\alpha}\mathbf{\theta}를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다.

참고문헌[편집]