보편 근사 정리(Universal approximation theorem)는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있다는 정리이다. 모든 인공신경망과 모든 활성화 함수에 대해 증명된 것은 아니다.
1989년 조지 시벤코(Cybenko)가 발표한 시벤코 정리(Cybenko's theorem)는 다음과 같다.
를 시그모이드 함수 형식의 연속 함수라 하자(예,
).
또는
의 부분집합에서 실수의 연속 함수
와
가 주어지면,
다음을 만족하는 벡터
,
와
매개 함수
이 존재한다.
for all ![{\displaystyle \mathbf {x} \in [0,1]^{n}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/63f2b08b2bc713dd0d9fbdd428ab08aafe469600)
이때,
![{\displaystyle G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )=\sum _{i=1}^{N}\alpha _{j}\varphi (\mathbf {w} _{j}^{T}\mathbf {x} +\theta _{j})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/806d6a9c16ec37cb1eba35115fd6e78ab465b82f)
이고,
이다.
이 정리는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다.
단,
와
를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다.