델타 규칙

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색

델타 규칙은 최급하강법(Gradient Descent) 학습 방법으로, 싱글 레이어 퍼셉트론에서 인공 뉴런들의 연결강도를 갱신하는데 쓰인다. 뉴런 j \,와 활성함수 g(x) \, 에 대하여, j \,i \,번째 연결강도 w_{ji} \,에 대한 델타 법칙은 다음과 같다.

\Delta w_{ji}=\alpha(t_j-y_j) g'(h_j) x_i  \,,

여기서 \alpha \,학습 속도 라고 불리는 작은값의 상수이고, g(x) \,는 뉴런의 활성함수, t_j \,는 원하는 목표 결과값, y_j \,는 실제 결과값, 그리고 x_i \,i \,번째 입력값이다. 이것은 다음 식을 만족한다.

h_j=\sum x_i w_{ji} \, and y_j=g(h_j) \,.

델타 법칙은 다음과 같은 선형 활성함수를 가진 간단한 형태의 퍼셉트론에서 주로 언급된다.

\Delta w_{ji}=\alpha(t_j-y_j) x_i  \,