델타 규칙

델타 규칙(delta rule)은 경사 하강법(Gradient Descent) 학습 방법으로, 싱글 레이어 퍼셉트론에서 인공 뉴런들의 연결강도를 갱신하는데 쓰인다. 뉴런 $j\,$와 활성함수 $g(x)\,$ 에 대하여, $j\,$의 $i\,$번째 연결강도 $w_{ji}\,$에 대한 델타 규칙은 다음과 같다.

$\Delta w_{ji}=\alpha (t_{j}-y_{j})g'(h_{j})x_{i}\,$,

여기서 $\alpha \,$는 학습 속도라고 불리는 작은값의 상수이고, $g(x)\,$는 뉴런의 활성함수, $t_{j}\,$는 원하는 목표 결과값, $y_{j}\,$는 실제 결과값, 그리고 $x_{i}\,$는 $i\,$번째 입력값이다. 이것은 다음 식을 만족한다.

$h_{j}=\sum x_{i}w_{ji}\,$ and $y_{j}=g(h_{j})\,$.

델타 규칙은 다음과 같은 선형 활성함수를 가진 간단한 형태의 퍼셉트론에서 주로 언급된다.

$\Delta w_{ji}=\alpha (t_{j}-y_{j})x_{i}\,$