활성화 함수

활성화 함수(活性化函數, 영어: activation function)는 인공 신경망에서 입력을 변환하는 함수이다. ReLU, 시그모이드 함수, 쌍곡탄젠트 함수 등이 대표적인 활성화 함수이다.

인공 신경망에서 노드의 활성화 함수는 노드의 개별 입력과 가중치를 기반으로 노드의 출력을 계산하는 함수이다. 활성화 함수가 비선형인 경우 몇 개의 노드만 사용하여 사소한 문제를 해결할 수 있다.^[1] 최신 활성화 함수에는 ReLU의 한 버전인 2018년 BERT 모델에 사용된 GELU,^[2] 힌튼 등이 개발한 2012년 음성 인식 모델에 사용된 로지스틱(시그모이드) 함수,^[3] 2012년 AlexNet 컴퓨터에 사용된 ReLU 비전 모델과^[4]^[5] 2015 ResNet 모델이 포함된다.

개요

시그모이드 함수

$S(x)={\frac {1}{1+e^{-(ax+b)}}}={\frac {e^{ax+b}}{e^{ax+b}+1}}.$

같이 보기

함수

각주

↑ Hinkelmann, Knut. “Neural Networks, p. 7” (PDF). 《University of Applied Sciences Northwestern Switzerland》. 2018년 10월 6일에 원본 문서 (PDF)에서 보존된 문서. 2018년 10월 6일에 확인함.
↑ Hendrycks, Dan; Gimpel, Kevin (2016). “Gaussian Error Linear Units (GELUs)”. arXiv:1606.08415 [cs.LG].
↑ Hinton, Geoffrey; Deng, Li; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick; Sainath, Tara; Kingsbury, Brian (2012). “Deep Neural Networks for Acoustic Modeling in Speech Recognition”. 《IEEE Signal Processing Magazine》 29 (6): 82–97. doi:10.1109/MSP.2012.2205597. S2CID 206485943.
↑ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (2017년 5월 24일). “ImageNet classification with deep convolutional neural networks”. 《Communications of the ACM》 (영어) 60 (6): 84–90. doi:10.1145/3065386. ISSN 0001-0782.
↑ King Abdulaziz University; Al-johania, Norah; Elrefaei, Lamiaa; Benha University (2019년 6월 30일). “Dorsal Hand Vein Recognition by Convolutional Neural Networks: Feature Learning and Transfer Learning Approaches” (PDF). 《International Journal of Intelligent Engineering and Systems》 12 (3): 178–191. doi:10.22266/ijies2019.0630.19.

이 글은 컴퓨터 과학에 관한 토막글입니다. 여러분의 지식으로 알차게 문서를 완성해 갑시다.

[1] Hinkelmann, Knut. “Neural Networks, p. 7” (PDF). 《University of Applied Sciences Northwestern Switzerland》. 2018년 10월 6일에 원본 문서 (PDF)에서 보존된 문서. 2018년 10월 6일에 확인함.

[ReferenceA-2] Hendrycks, Dan; Gimpel, Kevin (2016). “Gaussian Error Linear Units (GELUs)”. arXiv:1606.08415 [cs.LG].

[3] Hinton, Geoffrey; Deng, Li; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick; Sainath, Tara; Kingsbury, Brian (2012). “Deep Neural Networks for Acoustic Modeling in Speech Recognition”. 《IEEE Signal Processing Magazine》 29 (6): 82–97. doi:10.1109/MSP.2012.2205597. S2CID 206485943.

[4] Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (2017년 5월 24일). “ImageNet classification with deep convolutional neural networks”. 《Communications of the ACM》 (영어) 60 (6): 84–90. doi:10.1145/3065386. ISSN 0001-0782.

[5] King Abdulaziz University; Al-johania, Norah; Elrefaei, Lamiaa; Benha University (2019년 6월 30일). “Dorsal Hand Vein Recognition by Convolutional Neural Networks: Feature Learning and Transfer Learning Approaches” (PDF). 《International Journal of Intelligent Engineering and Systems》 12 (3): 178–191. doi:10.22266/ijies2019.0630.19.

[1]

[2]

[3]

[4]

[5]