시그모이드 함수

시그모이드 함수는 S자형 곡선 또는 시그모이드 곡선을 갖는 수학 함수이다. 시그모이드 함수의 예시로는 첫 번째 그림에 표시된 로지스틱 함수가 있으며 다음 수식으로 정의된다.

S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}.

다른 시그모이드 함수들은 예시 하위 문단에 제시되어있다 참고하기를 바란다.

시그모이드 함수는 실수 전체를 정의역으로 가지며, 반환값은 단조증가하는 것이 일반적이지만 단조감소할 수도 있다. 시그모이드 함수의 반환값(y축)은 흔히 0에서 1까지의 범위를 가진다. 또는 -1부터 1까지의 범위를 가지기도 한다.

여러 종류의 시그모이드 함수는 인공 뉴런의 활성화 함수로 사용되었다. 통계학에서도 로지스틱 분포, 정규 분포, 스튜던트 t 분포 등의 누적 분포 함수로 시그모이드 곡선이 자주 등장한다. 시그모이드 함수는 가역 함수로, 그 역은 로짓 함수다.

정의[편집]

시그모이드 함수는 실함수로써 유계이고 미분가능하며, 모든 점에서 음이 아닌 미분값을 가지고 단 하나의 변곡점을 가진다.^[1]

일반적으로 시그모이드함수는 단조함수이며 종 모양의 1차 미분 그래프를 가진다. 시그모이드 함수는 $x\rightarrow \pm \infty$ 일 때, 한 쌍의 수평 점근선으로 수렴한다. 시그모이드 함수는 0보다 작은 값에서 볼록하고 0보다 큰 값에서 오목하다.

f(x)={\frac {1}{1+e^{-x}}}

f(x)=\tanh x={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}

f(x)=\arctan x

f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt

f(x)={\frac {x}{\sqrt {1+x^{2}}}}

연속적이고 음이 아닌 "범프 모양"함수의 적분은 S자형이므로, 많은 일반적인 확률 분포에 대한 누적 분포 함수역시 S자형이다. 한 가지 예가 정규 분포의 누적 분포 함수와 관련된 오류 함수이다.

학습 곡선과 같은 여러 자연적인 현상은 작은 값에서 시작하여 시간이 지남에 따라 가속화하였다가 절정에 근접하는 모습을 보인다. 구체적인 수학적 모델이 없을 때 시그모이드 함수가 자주 사용된다.^[3]

인공 신경망에서는 가끔 효율을 높이기 위해 매끈하지 않은 하드 시그모이드 함수들이 사용된다.

↑ Han, Jun; Morag, Claudio (1995). 〈The influence of the sigmoid function parameters on the speed of backpropagation learning〉. Mira, José; Sandoval, Francisco. 《From Natural to Artificial Neural Computation》. Lecture Notes in Computer Science 930. 195–201쪽. doi:10.1007/3-540-59497-3_175. ISBN 978-3-540-59497-0.
↑ Software to fit an S-curve to a data set [1]
↑ Gibbs, M.N. (Nov 2000). “Variational Gaussian process classifiers”. 《IEEE Transactions on Neural Networks》 11 (6): 1458–1464. doi:10.1109/72.883477. PMID 18249869.

Mitchell, Tom M. (1997). 《Machine Learning》. WCB–McGraw–Hill. ISBN 978-0-07-042807-2. . In particular see "Chapter 4: Artificial Neural Networks" (in particular pp. 96–97) where Mitchell uses the word "logistic function" and the "sigmoid function" synonymously – this function he also calls the "squashing function" – and the sigmoid (aka logistic) function is used to compress the outputs of the "neurons" in multi-layer neural nets.
Humphrys, Mark. “Continuous output, the sigmoid function”. 2015년 2월 2일에 원본 문서에서 보존된 문서. 2019년 5월 26일에 확인함. Properties of the sigmoid, including how it can shift along axes and how its domain may be transformed.