딜루션 (신경망)
딜루션(dilution)과 드롭아웃(dropout→DropConnect라고도 함)은 훈련용 데이터에 대한 복잡한 공동 적응을 방지하여 인공 신경망의 과적합을 줄이기 위한 정규화 기술이다. 이는 신경망을 사용하여 모델 평균을 수행하는 효율적인 방법이다. 딜루션은 가중치가 얇아지는 것을 의미하고, 드롭아웃은 신경망 훈련 과정에서 단위(숨겨지거나 표시되는 단위 모두)를 무작위로 "제거"하거나 생략하는 것을 의미한다. 둘 다 동일한 유형의 정규화를 트리거한다.
구글의 특허[편집]
모델을 개선하기 위해 신경망의 뉴런 사이의 연결을 무작위로 제거하는 사례가 있었지만 이 기술은 제프리 힌턴 등에 의해 드롭아웃이라는 이름으로 처음 소개되었다. 구글은 현재 드롭아웃 기술에 대한 특허를 보유하고 있다.