LeNet

LeNet은 얀 르쿤 등이 제안한 합성곱 신경망 구조이다. 일반적으로 LeNet은 LeNet-5를 지칭하며 간단한 합성곱 신경망이다. 합성곱 신경망은 인공 뉴런이 커버리지 범위 내에서 주변 세포의 일부에 반응하고 대규모 영상 처리에서 좋은 성능을 발휘할 수 있는 일종의 순방향 신경망이다.

구조

LeNet은 초기 컨볼루션 신경망의 대표주자로서 컨볼루션 계층, 풀링 계층, 완전 연결 계층 등 컨볼루션 신경망의 기본 단위를 보유하고 있어 향후 컨볼루션 신경망 개발의 기반을 마련한다. 그림과 같이 (32*32 픽셀의 입력 이미지 데이터) LeNet-5는 7개의 레이어로 구성된다. 입력 외에도 다른 모든 레이어는 매개변수를 훈련시킬 수 있다. 그림에서 Cx는 컨볼루션 레이어, Sx는 서브 샘플링 레이어, Fx는 전체 연결 레이어, x는 레이어 인덱스를 나타낸다.

레이어 C1은 5x5 크기의 6개의 컨볼루션 커널로 구성된 컨볼루션 레이어로, 특징 매핑의 크기는 28x28로 입력 이미지의 정보가 컨볼루션 커널의 경계를 벗어나는 것을 방지할 수 있다.

레이어 S2는 14x14 크기의 특징 그래프 6개를 출력하는 서브샘플링/풀링 레이어이다. 각 특징 맵의 각 셀은 C1의 해당 특징 맵에 있는 2x2 이웃에 연결된다.

레이어 C3은 16개의 5-5 컨볼루션 커널이 있는 컨볼루션 레이어이다. 처음 6개의 C3 기능 맵의 입력은 S2에 있는 3개의 기능 맵의 각 연속 하위 집합이고, 다음 6개의 기능 맵의 입력은 4개의 연속적인 하위 집합의 입력에서 나오며, 다음 3개의 기능 맵의 입력은 S2에서 나온다. 마지막으로 마지막 기능 그래프에 대한 입력은 S2의 모든 기능 그래프에서 나온다.

레이어 S4는 크기가 2x2이고 출력이 16개의 5x5 기능 그래프인 S2와 유사하다.

레이어 C5는 5x5 크기의 컨볼루션 커널 120개를 포함하는 컨볼루션 레이어이다. 각 셀은 S4의 16개 특성 그래프 모두에서 5*5 이웃에 연결된다. 여기서 S4의 특성 그래프 크기도 5x5이므로 C5의 출력 크기는 1*1이다. 따라서 S4와 C5는 완전히 연결된다. C5는 완전 연결 레이어 대신 컨벌루션 레이어로 표시된다. 왜냐하면 LeNet-5 입력이 더 커지고 구조가 변경되지 않으면 출력 크기가 1x1보다 커지기 때문이다. 즉 완전 연결 레이어가 아니다.

F6 레이어는 C5에 완전히 연결되어 84개의 특성 그래프가 출력된다.