익스트림 러닝 머신

익스트림 러닝 머신(Extreme learning machine, ELM)은 단일 계층 또는 여러 계층의 숨겨진 노드를 사용하여 분류, 회귀, 클러스터링, 희소 근사화, 압축 및 특징 학습을 위한 피드포워드 신경망이다. 여기서 숨겨진 노드의 매개변수(입력을 숨겨진 노드에 연결하는 가중치뿐만 아니라)가 필요하다. 이러한 숨겨진 노드는 무작위로 할당되고 업데이트되지 않을 수 있으며(즉, 무작위 투영이지만 비선형 변환이 있음) 변경되지 않고 조상으로부터 상속될 수 있다. 대부분의 경우 숨겨진 노드의 출력 가중치는 일반적으로 단일 단계로 학습되며 이는 본질적으로 선형 모델 학습에 해당한다.

광빈황(Guang-Bin Huang)은 이러한 모델에 "익스트림 러닝 머신"(ELM)라는 이름을 부여했다. 이 아이디어는 1958년에 단일 레이어 퍼셉트론을 발표했을 뿐만 아니라 3개 레이어(입력 레이어, 학습되지 않은 무작위 가중치가 있는 숨겨진 레이어, 학습 출력 레이어)로 구성된 다중 레이어 퍼셉트론을 도입한 프랑크 로젠블랫로 거슬러 올라간다.

일부 연구자에 따르면 이러한 모델은 우수한 일반화 성능을 생성하고 역전파를 사용하여 훈련된 네트워크보다 수천 배 빠르게 학습할 수 있다. 문헌에서는 이러한 모델이 분류 및 회귀 애플리케이션 모두에서 서포트 벡터 머신보다 뛰어난 성능을 발휘할 수 있음을 보여준다.