서포트 벡터 머신

위키백과 ― 우리 모두의 백과사전.

서포트 벡터 머신(support vector machine, SVM)은 통계 분류와 회귀 분석을 쓰는, 지도 학습 방법을 가리키는 말이다. 이는 커널 트릭을 써서 비선형 분류 문제에 선형 분류의 테크닉을 적용한다. 서포트 벡터 머신은, 현재 알려져 있는 많은 수법 중에서 가장 인식 성능이 뛰어난 학습 모델의 하나이다. 서포트 벡터 머신이 뛰어난 인식 성능을 발휘할 수 있는 이유는, 미학습 데이터에 대해서 높은 식별 성능을 얻기 위한 궁리가 있는 것이다. 서포트 벡터 머신은, 선형 문턱 소자를 이용하고, 2 클래스의 패턴 식별기를 구성하는 수법이다. 훈련 샘플로부터 「마진 최대화」라고 하는 기준으로 선형 문턱 소자의 파라미터를 학습한다. 1960년대에 Vapnik등이 고안 한 Optimal Separating Hyperplane를 기원으로 하고 있어, 1990년대가 되어 커넬 학습법과 조합한 비선형 분류 수법으로 확장되었다.

[편집] SVM의 개념적 특징

다음과 같은 학습데이터집합 D가 주어졌다고 생각해보자.

c_i 는 1이나 -1의 값을 갖는 변수로 가 속한 클래스를 의미하며, 는 p차원 실수벡터이다.

H3은 두 클래스의 점들을 제대로 분류하고 있지 않다. H1과 H2는 두 클래스의 점들을 분류하는데, H2가 H1보다 더 큰 마진을 갖고 분류하는 것을 확인할 수 있다.

신경망을 포함하여 많은 학습 알고리즘들은, 이러한 학습데이터가 주어졌을때 c_i = 1인 점들과 c_i = − 1인 점들을 분리하는 hyperplane을 찾아내는것이 공통의 목표인데, SVM이 다른 알고리즘과 차별화되는 특징은 단지 점들을 분리하는 hyperplane을 찾는 것으로 끝나는 것이 아니라, 점들을 분리할 수 있는 수많은 후보평면들 가운데 마진이 최대가 되는(maximum-margin) hyperplane을 찾는다는 것이다. 여기서 margin이란 hyperplane으로부터 각 점들에 이르는 거리의 최소값을 말하는데, 이 margin을 최대로 하면서 점들을 두 클래스로 분류하려면, 결국 클래스1에 속하는 점들과의 거리 중 최소값과 클래스 -1에 속하는 점들과의 거리 중 최소값이 같도록 hyperplane이 위치해야 하며, 이러한 hyperplane을 maximum-margin hyperplane이라고 한다. 결론적으로 SVM은 두 클래스에 속해있는 점들을 분류하는 수많은 hyperplane들 중, 최대한 두 클래스의 점들과 거리를 유지하는 것을 찾아내는 알고리즘이라 할 수 있다.

이 글은 컴퓨터에 관한 토막글입니다. 서로의 지식을 모아 알차게 문서를 완성해 갑시다.