그라디언트 부스팅

그라디언트 부스팅(Gradient boosting)은 기능 공간에서의 부스팅을 기반으로 하는 기계 학습 기술로, 목표는 기존 부스팅에 사용되는 일반적인 잔차가 아닌 유사 잔차이다. 이는 약한 예측 모델의 앙상블 형태로 예측 모델을 제공한다. 즉, 일반적으로 단순한 결정 트리인 데이터에 대해 거의 가정하지 않는 모델이다. 결정 트리가 약한 학습기인 경우 결과 알고리즘을 그래디언트 부스팅 트리라고 한다. 일반적으로 랜덤 포레스트보다 성능이 뛰어난다. 그래디언트 부스팅 트리 모델은 다른 부스팅 방법과 마찬가지로 단계적 방식으로 구축되지만 임의의 미분 가능한 손실 함수를 최적화하여 다른 방법을 일반화한다.

역사

그래디언트 부스팅의 아이디어는 부스팅이 적절한 비용 함수에 대한 최적화 알고리즘으로 해석될 수 있다는 레오 브레이먼(Leo Breiman)의 관찰에서 시작되었다. 명시적 회귀 그래디언트 부스팅 알고리즘은 이후 제롬 H. 프리드먼(Jerome H. Friedman)에 의해 류 메이슨(Llew Mason), 조나탄 백스터(Jonathan Baxter), 피터 바틀렛(Peter Bartlett) 및 마쿠스 프린(Marcus Frean)의 보다 일반적인 기능적 그래디언트 부스팅 관점과 동시에 개발되었다. 후자의 두 논문에서는 부스팅 알고리즘을 반복적 기능적 경사 하강 알고리즘으로 보는 관점을 소개했다. 즉, 음의 기울기 방향을 가리키는 함수(약한 가설)를 반복적으로 선택하여 함수 공간에 대한 비용 함수를 최적화하는 알고리즘이다. 부스팅에 대한 이러한 기능적 그라데이션 보기는 회귀 및 분류를 넘어 기계 학습 및 통계의 다양한 영역에서 부스팅 알고리즘의 개발로 이어졌다.

같이 보기

• 에이다부스트
• 랜덤 포레스트
• XGBoost
• 결정 트리 학습법

외부 링크

• How to explain gradient boosting
• Gradient Boosted Regression Trees
• LightGBM