귀납적 편향
귀납적 편향(Inductive bias) 또는 학습 편향(learning bias)은 학습 알고리즘에서 학습자가 아직 접하지 않은 주어진 입력의 출력을 예측하기 위해 사용하는 일련의 가정이다. 귀납적 편향은 알고리즘이 다른 패턴 대신 하나의 패턴을 학습하도록 만드는 모든 것이다(예: 선형 회귀 모델의 연속 함수 대신 결정 트리의 단계 함수).
기계 학습에서는 특정 목표 출력을 예측하는 방법을 학습할 수 있는 알고리즘을 구축하는 것을 목표로 한다. 이를 달성하기 위해 학습 알고리즘에는 입력 값과 출력 값의 의도된 관계를 보여주는 몇 가지 훈련 예제가 제공된다. 그런 다음 학습자는 훈련 중에 표시되지 않은 예에 대해서도 올바른 출력을 근사화해야 한다. 추가적인 가정 없이는 보이지 않는 상황이 임의의 출력 값을 가질 수 있으므로 이 문제는 해결될 수 없다. 목표 함수의 성격에 대한 필요한 가정은 유도 바이어스라는 문구에 포함된다.
귀납적 편향의 고전적인 예는 오컴의 면도날로, 목표 함수에 대한 가장 단순하고 일관된 가설이 실제로 가장 좋다고 가정한다. 여기서 일관성은 학습자의 가설이 알고리즘에 제공된 모든 예에 대해 올바른 출력을 생성한다는 것을 의미한다.
귀납적 편향의 보다 공식적인 정의에 대한 접근 방식은 수학적 논리를 기반으로 한다. 여기서 귀납적 편향은 훈련 데이터와 함께 학습자가 생성한 가설을 논리적으로 수반하는 논리식이다. 그러나 이러한 엄격한 형식주의는 귀납적 편향이 대략적인 설명(예: 인공 신경망의 경우)으로만 제공되거나 전혀 제공되지 않는 많은 실제 사례에서 실패한다.