최소제곱법

붉은 점들을 기반으로 푸른 선의 2차 방정식 근사해를 구한다.

최소제곱법(method of least squares)은 어떤 계의 해방정식을 근사적으로 구하는 방법으로, 근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합이 최소가 되는 해를 구하는 방법이다.

이 방법은 값을 정확하게 측정할 수 없는 경우에 유용하게 사용될 수 있으며, 특히 그 계의 방정식이 어떤 형태인지를 알고 있을 때 방정식의 상수 값들을 추정하는 데에 사용된다.

문제 정의

어떤 계에서 $n$개의 입력값과 그에 대응하는 출력값 $(x_i, y_i)$($1 \le i \le n$)가 있고, 이 계의 방정식이 변수 $x$와 $\boldsymbol \beta = (\beta_0, \beta_1, \cdots, \beta_k)$인 상수 $\boldsymbol \beta$에 대한 식 $f(x, \boldsymbol \beta)$으로 주어질 때,

$\sum_i (y_i - f(x_i, \boldsymbol \beta))^2$

의 값을 최소로 만드는 $\boldsymbol \beta$를 구하는 것이 문제의 목표이다.

바깥 고리

• 최소 제곱법의 발견