선형 회귀

독립변수 1개와 종속변수 1개를 가진 선형 회귀의 예

통계학에서 선형 회귀(linear regression)는 회귀분석의 하나이다.

하나의 설명 변수에 기반한 경우에는 단순 선형 회귀 혹은 둘 이상의 복수의 설명 변수에 기반한 경우에는 다중 선형 회귀라고 한다.

선형 회귀는 여러 실사용 사례가 존재하지만, 대게 아래와 같은 두 가지 분류 중 하나로 요약할 수 있다.

만약 목표가 예측일 경우, 선형 회귀를 통해 y와 x로 이루어진 집합을 만들기 위한 예측 모델을 개발한다. 개발된 모델은 차후 y가 없는 x값이 입력되었을 때, 해당 x에 대한 y를 예측하기 위해 사용한다.
여러 x가 존재할 경우, y와 x 간의 관계를 수량화하여 어느 x가 y와 별로 관계가 없는지 알아낸다.

선형 회귀 기초 설명 [편집]

종속변수 $Y$ 및 독립변수 $X_i (i = 1, ..., p)$ 와, 임의의 항 $\varepsilon$ 과의 관계를 모델링한다. 모형은 다음 공식으로 나타낸다.

$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots +\beta_p X_p + \varepsilon$

여기서 $\beta_0$ 는 절편(상수항)이고, $\beta_i$ 는 각 독립변수의 계수이며, $p$ 는 선형 회귀로 추정되는 모수의 개수이다. 선형 회귀는 비선형 회귀과 대비된다. 이 방법이 "선형"회귀로 불리는 것은, 종속변수가 독립변수에 대해 선형 함수(1차함수)의 관계에 있을 것이라고 추측되기 때문이다. 그러나 $Y = \beta_0 + \beta_x$ 의 그래프가 직선이고 $Y$ 가 $X$ 의 선형 함수일 것이라고 생각하는 것은 잘못이다. 예를 들어 다음과 같은 "선형 회귀"도 있기 때문이다.