잔차 제곱합

통계에서 잔차제곱합 (SSR) 또는 오차제곱합 (SSE) 이라고도 알려진 잔차 제곱합(RSS)은 잔차의 제곱합(실제 경험적 데이터 값과 예측된 값의 차이)이다. 이는 선형회귀와 같은 추정모델과 데이터간의 불일치를 측정한다. 작은 RSS는 모델이 데이터에 꼭 맞는다는 것을 의미한다. 이는 매개변수 선택 및 모델 선택시 최적기준으로 사용된다.

일반적으로, 총제곱합(TSS) = 회귀제곱합(SSE) + 잔차제곱합(SSR)이다. 다변량 최소제곱법(OLS) 사례에 대한 증명은, 일반적인 최소제곱법 모델에서의 파티셔닝을 참고.

하나의 독립변수

독립변수가 하나인 모델에서 RSS는 다음과 같다.^[1]

\operatorname {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}

여기서 y_i 는 i 번째 예측할 변수 값이고, x_i 는 i 번째 독립변수의 값이며, $f(x_{i})$ 는 y_i 의 예측값이다( ${\hat {y_{i}}}$ 라도도 함). 표준 선형 단순 회귀모델에서는 $y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,$ , 여기서 $\alpha$ 와 $\beta$ 는 계수이고, y와 x는 각각 종속변수와 독립변수이고, ε는 오차이다. 잔차의 제곱합은 ${\widehat {\varepsilon \,}}_{i}$ 의 제곱합이며, 다음과 같다.

\operatorname {RSS} =\sum _{i=1}^{n}({\widehat {\varepsilon \,}}_{i})^{2}=\sum _{i=1}^{n}(y_{i}-({\widehat {\alpha \,}}+{\widehat {\beta \,}}x_{i}))^{2}

여기서 ${\widehat {\alpha \,}}$ 는 상수 $\alpha$ 의 추정 값이고, ${\widehat {\beta \,}}$ 는 기울기 계수 $\beta$ 의 추정 값이다.

OLS 잔차제곱합에 대한 행렬 표현식

$n$ 개의 관측값과 $k$ 개의 설명자가 있는 일반 회귀 모델(첫 번째 설명자는 계수가 회귀 절편인 상수 단위 벡터임)은 다음과 같다.

y=X\beta +e

여기서 $y$ 는 종속 변수 관측값의 n × 1 벡터이고, n × k 행렬 $X$ 의 각 열은 k 설명자 중 하나에 대한 관측값 벡터이다. $\beta$ 는 실제 계수의 k × 1 벡터이고, $e$ 는 실제 기본오차의 n × 1 벡터이다. 최소제곱법 추정값 $\beta$ 는 다음과 같다.

X{\hat {\beta }}=y\iff

X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff

{\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.

잔차 벡터 ${\hat {e}}=y-X{\hat {\beta }}=y-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y$ ; 따라서 잔차 제곱합은 다음과 같다:

\operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}

,

(잔차 놈(norm)제곱과 동일) 전체를 다시 정리하면 다음과 같다:

\operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }[I-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }]y=y^{\operatorname {T} }[I-H]y

,

여기서 $H$ 는 모자행렬 또는 선형회귀의 투영 행렬이다.

피어슨 상관관계와의 관계

최소제곱 회귀선은 다음과 같다.

y=ax+b

,

여기서 $b={\bar {y}}-a{\bar {x}}$ 그리고 $a={\frac {S_{xy}}{S_{xx}}}$ , 여기서 $S_{xy}=\sum _{i=1}^{n}({\bar {x}}-x_{i})({\bar {y}}-y_{i})$ 그리고 $S_{xx}=\sum _{i=1}^{n}({\bar {x}}-x_{i})^{2}.$

그러므로,

{\begin{aligned}\operatorname {RSS} &=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}=\sum _{i=1}^{n}(y_{i}-(ax_{i}+b))^{2}=\sum _{i=1}^{n}(y_{i}-ax_{i}-{\bar {y}}+a{\bar {x}})^{2}\\[5pt]&=\sum _{i=1}^{n}(a({\bar {x}}-x_{i})-({\bar {y}}-y_{i}))^{2}=a^{2}S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy}\left(1-{\frac {S_{xy}^{2}}{S_{xx}S_{yy}}}\right)\end{aligned}}

여기서 $S_{yy}=\sum _{i=1}^{n}({\bar {y}}-y_{i})^{2}.$ 이다.

피어슨 상관관계는 다음과 같다.

$r={\frac {S_{xy}}{\sqrt {S_{xx}S_{yy}}}};$ 그러므로, $\operatorname {RSS} =S_{yy}(1-r^{2}).$

추가 설명자료

아카이케 정보 기준#최소제곱과의 비교
카이제곱 분포#응용 프로그램
자유도(통계)#자유도와 제곱의 합
통계의 오차 및 잔차
적합성 부족 제곱합
평균 제곱 오차
카이제곱 통계량 감소, 자유도당 RSS
제곱 편차
제곱합(통계)

같이 보기

참고자료

Archdeacon, Thomas J. (1994). 《Correlation and regression analysis : a historian's guide》. University of Wisconsin Press. 161–162쪽. ISBN 0-299-13650-7. OCLC 27266095.

↑ Archdeacon, Thomas J. (1994). 《Correlation and regression analysis : a historian's guide》. University of Wisconsin Press. 161–162쪽. ISBN 0-299-13650-7. OCLC 27266095.

Draper, N.R.; Smith, H. (1998). 《Applied Regression Analysis》 3판. John Wiley. ISBN 0-471-17082-8.

[1] Archdeacon, Thomas J. (1994). 《Correlation and regression analysis : a historian's guide》. University of Wisconsin Press. 161–162쪽. ISBN 0-299-13650-7. OCLC 27266095.

[1]