본문으로 이동

잔차 제곱합

위키백과, 우리 모두의 백과사전.

통계에서 잔차제곱합 (SSR) 또는 오차제곱합 (SSE) 이라고도 알려진 잔차 제곱합(RSS)은 잔차의 제곱(실제 경험적 데이터 값과 예측된 값의 차이)이다. 이는 선형회귀와 같은 추정모델과 데이터간의 불일치를 측정한다. 작은 RSS는 모델이 데이터에 꼭 맞는다는 것을 의미한다. 이는 매개변수 선택 및 모델 선택시 최적기준으로 사용된다.

일반적으로, 총제곱합(TSS) = 회귀제곱합(SSE) + 잔차제곱합(SSR)이다. 다변량 최소제곱법(OLS) 사례에 대한 증명은, 일반적인 최소제곱법 모델에서의 파티셔닝을 참고.

하나의 독립변수

[편집]

독립변수가 하나인 모델에서 RSS는 다음과 같다.[1]

여기서 yii 번째 예측할 변수 값이고, xii 번째 독립변수의 값이며, yi 의 예측값이다( 라도도 함). 표준 선형 단순 회귀모델에서는 , 여기서 계수이고, yx는 각각 종속변수독립변수이고, ε는 오차이다. 잔차의 제곱합은 의 제곱합이며, 다음과 같다.

여기서 는 상수 의 추정 값이고, 는 기울기 계수 의 추정 값이다.

OLS 잔차제곱합에 대한 행렬 표현식

[편집]

n개의 관측값과 k개의 설명자가 있는 일반 회귀 모델(첫 번째 설명자는 계수가 회귀 절편인 상수 단위 벡터임)은 다음과 같다.

여기서 y는 종속 변수 관측값의 n × 1 벡터이고, n × k 행렬 X 의 각 열은 k 설명자 중 하나에 대한 관측값 벡터이다. 는 실제 계수의 k × 1 벡터이고, e는 실제 기본오차의 n × 1 벡터이다. 최소제곱법 추정값 는 다음과 같다.

잔차 벡터  ; 따라서 잔차 제곱합은 다음과 같다:

,

(잔차 놈(norm)제곱과 동일) 전체를 다시 정리하면 다음과 같다:

,

여기서 H 는 모자행렬 또는 선형회귀의 투영 행렬이다.

피어슨 상관관계와의 관계

[편집]

최소제곱 회귀선은 다음과 같다.

,

여기서 그리고 , 여기서 그리고

그러므로,

여기서 이다.

피어슨 상관관계는 다음과 같다.

그러므로,

추가 설명자료

[편집]

같이 보기

[편집]

참고자료

[편집]

Archdeacon, Thomas J. (1994). 《Correlation and regression analysis : a historian's guide》. University of Wisconsin Press. 161–162쪽. ISBN 0-299-13650-7. OCLC 27266095. 

  1. Archdeacon, Thomas J. (1994). 《Correlation and regression analysis : a historian's guide》. University of Wisconsin Press. 161–162쪽. ISBN 0-299-13650-7. OCLC 27266095. 
  • Draper, N.R.; Smith, H. (1998). 《Applied Regression Analysis》 3판. John Wiley. ISBN 0-471-17082-8.