카파 상관계수

일반적으로 카파 상관계수는 코헨(Cohen)의 카파 상관계수(Kappa)를 가리키며 이는 2명의 관찰자(또는 평가자)의 신뢰도를 확보하기위한 확률로서 평가지표로 사용되는 상관계수이다. 2명이상에서 신뢰도를 얻기위해서는 플레이스 카파 상관계수(Fleiss' kappa)를 사용할 수 있다.

$K_{C}={{p_{o}-p_{e}} \over {1-p_{e}}}$

예

조건

평가자		B
		긍정(Yes)	부정(No)
A	긍정(Yes)	a	b
	부정(No)	c	d

예시

평가자		B
		긍정	부정
A	긍정	20	5
	부정	10	15

관찰된 동의할 경우의 비례값 Po는 다음과 같다.

$p_{o}={\frac {a+d}{a+b+c+d}}={\frac {20+15}{50}}=0.7$

p_e인 확률값(the probability of random agreement)을 계산하기 위해서

${{a+b} \over {a+b+c+d}}=0.5$

평가자 A 의 긍정 확률값은 50% 이고

${{a+c} \over {a+b+c+d}}=0.6$

평가자 B 의 긍정 확률값은 60%이다.

${{c+d} \over {a+b+c+d}}=0.5$

평가자 A 의 부정 확률값은 50% 이고

${{b+d} \over {a+b+c+d}}=0.4$

평가자 B 의 부정 확률값은 40%이다.

따라서

$p_{\text{Yes}}={\frac {a+b}{a+b+c+d}}\cdot {\frac {a+c}{a+b+c+d}}=0.5\times 0.6=0.3$

$p_{\text{No}}={\frac {c+d}{a+b+c+d}}\cdot {\frac {b+d}{a+b+c+d}}=0.5\times 0.4=0.2$

따라서 이 경우 계산되는 전반적인 임의 동의 확률은 '긍정' 또는 '부정'에 동의한 확률값이다. 즉

$p_{e}=p_{\text{Yes}}+p_{\text{No}}=0.3+0.2=0.5$

이때 코헨(Cohen)의 카파 상관계수(Kappa) KC는

$K_{C}={\frac {p_{o}-p_{e}}{1-p_{e}}}={\frac {0.7-0.5}{1-0.5}}=0.4\!$

이다.

변형

$K_{C}={{p_{o}-p_{e}} \over {1-p_{e}}}=1-{{1-p_{o}} \over {1-p_{e}}}$

Pe=0일때

$K_{C}={{p_{o}-p_{e}} \over {1-p_{e}}}={{p_{o}-0} \over {1-0}}={{p_{o}} \over {1}}=p_{o}$

Po=0일때

$K_{C}={{p_{o}-p_{e}} \over {1-p_{e}}}={{0-p_{e}} \over {1-p_{e}}}={{p_{e}} \over {p_{e}-1}}$은 Pe가 클수록 1에 가까워지며

Pe가 작을수록 0에 가까워진다.

같이 보기

• 파이 계수
• 신뢰 구간
• 검사 타당도

각주

• 서울대학교 보건대학원-학위논문-진단법의 신뢰도 및 대체가능성 평가방법과 직관적인 수치를 이용한 대상수 산출