카파 상관계수 는 코헨(Cohen)의 카파 상관계수(Kappa)를 가리키며 이는 2명의 관찰자(또는 평가자)의 신뢰도 를 확보하기위한 확률 로서 평가지표로 사용되는 상관계수이다. 2명이상에서 신뢰도를 얻기위해서는 플레이스 카파 상관계수 (Fleiss' kappa)를 사용할 수 있다.
K
C
=
p
o
−
p
e
1
−
p
e
{\displaystyle K_{C}={{p_{o}-p_{e}} \over {1-p_{e}}}}
조건
평가자
B
긍정(Yes)
부정(No)
A
긍정(Yes)
a
b
부정(No)
c
d
예시
평가자
B
긍정
부정
A
긍정
20
5
부정
10
15
관찰된 동의할 경우의 비례값 Po 는 다음과 같다.
p
o
=
a
+
d
a
+
b
+
c
+
d
=
20
+
15
50
=
0.7
{\displaystyle p_{o}={\frac {a+d}{a+b+c+d}}={\frac {20+15}{50}}=0.7}
pe 인 확율값(the probability of random agreement)을 계산하기 위해서
a
+
b
a
+
b
+
c
+
d
=
0.5
{\displaystyle {{a+b} \over {a+b+c+d}}=0.5}
평가자 A 의 긍정 확율값은 50% 이고
a
+
c
a
+
b
+
c
+
d
=
0.6
{\displaystyle {{a+c} \over {a+b+c+d}}=0.6}
평가자 B 의 긍정 확율값은 60%이다.
c
+
d
a
+
b
+
c
+
d
=
0.5
{\displaystyle {{c+d} \over {a+b+c+d}}=0.5}
평가자 A 의 부정 확율값은 50% 이고
b
+
d
a
+
b
+
c
+
d
=
0.4
{\displaystyle {{b+d} \over {a+b+c+d}}=0.4}
평가자 B 의 부정 확율값은 40%이다. 따라서
p
Yes
=
a
+
b
a
+
b
+
c
+
d
⋅
a
+
c
a
+
b
+
c
+
d
=
0.5
×
0.6
=
0.3
{\displaystyle p_{\text{Yes}}={\frac {a+b}{a+b+c+d}}\cdot {\frac {a+c}{a+b+c+d}}=0.5\times 0.6=0.3}
p
No
=
c
+
d
a
+
b
+
c
+
d
⋅
b
+
d
a
+
b
+
c
+
d
=
0.5
×
0.4
=
0.2
{\displaystyle p_{\text{No}}={\frac {c+d}{a+b+c+d}}\cdot {\frac {b+d}{a+b+c+d}}=0.5\times 0.4=0.2}
따라서 이 경우 계산되는 전반적인 임의 동의 확률은 '긍정' 또는 '부정'에 동의한 확률값이다. 즉
p
e
=
p
Yes
+
p
No
=
0.3
+
0.2
=
0.5
{\displaystyle p_{e}=p_{\text{Yes}}+p_{\text{No}}=0.3+0.2=0.5}
이때 코헨(Cohen)의 카파 상관계수(Kappa) KC 는
K
C
=
p
o
−
p
e
1
−
p
e
=
0.7
−
0.5
1
−
0.5
=
0.4
{\displaystyle K_{C}={\frac {p_{o}-p_{e}}{1-p_{e}}}={\frac {0.7-0.5}{1-0.5}}=0.4\!}
이다.
K
C
=
p
o
−
p
e
1
−
p
e
=
1
−
1
−
p
o
1
−
p
e
{\displaystyle K_{C}={{p_{o}-p_{e}} \over {1-p_{e}}}=1-{{1-p_{o}} \over {1-p_{e}}}}
Pe =0일때
K
C
=
p
o
−
p
e
1
−
p
e
=
p
o
−
0
1
−
0
=
p
o
1
=
p
o
{\displaystyle K_{C}={{p_{o}-p_{e}} \over {1-p_{e}}}={{p_{o}-0} \over {1-0}}={{p_{o}} \over {1}}=p_{o}}
Po =0일때
K
C
=
p
o
−
p
e
1
−
p
e
=
0
−
p
e
1
−
p
e
=
p
e
p
e
−
1
{\displaystyle K_{C}={{p_{o}-p_{e}} \over {1-p_{e}}}={{0-p_{e}} \over {1-p_{e}}}={{p_{e}} \over {p_{e}-1}}}
e 가 클수록 1에 가까워지며Pe 가 작을수록 0에 가까워진다.
같이 보기 [ 편집 ]
