신뢰도

신뢰도(reliability)는 심리측정에서 측정의 전반적인 일관성을 말한다. 즉, 동일한 조건에서 유사한 측정치를 얻을 수 있다면 신뢰도가 높은 것이다.

범위

신뢰도는 0과 1 사이의 값을 갖는다. 신뢰도 0은 측정치가 순전히 무작위적인 오차로만 구성되어 있는 상태이며, 신뢰도 1은 측정치에서 오차가 전혀 없는 상태이다.

신뢰도 계수(즉, 신뢰도의 추정치)는 0보다 작을 수 있다. 예를 들어, 많은 교과서에서 잘못 설명된 것과는 달리, 타우동등 신뢰도(즉, 소위 크론바흐 알파)는 0보다 작을 수 있다.

종류

일반화 가능성 이론은 여러 원천의 오차들을 복합적으로 고려한다. 그에 비해, 흔히 사용되는 신뢰도 계수는 한 번에 한 가지 오차만을 고려한다. 둘 간의 관계는 분산분석(ANOVA)와 t-검정(t-test)간의 관계와 유사하다. 흔히 사용되는 신뢰도 계수의 유형에는 다음과 같은 것들이 있다.

• 평가자간 신뢰도는 둘 이상의 평가자들이 내린 평가가 일관된 정도이다. 예를 들어, 입사지원자에 대한 면접관들의 평가가 일치한다면 평가자간 신뢰도가 높다.
• 검사-재검사 신뢰도는 어느 정도의 시간을 두고 두 번의 검사를 했을 때, 두 검사의 점수가 일치하는 정도이다. 두 번의 검사는 동일한 조건 및 동일한 방법을 사용해야 한다.
• 방법간 신뢰도는 서로 다른 검사 방법이나 측정 도구가 사용되었을 때 검사 결과가 일치하는 정도이다.
• 항목간 신뢰도는 검사를 구성하는 여러 항목 점수들 간의 일관성이다.

타당도와의 관계

신뢰도가 높다고 해서 타당도가 높다고 할 수 없다. 즉, 무엇인가를 일관되게 측정했다고 해서 그것이 원래 측정하고자 한 것을 측정한 것이라고 보장할 수 없다. 예를 들어, 실제 무게보다 일관되게 1kg 더 높은 무게를 보여주는 저울은 신뢰도는 높지만, 타당도는 그렇지 않다.

신뢰도가 높다고 해서 타당도가 높지는 않지만, 신뢰도가 낮으면 타당도도 낮을 수 밖에 없다. 즉, 신뢰도는 타당도의 상한선을 결정한다. 극단적인 예를 들어 보자. 어떤 검사 점수가 순전히 무작위적인 오차로만 구성되어 있으며, 신뢰도가 0이라고 가정해 보자. 이 검사의 타당도도 0이다.