다특질-다방법 행렬
다특질-다방법(multitrait-multimethod; MTMM) 행렬은 구성개념타당도(construct validity)를 검증하기 위한 방법으로 Campbell과 Fiske (1959)[1] 에 의해 개발되었다. 이는 어떤 측정치가 다른 측정치에 어떻게 연관되었는지를 비교하여 수렴타당도(convergent validity)와 변별타당도(discriminant validity)의 증거를 보여준다.
정의 및 주요 구성 요소[편집]
(a) 유사하거나 (b) 유사하지 않은 특질(trait; construct)들을 검증하여 특질 간 수렴타당도나 변별타당도를 검증하기 위해 다특질(multiple trait)이 사용된다. 유사한 논리로 방법 분산으로부터 발생되는 차별적인 효과를 검증하기 위해 다방법(multiple methods)이 사용된다.
MTMM 행렬을 통해 구성개념 타당도를 검증할 때 고려해야 할 6가지 주요 사항은 아래와 같다:
- 수렴타당도의 평가. 같은 구성개념을 측정하기 위한 검사들(검사 "점수" 의미)끼리는 높은 상관이 있어야 한다.
- 변별타당도의 평가. 다른 구성개념을 측정하기 위한 검사들끼리는 높은 상관이 있어서는 안 된다.
- 특질-방법 유닛 한 구성개념을 측정하는 각 과제나 검사가 하나의 특질-방법 원소이다. (한 측정치의 분산에는 특질 분산과 방법 분산이 함께 있고, 일반적으로 연구자들은 낮은 방법 분산과 높은 특질 분산을 원한다.)
- 다특질-다방법. 변별타당도의 확립과, 특질 및 방법의 상대적인 분산 기여를 평가하기 위해 둘 이상의 특질과 방법이 사용되어야 한다. 이는 Platt의 Strong Inference (1964) 개념과 유사.[2]
- "실제로" 다른 방법의 사용. 다방법을 사용할 때, 실제 측정치가 얼마나 다른지 고려해야 한다. 예를 들어 두 가지 자기 평가 방식을 사용하는 것은 실제로 다른 방법을 사용하는 것이 아니다. 반대로 인터뷰나 심리신체반응(psychosomatic reading)을 사용한다면 다를 수 있다.
- 특질의 특성. 충분히 구분 가능할 정도의 특질이 사용되어야 하지만 MTMM을 할 이유가 있을 만큼의 유사성은 있어야 한다.
예시[편집]
이 예는 전형적인 MTMM 행렬과 측정치 간 상관이 무엇을 의미하는지를 보여준다. 이 행렬의 대각은 대개 측정치의 신뢰도 계수(예: 알파 계수)로 채워진다. [ ] 안은 구성개념(우울/불안)과 측정치의 신뢰도가 모두 높을 때 기대되는 값이다.
*Heteromethod-monotrait: 다른 방법으로 동일 특질 측정
Monomethod-heterotrait: 같은 방법으로 다른 특질 측정
Heteromethod-heterotrait: 다른 방법으로 다른 특질 측정
| 테스트 | BDI (우울-자기보고) |
HDIv (우울-인터뷰) |
BAI (불안-자기보고) |
HAIv (불안-인터뷰) |
|---|---|---|---|---|
| BDI | (신뢰도)
[1.00에 근접] | |||
| HDIv | Heteromethod-monotrait
[신뢰도를 제외한 값 중 가장 높음] |
(신뢰도)
[1.00에 근접] | ||
| BAI | Monomethod-heterotrait
[낮고, monotrait보다 낮음] |
Heteromethod-heterotrait [가장 낮음] |
(신뢰도)
[1.00에 근접] | |
| HAIv | Heteromethod-heterotrait
[가장 낮음] |
Monomethod-heterotrait
[낮고, monotrait보다 낮음] |
Heteromethod-monotrait
[신뢰도를 제외한 값 중 가장 높음] |
(신뢰도)
[1.00에 근접] |
이 예는 특질(우울/불안)과 방법(자기보고/인터뷰)을 같이 보여준다. Heteromethod는 서로 다른 두 방법 간의 상관이라는 것을 나타낸다. Monomethod는 반대로 상관을 계산하는 데에 같은 방법이 사용되었다는 것을 의미한다. Heterotrait는 두 개의 다른 방법을, Monotrait는 같은 특질이 사용되었다는 것을 뜻한다.
실제 행렬을 평가할 때 연구자는 특질과 방법이 공유하는 분산의 비율을 보고 얼마나 측정 방법에 의한 방법분산이 큰지, 어떤 특질이 다른 특질과 비교하여 구분되는지를 본다.
즉, 예를 들어 특질이 방법보다 중요하다고 하자. 어떤 사람이 특정 방법에 의해 매우 우울하다는 결과가 나왔다면 다른 방법 역시 그 사람이 매우 우울하다는 점수를 나타내야 한다. 반면 BDI에서 높은 점수를 보인 사람이 BAI에서 높은 점수를 나타내야 할 필요는 없다. 두 검사가 같은 사람에 의해 만들어졌고 스타일이 비슷하기 때문에 약간의 상관은 있겠지만, 이런 방법에서의 유사성이 점수에 영향을 크게 미쳐서는 안 되며 다른 특질(우울/불안)을 측정하는 이 두 검사 간 상관은 낮아야 하는 것이다.
분석[편집]
MTMM 행렬을 분석하기 위한 다양한 통계적 접근법들이 있다. (Campbell & Fiske의 방법 및 CFA 방법에 대한 보다 자세한 설명은 이숙문 외(2005) 참조.)
Campbell과 Fiske의 표준적인 방법은 https://web.archive.org/web/20160304173400/http://gim.med.ucla.edu/FacultyPages/Hays/utils/%3Cnowiki/%3E%EC%97%90%EC%84%9C 사용 가능하다.
또한 복잡한 MTMM행렬의 자료 내 모든 정보(raw data 의미)의 분석을 위해 확인적 요인분석[3]을 할 수도 있다. 그러나 분포 가정이 없고 raw data를 활용하는 Sawilowsky I 테스트가 있다.[4][5]
Sawilowsky I 테스트는 MTMM행렬―heterotrait-heteromethod와 heterotrait-monomethod의 삼각행렬과 신뢰도 대각―을 4개 레벨로 분해하면서 이루어진다. 각 레벨은 최솟값, 중앙값, 최댓값을 가지고 있다. 영가설은 이 값이 순서가 없다는 것이고 대립가설은 이 값들이 증가하는 순서가 있다는 것이다. 검증통계치(test statistic)는 순서역전(inversion; I)의 숫자를 셈으로써 만들어진다. α=.05일때의 critical value는 10이고, α=.01일 때는 14이다.
가장 많이 사용되는 모형 중 하나는 Saris and Andrews[6]가 제안한 진점수 모형이다.
이는 다음과 같은 식으로 표현된다. :
1) Yij = rij TSij + eij*
Yij 는 특질 i와 방법 j에 의한 표준화된 검사 점수. rij 는 신뢰도 계수 rij = σYij / σTSij TSij 는 표준화된 진점수 eij* 는 무선 오차 eij* = eij / σYij
따라서,
rij2 = 1 - σ2 (eij*) rij2 는 신뢰도
2) TSij = vij Fi + mij Mj
vij 는 타당도 계수 vij = σFi / σTSij Fi 는 표준화된 요인 점수(특질 i) mij 는 방법 효과 mij = σMj / σTSij Mj 는 표준화된 방법 점수(방법 j)
따라서,
vij2 = 1 - mij2 vij2 는 타당도
3) Yij = qijFi + rijmijMj + e*
qij 는 검사의 quality 계수 qij = rij • vij
따라서,
qij2 = rij2 • vij2 = σ2Fi / σ2Yij qij2 는 퀄리티
가정:
* 오차는 무선적이며 평균이 0: µe = E(e) = 0 * 오차끼리의 상관은 0: cov(ei, ej) = E(ei ej) = 0 * 오차와 다른 독립변수들끼리의 상관은 0: cov(TS, e) = E(TS e) = 0 , cov(F, e) = E(F e) = 0 and cov(M, e) = E(M e) = 0 * 방법요인은 다른 방법요인 또는 특질요인과 상관 0: cov(F, M) = E(F M) = 0
일반적으로 최소 3개 이상의 특질과 방법을 사용해야 한다. 이 모형은 European Social Survey 등 수천 가지 설문조사의 질을 평가하는 데 사용된다. sqp.upf.edu에서 Survey Quality Predictor라는 소프트웨어가 사용 가능하다.