직업상담사2급 기출 문제에 자주 출제되는 타당도에 대한 완벽 정리

타당도란?

직업상담사 2급을 독학으로 실기를 준비하다 보면 상담을 전공하지 않은 사람에게는 생소한 용어들이 나온다. 특별히 나처럼 기존 기출문제만을 외우는 사람에게는 갑작스럽게 뛰어 나온 전문 용어를 이해도 되지 않은 상태에서 외우게 된다. 하지만 무슨 말인지 이해하게 되면 외우지 않더라도 기술할 수 있는 쉬운 문제가 될 수도 있다.

타당도란 간단하게 말하면 무엇인가를 얼마나 잘 측정했는지를 파악하는 것이다.

상담을 하지 위해 기초 자료를 수집하기 위해서 검사지를 사용했다고 하면 그 검사지가 얼마나 신뢰도가 있도 타당한 가를 살펴보게 될 것이다. 물론 이미 많은 사람들이 연구를 해서 신뢰도와 타당도가 높은 검사지를 만들어 놨다. 우리는 그것을 걱정할 필요가 없다. 다만 아 그렇구나 정도만 알면 직업상담사에서는 패스~~

타당도	그 검사가 측정하고자 의도하는 속성을 얼마나 정확하게 측정하고 있는가를 의미한다.
내용 타당도	검사의 문항들이 측정하고자 하는 내용영역을 얼마나 잘 반영하고 있는지를 말한다. 해당 분야의 전문가들의 주관적 판단들을 토대로 결정한다.
안면 타당도	검사문항을 전문가가 아닌 일반인이 읽고 그 검사가 얼마나 타당해 보이는지를 평가하는 것이다. 즉 수검자에게 그 검사가 타당한 것처럼 보이는 것인가를 뜻하는 것이다.
★ 준거 타당도	어떤 심리검사가 특정 준거와 어느 정도 관련성이 있는가를 나타내는 것이다. 예언타당도는 미래에 동시 타당도는 현재에 초점을 맞춘 것이다.
	예언 타당도	미래의 행동 특성을 얼마나 정확하게 예언하는지를 나타내는 것으로 검사를 실시해 나온 점수와 시간이 지난 후 수검자의 행위를 측정하여 점수와 행위간의 상관관계를 평가하는 것이다. 예언 타당도를 구하는데 시간이 많이 걸린다는 단점이 있다. ex)예언 타당도가 높은 적성검사라면 인사 선발의 경우 점수가 높은 사람이라면 시간이 흐른 후 직무 성과가 높게 나올 것이다.
	동시 타당도 (공인타당도)	현재에 초점을 맞춘 것으로 새로운 검사의 점수와 준거 점수를 동시에 얻어서 상관관계를 평가하는 것이다. 동시측정이 가능하다. 즉 예언 타당도의 단점을 보완해 주었다. ex) 동시 타당도가 높은 학력검사라면 학력검사 점수가 높은 사람은 검사 실시 당시 학교 성적이 높을 것이다.
구성 타당도	검사가 이론적 구성 개념이나 특성을 잘 측정하는 정도
	수렴타당도	새로 개발한 검사를 유사한 특성을 측정하는 기존의 검사들과 비교해서 상관계수를 구하는 방법이다. 상관관계가 높을수록 수렴타당도가 높다. ex) 어떤 지능 검사의 구성 타당도가 높으면 학업성적과는 높은 상관을 보인다면 수렴 타당도는 높다
	변별타당도	새로 개발한 검사를 다른 특성을 측정하는 다른 종류의 기존 검사와의 상관계수를 구하는 방법이다. 즉, 체육성적 상관관계가 낮을수록 변별타당도가 높다.
	중다특성 행렬표	수렴타당도와 변별타당도를 동시에 확인할 수 있는 방법
	요인 분석법	검사의 구성타당도를 알아보기 위하여 가장 많이 사용한다. 검사를 구성하는 문항들의 상관관계를 분석하여 상관이 높은 문항들을 묶어 주는 통계적 방법이다. ex) 홀랜드 이론으로 흥미검사를 개발시 요인타당도가 높게 측정되면 상관이 높은 문항 군집이 6개가 나올 것이다.

1. 다음 ( ) 안에 알맞은 타당도의 종류는

-( A )는 검사의 각 문항을 주의 깊게 검토하여 그 문항이 검사에서 측정하고자 하는 것을 재는지 여부를 결정하는 것이다. 이것은 그 분야의 자격을 갖춘 사람들에 의해 판단된다. -( B )의 유형으로는 공인타당도와 예언타당도가 있다. -( C )는 조작적으로 정의 되지 않는 인간의 심리적 특성이나 성질은 심리적 구인으로 분석하여 조작적 정의를 부연한 후, 검사점수가 이러한 심리적 구인으로 구성되어 있는가를 검정하는 방법이다.

A. 내용 타당도

B 준거 타당도

C 구성 타당도

2. 타당도의 4종류 : 내용 타당도, 안면 타당도, 준거 타당도, 구성 타당도

※준거 결핍

: 실제로 준거가 개념 준거를 나타내지 못하는 경우

※준거 오염

: 실제 준거가 개념준거의 범위 외에 부분을 측정하는 경우.

  ex) 남자라서 점수를 더 줌

 3-1 준거 타당도의 의미와 종류

: 어떤 심리검사가 특정 준거와 어느 정도 관련성이 있는가를 나타내는 것이다.

예언타당도는 미래에 동시 타당도는 현재에 초점을 맞춘 것이다.

 3-2 준거관련 타당도의 종류

: 예측타당도: 검사 점수가 미래의 어떤 행동(예컨데, 직업에서의 성공 정도 또는 학업 성적)을 얼마나 잘 예측하는지를 나타내는 타당도이다.

 동시타당도: 새로운 검사를 개발하였을 때, 권위 있는 기존 검사와의 상관계수를 산출함으로써, 새로운 검사의 타당도를 입증하는 방법으로 많이 사용된다. 

 3-3 차이점

: 두 타당도의 차이점은 검사의 실시와 준거점수의 측정이 동시에 이루어지느냐의 여부이다. 동시타당도는 이두가지가 동시에 이루어지는 반면 예측타당도는 검사의 실시 후 일정 기간이 경과한 후 준거점수의 측정이 이루어진다.

 3-4 중요한 이유

: 준거타당도는 선발이나 배치의 훈련 등의 인사 관리에 관한 의사 결정의 설득력을 제공함

 3-5 준거타당도가 낮은 검사를 사용하는 것의 문제점

: 준거타당도는 적성검사나 흥미검사를 통해 업무성취와 만족도 등을 예측하는데 준거타당도가 낮은 검사는 적절한 인사선발과 배치를 저해하고 평가의 효율성을 낮춘다. 직업상담의 준거가 낮아질 뿐 아니라 산업현장에서 경제적 부담이 커진다.

4. 개념준거와 실제준거의 의미

① 개념준거: 연구자가 측정하고자 하는 준거를 이론적으로 정의한 것 실질적으로 결코 측정할 수 없는 추상적, 이론적 개념 ex) 직무성과

② 실제준거: 개념 준거를 측정이 가능하도록 변환한 것 ex)생산량, 판매실적, 상사의 고과 점수

5. 준거타당도계수의 크기에 영향을 미치는 요인

① 표집오차 : 표본이 모집단을 잘 대표하지 못하고 표본의 크기가 작은 경우 표집오차가 커지고 준거 타당도 계수가 낮아진다.

② 준거측정치의 신뢰도 : 준거측정치의 신뢰도가 낮으면 검사의 준거타당도는 낮아진다.

③ 준거측정치의 타당도 : 준거측정치의 타당도가 낮으면 검사의 준거타당도는 낮아진다.

④ 범위 제한 : 검사 점수와 준거 점수의 전체 범위를 포괄하지 않을 경우 낮게 나올 수 있다.

6. 구성타당도의 수렴타당도 변별타당도 설명

구성타당도의 종류와 내용을 설명하시오.

① 수렴 타당도: 검사의 결과가 그 속성과 관계된 변인들과 얼마나 관련이 있는가, 즉 높은 상관관계를 측정

② 변별 타당도: 검사의 결과가 그 속성과 관계된 변인들과 얼마나 관련이 없는가, 즉 낮은 상관관계를 측정

③ 요인분석법: 검사 문항들 간의 상관관계를 분석하고 높은 상관관계에 있는 문항들을 묶어주는 통계법

7. 수렴당도/ 변별타당도 의미를 설명하고 중다방법행렬표로 확인하는 절차를 쓰시오.

① 수렴타당도 : 새로 개발된 검사를 비슷한 기존의 검사와 비교하여 상관지수를 측정하는 것. 수렴 타당도가 높으면 변인간의 상관관계도 높음

② 변별 타당도 : 새로 개발된 검사와 관련이 없는(측정하는 대상이 다른) 검사끼리 비교하여 상관지수를 측정하는 것. 변별타당도가 높으면 변인간의 상관관계는 낮음

③ 중다특성-중다방법 행렬표(MTM) : 둘 이상의 특성을 둘 이상의 방법으로 측정하여 얻어진 점수들 간의 상호 상관계수 표

④ 중다특성-중다방법 행렬표(MTM) 확인절차

 1) 동일한 특성에 대하여 서로 다른 방법으로 측정하여 상관관계 비교(상관도가 높은지 정적관계인지 확인)

 2) 이질적인 특성에 대하여 같은 방법으로 측정한 상관관계 비교

 3) 이질적인 특성에 대하여 서로 다른 방법으로 측정한 상관관계 비교 

8. 신뢰도와 타당도의 의미를 비교

① 신뢰도는 높고, 타당도는 없는 측정도구가 있을 수는 있지만 역으로는 존재할 수 없다. 

② 신뢰도를 높이는 것은 타당도를 높이기 위한 필요조건이 되지만, 충분조건은 되지 못한다. 즉, 어떤 검사가 신뢰도가 높다고 해서 타당도 역시 높다는 것을 의미하진 않는다.

Pixabay로부터 입수된 GraphicMama-team님의 이미지 입니다.

★ 직업상담사2급 - 실기(단답형) 출제 유형

1. [신뢰도, 타당도 의미 비교 설명] 출제빈도 : 05-2

① 신뢰도 : 검사가 측정하고자 하는 것을 얼마나 일관성 있게 측정하는지를 나타내는 지표로 평가 결과의 일관성과 안정성을 판단한다.

② 타당도 : 검사가 측정하고자 하는 것을 실제로 얼마나 잘 측정하고 있는지를 나타내는 지표로 측 정된 결과의 합목적성과 예측가능성을 의미한다.

③ 의미비교 심리검사의 신뢰도는 어떻게 측정하느냐의 문제와 관련이 있는 반면, 심리검사의 타당도는 무엇을 측 정하느냐의 문제와 관련이 있다고 할 수 있다. 신뢰도가 타당도보다 더 수립되기는 용이하나, 일반적으 로 타당도가 더 중요하다.

2. [구성타당도의 수렴타당도와 변별타당도에 대해 설명] (구수변요) (결속 변상 측정)

출제빈도 : 01-1/03-1/03-2/06-2/08-1/09-3/10-1/10-3/10-4/15-1/15-2

*구성타당도: 심리검사에서 심리적 개념과 특성을 얼마나 잘 측정하는지를 평가하는 방법

(종류: 구수변이, 분석방법 : 구수변요)

① 수렴타당도(집중타당도): 새로 개발한 검사를 기존의 검사들과 비교해서 상관계수를 구하는 방법으로 상관계수가 높을수록 수렴타당도가 높다. 검사의 결과가 그 속성과 관계있는 변인들과 높은 상관관계를 지니고 있는지 정도

② 변별타당도(판별타당도): 다른 특성을 측정하는 다른 종류의 검사와의 상관계수를 구하는 방법으로 상관계수가 낮을수록 변별타당도가 높다. 검사의 결과가 그 속성과 관계없는 변인들과 낮은 상관관계를 지니고 있는지 정도 예) 어느 지능검사가 학업성적과 높은 상관관계가 있으면 수렴타당도가 높고 체육성적과 낮은 상관관계가 있으면 변별타당도가 높다.

③ 요인분석법: 검사를 구성하는 문항을 상호비교해서 상관성이 높은 문항들끼리 묶어주는 통계적 방법으로 구성타당도 방법 중 가장 많이 쓰인다.

3.  [수렴타당도와 변별타당도를 중다특성 중다방법 행렬표(MTMM)로 확인하는 절차] 출제빈도 : 12-3

① 수렴타당도의 의미：새로운 검사와 이론적으로 관계가 있는(즉, 같거나 유사한 특성을 측정하는) 기존 검사와의 상관이 어느 정도인지를 알아보는 방법이다. 상관 관계가 높을수록 수렴타당도가 높다.

② 변별타당도의 의미：새로운 검사와 이론적으로 관계가 없는(즉, 다른 특성을 측정하는) 기존 검사와의 상관이 어느 정도인지를 알아보는 방법이다. 상관관계가 낮을수록 변별타당도가 높다.

③ MTMM으로 확인하는 절차

a 동일한 특성을 이질적인 방법으로 측정한 점수들 간의 상관계수들(수렴타당도)이 높고 정적인 상관인지를 확인한다.

b 그 다음에, ①의 상관계수들이 이질적인 특성들을 동일한 방법으로 측정한 점수들 간의 상관계수들(변별타당도)보다 훨씬 높은지를 확인한다.

c 끝으로, ①의 상관계수들이 이질적인 특성들을 이질적인 방법으로 측정한 점수들 간의 상관계수들보다 월등하게 높은지를 확인한다.

참고: ：MTMM은 2가지 이상의 특성을 2가지 이상의 방법으로 측정하여 얻어진 점수들 간의 상호상관계수표이다.

4. [준거타당도의 동시타당도와 예언(예측)타당도의 의미와 차이점 설명]: 출제빈도 : 02-1/06-1/06-2/07-1/08-2/10-2/12-1/11-3/13-2/14-1

-어느 정도 명확한 준거 가지고 미래 행동 예측 가능 

-선발, 배치, 훈련 등 인사관리에 관한 의사결정의 설득력 제공

① 동시타당도: 새로운 검사를 개발하였을 때, 권위 있는 기존 검사와의 상관계수를 산출함으로써, 새로운 검사의 타당도를 입증하는 방법으로 많이 사용된다. 또한 준거점수를 측정하기까지 일정 기간을 기다려야 하는 예측타당도의 약점을 보완하기 위한 편법으로도 사용된다.

② 예언타당도: 검사 점수가 미래의 어떤 행동(직업의 성공, 학업 성적)을 얼마나 잘 예측하는지를 나타내는 타당도이다. (미래행동예측)

③ 차이점: 두 타당도의 차이점은 검사 실시와 준거점수의 측정이 동시에 이루어지느냐의 여 부이다. 동시타당도의 경우에는 이 두 가지가 동시에 이루어진다. 반면에 예측타당도의 경우에는 검사 실시 후 일정 기간이 경과한 후에 준거점수의 측정이 이루어진다.

5. [준거타당도의 의미와 준거타당도가 낮은 검사 사용되면 안되는 이유] 출제빈도 : 09-1/13-1

① 준거타당도의 의미 :준거타당도란 어떤 검사점수와 준거점수 간의 상관계수를 산출한 것을 말한다. 준거타당도는 해당 검사점수와 준거점수를 동시에 수집하는 동시타당도(공인타당도)와 검사를 실시하고 나서 일정 기간이 경과한 후에 준거점수를 수집하는 예측(예언)타당도로 구분할 수 있다.

② 준거타당도가 낮은 검사를 사용하는 것이 문제가 되는 이유: 

a 준거타당도가 낮은 검사를 사용하면 직업선택 등의 정치(placement)나 사원선발 등의 인사관리의 정확성과 효율성이 저하된다. (검사가 유용성을 갖기 위해서는 직업에서의 성공가능성이나 장래의 직무수행 성과를 검사를 이용하지 않았을 때보다 더 정확하게 예측할 수 있어야 한다.－생략 가능함)

b 준거타당도가 낮은 검사를 사용한 선발이나 배치, 훈련 등의 인사관리에 관한 의사결정은 공정성이 결여된 부당한 차별대우에 해당한다. (미국에서는 준거타당도가 충분치 않은 검사를 이용한 인사관리 관련 의사결정은 불법으로 간주되며, 법적 규제의 대상이 된다. -생략 가능함)

6. 심리검사에서 준거타당도 계수의 크기에 영향을 미치는 요인을 3가지. 출제빈도 : 12-3

① 표집오차：표본이 모집단을 잘 대표하지 못하면 표집오차(sampling error)가 커지고 그 결과로 검사의 타당도 계수가 낮아진다. 표집오차는 표본의 크기가 작아지면 급격 하게 증가한다.

② 준거측정치의 신뢰도：준거측정치의 신뢰도가 낮으면 검사의 준거타당도는 낮아진다.

③ 준거측정치의 타당도：준거측정치의 타당도가 낮으면 검사의 준거타당도는 낮아진다.

④ 범위 제한：준거타당도 계산을 위해 얻은 자료들이 검사점수와 준거점수의 전체 범위 를 포괄하지 않고 일부 범위만을 포괄하는 경우에 계산된 상관계수는 실제 상관계수 보다 작아진다.

7. [실증연구에서의 타당도 계수와 실제연구에서의 타당도 계수가 다른데 실제연구에서의 타당도계수 가 낮은 이유를 예를 들어 설명] 출제빈도 : 06-2/11-3

- 실증연구에서는 연구자가 연구과정을 상당히 통제해야하는 경우가 있으며, 실제연구에서는 개입을 거의 하지 않아야 경우가 있다. 예를 들면 연령에 따른 직업선호도 차이를 연구할 때 사람들의 연령을 통제한다는 것은 거의 불가능하기 때문에 질문지 등을 사용하는 방법이 더 낫다. 따라서 실증연구에서 는 내적타당도를, 실제연구에서는 외적타당도를 중요시하므로 실제연구에서 타당도계수가 낮은 이유는 내적타당도측면에서 가외변인을 통제할 수 없기 때문이다.

8. [다면적인성검사 MMPI의 타당성 척도(L,F,K척도) 설명] (부다정) 출제빈도 : 02-1/09-1/10-4

① L척도: 피검자가 자신을 좋은 모양으로 나타내 보이려는 부정직의 정도 측정

② F척도: 보통 사람들과 다르게 응답하려는 사람들을 탐지하기 위한 척도

③ K척도: 현저한 정신장애를 지니면서도 정상적인 프로파일을 보이는 사람들을 식별하기 위하여 경 험적으로 선택된 30개의 문항들로 구성한 척도

④ 알수없다 척도