검사의 신뢰도(Reliability) - 직업상담사 2급 실기

검사의 신뢰도(Reliability) - 직업상담사 2급 실기 문제

어떤 검사지가 있다면 그 결과값에 대해 신뢰할 수 있는지를 평가하게 된다. 예를 들어 동일한 사람에게 동일한 검사를 실시했는데 결과가 매번 다르게 나온다면 그 검사를 적용(신뢰)할 수 없을 것이다.

따라서 신뢰도란 점수가 얼마나 일관성 있게 나오는지를 측정하는 것으로 검사점수의 전체변량 중에서 오차변량을 제외한 실제변량이 차지하는 비율을 말한다. 신뢰도계수는 - 1.00 ~＋1.00의 범위 내에서 제시된다.

(이때 가장 많이 쓰이는 방식이 검사-재검사 신뢰도, 동형검사신뢰도, 반분신뢰도이다)

1. 검사신뢰도의 종류

가. 검사-재검사 신뢰도(안정성계수)

① 하나의 검사에 대해서 서로 다른 시기에 두 번 실시했을 때 두 점수 간의 상관계수를 구하는 방법이다.
② 신뢰도 추정이 간편하다는 장점이 있으나, 이월효과, 반응민감성효과, 측정대상의 속성의 변화 등의 단점이 있다.

나. 동형검사 신뢰도(동등성 계수)

새로 개발한 검사와 여러 면에서 동일한 검사를 하나 더 개발해서 두 검사의 점수 간의 상관계수를 구하는 방법이다. 재검사법의 단점을 보완하기는 했으나, 동형의 검사를 개발하기가 어렵다는 단점이 있다.

다. 반분신뢰도(내적합치도 계수)

① 반분법은 검사의 내적일관성을 측정하는 방법 중의 하나로서 전체 문항수를 반으로 나눈 다음 상관계수를 이용하여 두 부분이 모두 같은 개념을 측정하는지 평가하는 방법이다.
② 반분법은 구하기 쉽고 재검사법이나 동형검사법과 달리 한 번의 측정으로 신뢰도를 구할 수 있고 이월효과, 반응민감성효과, 측정대상의 속성의 변화 등의 문제점을 극복할 수 있는 장점이 있으나, 문항을 반으로 나누는 방법에 따라 신뢰도가 달라진다는 단점이 있다.

라. 문항내적합치도

문항 하나하나를 검사로 생각하는 개념이다. 문항들이 동질적이라면 사람들이 각각의 문항에 얼마나 일관성 있게 답했는지를 파악함으로써 신뢰도를 추정할 수 있다. 이 방법으로 계수를 추정하는 방법에는 크론바흐 α계수와 KR20계수가 있다.
① 크론바흐(Cronbach) α계수：크론바흐 α계수는 리커트식 척도나 이분채점화 문항의 검사 등 다양한 검사에 적용할 수 있다. 크론바흐는 α계수가 높은 것은 문항간 정적 상관이 높다는 것을 의미하고, 모든 가능한 반분법으로 구한 신뢰도계수들의 평균과 같다고 해석했다. ※ α값이 크다는 것은 검사 문항들이 동질적이라는 뜻이다.
② KR20계수(쿠더-리처드슨20계수)：이분채점 문항에만 사용될 수 있는 방법이다.\

마. 채점자간 신뢰도

① 컴퓨터 채점용으로 하는 검사가 아니라, 채점자에게 재량권이 있는 검사의 경우(창조성 검사나 투사적 검사), 채점자가 누구냐에 따라 동일한 수검자에 대해서 다른 점수가 나타날 수 있다.

② 채점자 신뢰도는 한 집단의 검사용지를 두 명의 검사자가 각자 독립적으로 채점해서 찾아내는 것이다.

검사의 신뢰도를 측정하는 방법과 신뢰도에 영향을 미치는 요인 및 오차를 줄이는 방법

 

2. 신뢰도계수에 영향을 미치는 요인

아무리 좋은 검사지라고 하더라도 동일한 사람이 동일한 문항을 답하더라도 틀려질 수가 있습니다. 따라서 신뢰도에 영향에 미치게 되는데 그 요인은 다음과 같다.

가. 개인차

① 개인차가 존재함으로써 신뢰도가 존재한다. 만약 개인차가 전혀 없다면 신뢰도계수는 0이 된다. 왜냐하면, 개인차가 없다면 모든 수검자의 점수가 동일하게 된다는 뜻이며, 이렇게 되면 검사점수의 변량이 0이 되어 신뢰도계수도 0이 되기 때문이다.
② 반면, 검사대상이 되는 집단의 개인차가 클수록, 검사점수의 변량은 커지며 신뢰도계수도 커지게 된다. 즉, 개인차가 적다는 것은 결국 측정자료들의 점수범위가 매우 제한적이라는 것을 뜻하며, 이로 인해 신뢰도계수가 실제보다 적어지는 것이다.

나. 검사의 문항수

다. 문항반응수

① 개인의 직무만족, 조직몰입 및 경력몰입 등과 같은 태도를 조사하려는 경우 대부분 리커트 척도를 이용하게 된다. 이 경우 많은 사람들은 5점 또는 7점 척도를 이용해 개인의 척도를 이용하게 된다.
② 컴퓨터 시뮬레이션 연구에 따르면 문항반응수가 5, 7을 넘게 되면 더 이상 신뢰도가 올라가지 않고 평생선을 긋게 된다고 한다.
③ 따라서 리커트 척도를 이용하는 경우 검사의 신뢰도를 높이기 위해서 문항에 대한 반응수를 크게 늘리는 것은 바람직하지 못한 결정이라고 볼 수 있다.

라. 검사유형(= 속도검사의 신뢰도)

일반적으로 시간제한이 있는 속도검사의 경우에는 반분신뢰도보다는 검사-재검사법을 이용하는 것이 신뢰도 측정에 좋은 방법이다.

마. 신뢰도 계산방법(= 신뢰도 종류)

같은 검사라도 어떤 종류의 신뢰도를 측정했는가에 따라 신뢰도 계수가 다르게 나타날 수 있다.

 

3. 측정오차

① 관찰점수는 진점수와 오차점수를 합한 것으로 측정의 오차가 적으면 적을수록 신뢰도는 높다고 본다.
② 실제로 얻은 점수인 관찰점수(X)에는 정말로 받아야 하는 진짜 점수(T)에 측정과정에서 착오로 인하여 얻은 오차점수(E)가 섞여있다고 본다.
③ 측정과정에서 오차가 발생하는 원인은 측정도구자체의 결함이나 부정확성, 측정하는 사람, 피검사자의 심리적 속성 자체의 일시적 변동이나 환경적 조건의 특이성 등으로 볼 수 있다.
④ 오차변량이 적을수록 신뢰도는 1에 가까워지고, 오차변량이 커질수록 0에 접근한다.
⑤ 검사점수가 일관성 있게 나오지 않는 이유는 측정 시에 발생하는 오차 때문이다.
⑥ 측정 오차는 체계적 오차와 비체계적오차(= 무선오차)의 두 종류로 구분할 수 있으며 두 가지 모두 검사점수를 해석하는 데 중요한 고려 요소가 된다.
⑦ 체계적 오차는 일관성이 있는 오차이며, 비체계적 오차는 일관성이 없는 오차이다.

 

4. 측정오차를 줄이는 방법

① 문항수를 늘리고 문항의 반응수를 늘린다.
② 측정 도구의 모호성 제거 
③ 개인차 없도록 한다. 
④ 신뢰도가 검증된 표준화된 측정도구를 이용한다.
⑤ 신뢰도에 나쁜 영향을 주는 문항을 제거한다.
⑥ 내담자가 무관심하거나 관심 없는 것은 측정하지 않는다.
⑦ 측정자의 태도와 측정 방식의 일관성이 있어야 한다.