- 검사표준화

 - 문항분석

 - 통계분석 용역

  난이도 (Item Difficulty) : 선다형

어떤 문항에 올바르게 응답한 비율

(1) 문항이 응답자들의 속성수준에 적합한지를 검토한다.

(2) 너무 낮거나 높아도 안좋다. 즉, 난이도가 양극단이면 (아주 어렵거나 쉬우면) Variability가 떨어지고 검사점수의 폭이 축소된다.

  변별도 (Item Discrimination) ; 선다형 . 점수자 (Rating Scale)

각각의 문항에 대한 점수와 총점수간의 상관계수이다.
응답자의 검사점수에 문항 i를 포함하는 경우(item_total correlation)가 있고 포함하지 않는 경우(corrected item_total correlation)가 있다. 문항이 많을 경우는 m_total correlation이 쉽다.  Correct score와의 상관계수를 구하는 방법도 두가지가 있다.  Point_Biserial Correlatation은 일반적인 Pearson's Correlatation이고  Biserial correlatation은 Dichotomized scores ( correct VS. incorrect)와의 상관계수이다. 변별도는 높을수록 좋다.

  반응분포 (Distrator)

4지선다 문항중 정답이 A인 문항을 예로들면          

이 경우 틀린 답을 고른 %가 정답율보다 훨씬 크면 아래의 몇가지로 해석된다.
(1) 그 문제는 부분적 지식을 반영한다 : A와 C가 제일 그럴듯 한데 동전을 던져서 택한 경우
(2) 어느 잘하는 응답자 가운데서 틀린 답이 아주 Popular할 경우 그 문항은 아주 나쁜 문항이다.

  편의 (Skewedness)

응답자의 분포가 정규분포에서 크게 벗어나면 그 검사에 문제가  있다는 것이다.

잘못된 분포의 예를 들면 다음과 같다.

       (1) 문항들이 전반적으로 낮은 점수의 사람들을 세밀하게 구분하지 못하고 있다. ; 문제가 너무 어렵다.
       (2) 문항들이 전반적으로 높은 점수의 사람들을 세밀하게 구분하지 못하고 있다. ; 문제가 너무 쉽다.
       (3) 문항들이 전반적으로 중간 점수의 사람들들 세밀하게 구분하지 못하고 있다. ; 문항의 반은 너무             어렵고 반은 너무 쉽다.
       (4) 문항들이 중간정도로 어렵고 변별도가 좋은 문항이지만 쉽거나 어려운 문항이 다소 부족하다.
       (5) 응답자들이 서로 다른 두 개의 그룹으로 나뉘어진다.
       (6) 아주 드문 경우지만 문항들이 중간정도로 어렵고 변별도가  극히 높다. ; 주로 임상적 진단에             적용된다.

  표준정규분포 (Standardized Normal Curve)

 ;인간의 물리적 특성이나 심리적 현상들 즉, 키.가슴둘레,IQ등을  동일한 조건하에서 추출하여 분포를 나타내면 표본의 크기가 클수록 정규분포에  근사한다.

 이것을 평균을 0, 표준편차를 1로 표준화하면 통계적으로 아주  편리한 기준이 되는 표준정규분포곡선이 만들어진다.

위에 나타낸 Standardized Normal Distribution Curve의 Z-score, T-score, STENS, % 그리고, dIQ등의 척도들이 통상 가장 많이 사용되고 또한 중요한 것들이다.  간략히 정리하면 다음과 같다.

(1) Percentiles(%) ;

특정한 피검자의 백분위 (또는 백분위서열)란  규준집단내 에서 그 피검자보다 낮은 점수를 받는 사람의 비율을 말한다. 특히 주의할 점은 백분위 서열은 선형적(Linear)관계가  아니라는 점이다.

(2) Z-score ;

많은 검사들이 편포된 점수분포를 가진 채로  사용되고 있다. 점수분포가 편포되어 있는 경우는 그것이 정상분포하는  경우에 비해 특정한  점수가 차지하는 위치의 의미를 정확하게 규정하기 어려운  문제가 발생한다.
이때 원점수를 정상화 표준점수(Normalized Z-score)로  변환함으로써 이 문 제를 해결할 수 있다.

(3) Z-score의 변환형들 ;

Z-score는 평균이 0, 표준편차가 1 그리고, 최대최소가 ±3을 갖는 수치이므로 수치 자체가 대단히 추상적이다. 예를 들어  "Z-score 가 1.5이다"라고 하면  통계학적 개념에 익숙치 않은 사람에게는  무의미한 수치일 수 있다.  따라서 일단 원점수가 Z-score로 변환되면  그 Z-score를 다시 선형변환하여 의미파악이 보다 수월한 수치로 바꾸는  경우가 종종 있다.  이중 대표적인 것이 T-score, dIQ 그리고 Stenines 등이다.

     T = 50 + 10 Z-score  ; 평균을 50, 표준편차를 10으로 본  등간점수

     dIQ = 100 + 16 Z-score ; 평균을 100, 표준편차를 16으로  본 지능척도

     Stanines ; 원점수의 분포를 몇개의 범주로 나누어  표시한 것이다.
                   능력이나 특질차이를 아주 세밀히 구분할 필요가  없는 경우 사용
                   된다.  일반적인 구분은 9개의 범주를 이루고  평균이 5, 표준편차가
                   2인 척도로 사용된다.

     * SEm ; 측정의 표준오차 (Standard Error of Measurement)는 어떤 검사를 매번 실시할 때마다 달라질                  수 있는 오차의 범위를 제시한다.
                 예를 들어,  40문항의 검사에서 표준편차가 5.45이고  Coefficient alpha가
                 0.84이면 SEm은 2.16이 된다.  해석하면 어떤 학생이 검사를 받아서 점수가
                 30점이면 두번째 볼 때도 30+-2.16993내에 있을 것이라고  통계적으로 예측
                 할 수 있다는 의미이다.  즉, alpha수치가 높을수록 SEm은 적게 되므로 좋은
                 검사지라고 할 수 있다.

  신뢰도(Test Reliability)

    1. 검사 신뢰도의 개념

      1.1 소개

100% 정확한 측정 도구는 있을 수 없다. 전자 시계가 정밀하게 시간을 측정한다 할지라도 여기에는 소량이지만 약간의 오차를 포함하고 있다. 손목 시계의 평균은 더 많은 오차를 가지며, 따라서 어떤 시계에서 시간을 읽어 들이는 것은 절대적으로 사실을 나타낸다기 보다는 추정하는 것이라고 할 수 있다.

오차는 측정의 자연스런 결과이다. 우리는 도구들의 정확성이 각기 다르다는 것을 알고 있으며, 따라서 그 도구들이 만들어내는 오차의 정도도 다양할 것이다. 우리는 값싼 온실 온도기가 전자 감지장치만큼 정확하게 온도를 측정할 것이라고 기대하지는 않는다.

한번 관찰할 때의 오차를 완벽하게 확신할 수 있는 과학자는 없지만 도구가 만들어내는 오차의 전형적인 범위를 아는 것은 필수적이다. 이런 정보를 가지고 무장된 과학자는 추정된 값을 중심으로 +, - 의 수치로 나타낸 오차의 허용한도를 말할 수 있다.

측정의 정확성은 직업 검사에 있어서 아주 중요한 부분이다. 검사는 점수를 부여하지만 점수들이 완벽화게 정확하지는 않다. 따라서 점수는 개인의 능력이나 성격 특징들의 추정치로서 보아야만 한다.

      1.2 정의

검사의 신뢰도는 측정의 정확성과 관련된다. 다시 말해 신뢰도는 검사와 검사의 실시 및 채점 내에 존재하는 측정의 오차와 관련된다.

     1.3 검사신뢰도에 영향을 미치는 요인들

검사점수의 신뢰도를 감소시키는 5가지 주요 요인들이 있으며, 이것은 다음과 같다.

* 조 건 :

흐릿한 조명, 부적절한 책상, 과도하게 밀집된 검사실.

* 검사 지시 방법 :

표준화된 지시의 결여, 검사실시 카드무시, 불충분한 예제 설명, 부정확한 시간측정

* 채 점 :

잘못된 채점표(Scoring Key)의 사용, 채점 지시사항을 따르지 않는 것, 오류의 추가, 채점표 (Scoring Key)를 제대로 맞추지 못하거나 잘못 설계된 채점표.

* 일시적인 상황 :

질병, 피로, 동기저하, 시간, 익숙한 검사

* 내 용 :

모호하거나 애매한 문항들, 너무 짧은 검사, 부적절한 설계나 복제, 예제의 부재나 결여. 추측(Guessing).

     1.4 신뢰도와 타당도의 관계

신뢰도는 검사의 타당도와의 관계 때문에 중요하다. 검사의 타당도란 검사가 측정하고자 하는 것을 측정하는 정도나 관련성에 관한 것이다. 일반적인 법칙은 어떤 검사가 신뢰롭지만 특정 목적에는 타당하지 않을 수 있다. 그러나 검사가 타당하고 신뢰롭지 않을 수는 없다. 즉, 신뢰도는 타당도보다 상위 범위에서 정해진다. 만일 어떤 검사나 면접이 형편없거나 주관적으로 채점된 문항들로 구성된다면 그 검사는 타당도를 가질 수 없다. 다른 식으로 얘기하자면, 신뢰도가 타당한 측정의 전제 조건이라는 것이다.

높은 신뢰도를 갖지만 낮은 타당도를 갖는 검사의 예는 아마도 타이피스트를 선발하기 위해 물리학 시험을 보는 예가 될 수 있다. 간단히 얘기하면 다음과 같다.

신뢰도(Reliability)는 검사의 정확성을 얻는 것이며,

타당도(Validity)는 합당한 검사를 만드는 것이다.

     1.5 신뢰도에서의 두 가지 주요 문제

검사 신뢰도에 있어서 중요한 2가지 이슈는 다음과 같이 구분될 수 있다.

* 신뢰도 계수를 계산함으로써 검사의 신뢰도를 확립하는 것

* 개별 점수들의 오차범위나 허용한도를 설정하기 위해 신뢰도 계수를 사용하는 것

   2. 검사 신뢰도를 추정하는 방법

     2.1 신뢰도 계수(The Reliability Coefficient)

검사의 신뢰도는 일반적으로 동일 집단에 대한 동일한 검사의 2 개 또는 그 이상의 점수들간의 상관으로 나타낸다. 보통 적률상관 계수(product moment correlation coefficient)가 사용된다. 신뢰도의 3가지 주요 유형은 다음과 같다.

* 검사-재검사 신뢰도(Test-Retest Reliability )

* 동형 신뢰도(Alternate Form Reliability)

* 내적 일관성 신뢰도(Internal Consistency Reliability)

     2.2 검사-재검사 신뢰도(안정성) (Test-Retest Reliability )

검사-재검사 신뢰도는 한 집단에게 어떤 검사를 실시해서 얻어진 검사 점수와 얼마 후(보통 1달)에 동일 집단에게 재검사를 실시하여 얻은 검사 점수들에 대한 상관이다. 검사 신뢰도를 추정하는 이 방법의 문제는 기억이나 동기 요인들이 재검사 점수를 오염시킬 수 있다는 것이다.

     2.3 동형(유사) 신뢰도(Alternate Form Reliability)

동형 신뢰도는 동일 집단에게 유사한 형태로 된 2개 이상의 동일한 검사를 실시하여 얻어진 결과들간의 상관이다. 즉, 동형 신뢰도는 다른 유형의 검사가 얼마나 동일한 능력을 측정하는지에 관한 추정치이다.

     2.4 내적 일관성 신뢰도(Internal Consistency Reliability)

내적 일관성 또는 흔히 동질성이라고 불리우는 신뢰도는 한 검사에서 모든 문항들에 대한 결과의 일관성을 말한다. 검사의 내적 일관성을 측정하는 한가지 방법은 홀수와 짝수 문항들로 나누어 각 개인들의 홀수 문항과 짝수 문항에서 얻어진 점수들을 가지고 상관을 내는 것이다. 이것은 반분신뢰도라고 알려진 것이다. 잘 사용되는 또 한가지 방법은 Kuder-Richardson 신뢰도 계수와 Cronbach' Alpha인데 이것은 한 검사를 서로 상이하게 나누어 얻어진 결과들의 모든 반분 신뢰도 계수들에 대한 평균 값이다.

     2.5 일반적인 사항들

능력 검사에 있어서 일반적으로 신뢰도 계수는 3가지 방법으로 계산된 계수들 중 한 가지 이상이 .7 또는 그 이상이 되어야 한다.

모호한 내용은 어떤 신뢰도 방법을 사용하더라도 오차를 일으킬 수 있기 때문에, 좋은 내적 일관성을 갖는 검사는 보통 동형이나 검사-재검사 방식에 의해서도 신뢰로울 수 있다.

신뢰도를 추정할 때 우리는 일반적으로 합리적으로 통제될 수 있는 외부 요인들로 인한 오차를 고려하는 것이 아니고 검사 자체 내에 존재하는 실제적인 오차를 고려할 뿐이다. 예를 들어, 표준화된 지시를 무시하고 부적절하게 검사를 실시하는 산만한 검사 실시자는 측정의 오차를 늘리지만 상관계수가 부정확하게 실시된 모든 검사방법을 고려하여 얻어지지는 않을 것이다.

엄격하게 말해서, 검사의 신뢰도가 .8이나 .9라고 말하는 것은 부정확한 것인데 왜냐하면 신뢰도 계수는 특정유형에 대한 추정치이며 특정 집단을 기반으로 하기 때문이다. 특히 중요한 점 중의 한가지는 신뢰도 연구를 하는 그 집단에서 능력 범위의 축소가 신뢰도 계수를 감소시키는 경향이 있다는 사실이다.

   3. 오차의 허용

     3.1 검사 점수들의 오차범위의 추정

우리는 직업검사에서 얻어진 점수들이 일정하게 어느 정도의 오차를 포함하고 있다는 사실을 주목해왔다. 우리는 세가지 표준 방법들 중의 한가지 또는 그 이상의 방법으로 상관계수를 계산함으로써 검사의 측정의 정확성을 추정한다.

그러나 만일 모든 검사들이 어느 정도 신뢰롭지 못하다면 개별 점수들을 다룰 때 오차를 허용할 수 있는 방법이 있는가? 통계학은 측정의 표준오차(SEm: Standard Error of Measurement)라고 불리는 것을 고안했는데, 이것은 오차에 대한 문제를 처리할 수 있도록 도와준다.

측정의 표준오차는 개별점수를 다룰 때의 오차를 반영하며 앞서 4장에서 훑어본 평균 표준오차(Standard Error of Mean: SEMEAN)는 두 집단의 점수들에 관한 추정치의 오차를 반영한다는 점을 주목해야 한다.

     3.2 측정표준오차(SEm)의 계산

특정 점수가 주어질 경우 측정 표준 오차는 어떤 지원자가 재검사에서 받게 될 점수의 제한 범위를 추정할 수 있게 해준다. 즉 이것은 관련 점수들의 표준편차(SD)와 신뢰도 계수로 계산할 수 있다. SEm은 보통 원점수나 표준 점수로 표현되지만 백분율이나 등급으로는 표시하지 않는다.

그림 1. SEm 의 공식

rt = 신뢰도 계수

SD = 원점수, Z 점수, T 점수나 기타 표준 점수시스템에서의 점수들의 표준 편차

그림 2. 측정의 표준 오차 계산

전체 76명의 사람들이 사무자동화 배터리 검사에서 컴퓨터 체킹(CC2) 검사를 받았다. 부속검사인 수리검사에서 받은 그들의 원점수는 6.14의 SD(표준편차)를 갖고 신뢰도 계수가 .88 이라고 할 때 SEm 의 계산은 다음과 같다.

                             SEm = 6.14

                                     = 2.13 원점수

     3.3 SEm 의 해석

측정의 표준오차(SEm) 은 오차 때문에 일어나는 점수들의 표준편차로서 정의될 수 있다. 우리는 다음과 같은 2가지 가정을 한다.

* 어느 개인에게서 얻은 원점수는 그 사람의 능력에 대한 최선의 추정치이다.

* 이 최선의 추정치의 변산은 정상 분포인 경향이 있다.

우리는 정상분포 곡선에 관한 지식에서 나온 이와 같은 가정하에서 재검사나 어떤 유사형태의 검사에서 그 사람의 점수가 +, - 1표준오차 사이에 놓일 확률이 68% 이라고 말할 수 있다. 또한 측정치의 +,- 2표준 오차 사이에 놓일 확률은 약 95%라고 할 수 있다.

우리는 원 점수, Z 점수, T 점수, Sten 및 IQ의 편차(예를 들어 SD가 15인 IQ척도일 때, 약 ±6점)로서 SEm을 표현할 수 있지만 백분율이나 등급으로는 표현할 수 없다.

     3.4 두 지원자들간의 차이

지원자들의 작은 차이를 너무 강조하는 것은 위험할 수 있다. 다음 예를 한번 보도록 하자.

그림 3. 지원자들간의 차이

6명의 대학 졸업생들이 수리추론 검사를 받았다.

                             점 수

은영                        34

대현                        26

정호                        24

윤성                        22

종완                        16

성희                        14

여기서 대현과 정호 그리고 정호와 윤성의 점수 간에 진정한 차이가 있다고 확신할 수 있는가? 일반적인 지침은 둘 사이에 진정한 차이가 있다고 충분한 확신을 갖기 전에 두 지원자들의 2 SEm 범위에서의 차이를 참작하는 것이다. 따라서 대현, 정호 및 윤성 사이의 차이는 아마도 우연일 수 있다.

     3. 5 검사 신뢰도에 관한 추가 사항들

부분적으로 검사의 신뢰도는 검사의 길이에 달려있다. 모든 것이 동일하다면 긴 검사일수록 짧은 검사보다 더 신뢰롭다.

신뢰도에 대한 내적 일관성 추정치는 검사 문항들이 독립적이지 않을 경우 거짓으로 높은 상관계수가 나올 수 있기 때문에 검사 문항들이 독립적인 검사일 때 사용해야 한다.

만일 검사가 높은 검사-재검사 신뢰도를 보인다고 해도 이것이 검사를 다시 실시했을 때 연습효과가 없다는 것을 의미하는 것은 아니다.

검사를 반으로 나누어 상관을 낼 경우(반분신뢰도) 전체 검사에 대한 신뢰도를 과소 추정하는 경향이 있다. 스피어만 브라운(Spearman Brown) 공식은 이러한 문제를 수정하는 전통적인 방법이다.

     3.6 한 사람의 두 검사에서 받은 점수 차에 대한 신뢰도

우리는 지도를 하거나 배치에 대한 결정을 할 때 이따금 어떤 사람이 어떤 검사에서 더 잘 하는지 알고 싶어한다. 서로 다른 점수의 신뢰도는 그 두 검사들의 신뢰도와 검사들간의 내적 상관에 달려 있다. 일반적인 지침으로는 만일 그 점수들의 차이가 1 Z 점수(즉 1표준 편차)만큼 차이가 있을 경우, 두 점수들간에 유의한 차이가 있다고 말할 수 있을 뿐이다.

이것을 보여주는 한가지 방법은 프로파일 차트에 찍힌 그 사람의 검사 점수의 양쪽으로 5개의 T 점수를 빗금을 쳐 음영을 넣는 것이다. 만일 음영 부분이 서로 겹치지 않는다면 합리적으로 검사 점수들간에 유의한 차가 있음을 확신할 수 있다.

좀 더 정확한 방법은 두 점수 차이에 대한 표준 오차를 계산하는 것이다. 이것은 두 검사간의 측정의 표준오차에 기초하며 공식은 다음과 같다:

여기서 SEd = 같은 사람의 두 검사에 대한 점수차이의 표준 오차

SEm1 = 첫 번째 검사에 대한 표준점수로 된 측정의 표준오차

SEm2 = 두 번째 검사에 대한 표준점수로 된 측정의 표준오차

만일 첫 번째 검사의 SEm1 이 4.6 T점수이고 다른 하나는 3.9 T점수라 할 때 차이의 표준오차는 다음과 같다 :

        = 6.03

이와 같은 사실을 근거로, 한 사람이 두개의 다른 검사들에서 받은 점수들의 차이가 약 T 점수 6이라면(즉, 1SEd) 우리는 능력에서 실제적인 차이가 있음을 대략적으로 68% 정도 확신할 수 있다. 만일 2표준오차(즉, 12 T점수)를 허용한다는 것은 실제로 능력에서 차이가 있다는 것을 95% 확신할 수 있음을 의미한다.

      3.6.1 검사들의 상호상관과 점수의 신뢰도

두 검사들이 상관이 높은 경우 이는 점수들의 차이에 대한 신뢰도를 감소시킨다. 검사 점수에서의 차이가 검사점수의 진정한 차이라기보다는 무선 오차 변량으로 일어날 가능성이 더 크기 때문이다.

그러나 두 검사간의 높은 상관은 이 검사들에서 나온 점수들의 합에 대한 신뢰도는 증가 시킬 것이다. 두 검사가 본질적으로 같은 것을 측정할 때 검사의 길이를 2배로 만드는 것이 그 검사의 신뢰도를 높이는 것처럼 2개의 점수를 더한다는 것은 신뢰도를 증가 시킨다.

  4. 검사의 평가

    4.1 소개

심리측정 검사의 장점을 효과적으로 평가할 수 있기 위해서는 검사가 어떻게 개발되었는지를 평가하는 것이 유용하다.

검사의 구성은 많은 시간을 소비하는 일이며 숙련을 요하는 과정으로 5가지 주요 단계로 나누어 질 수 있다.

1. 설계 및 계획

2. 문항 작성

3. 문항 선택

4. 문항 분석

5. 최종 양식으로 조합

     4.2 설계 및 계획

새로운 검사를 개발하기 위한 첫걸음은 직무분석 연구에서 비롯된다. 검사가 무엇을 측정하며, 검사의 길이, 양식 및 수준은 어떤지에 대해 분명하게 정의할 필요가 있다.

    4.3 문항 작성

문항은 직무명세서에 따라 작성될 수 있으며, 모호하거나 직무내용과 관련있다고 판단하기 어려운 문항이 없다는 것을 확신해야 한다. 이 단계에서 일반적으로 최종적으로 필요한 문항수의 2배까지 작성된다. 문항 작성은 상당한 기술이 요구된다. 사람들을 착각하게 하거나 복잡한 문제는 피해야 한다. 정답 이외의 나머지 선택 문항들은 주의를 끌 수 있을 만큼 유사해야 하지만 혼동할 만큼 정답에 가까워서는 안 된다.

이 단계에서 모든 문항들을 검토하는 것이 유용하다. 문항을 풀 때 한가지 관련 능력만이 요구될 수 있도록 하는 것이 중요하다. 예를 들어, 수리추론 문항들이 높은 수준의 독해능력을 요구해서는 안된다. 고용기회 균등에 관한 문제들을 고려해야 하는데, 어떤 집단에게 덜 친숙한 자료들은 피해야만 하다. 최종적으로 예시 문항들은 모든 문화 및 성별을 고려하여 뽑아져야만 하고 어떤 특정 집단에게 불쾌감을 줄 수 있는 문항은 포함되지 않도록 주의를 기울여야 한다.

    4.4 문항의 예비검사

예비검사를 위한 문항들은 특정 문항이 검사의 한 위치에 일정하게 나타나지 않도록 상이한 순서대로 인쇄된다. 예를 들어 검사의 마지막 문항은 많은 지원자들이 풀지 못할 수도 있으며 따라서 그 문항의 장단점을 판단할 수 있는 자료가 불충분할 수 있기 때문이다.

예비검사를 위해서 약 200명에서 300명 정도의 집단이 필요하다. 이것은 검사가 사용될 사람들의 대표성을 얻기 위해 필요한 것이데 학력, 연령, 인종 및 성별과 관련해서 비교 가능하게 구성되어 있어야 한다. 이들에게는 또한 동기를 부여할 필요가 있다. 좀 더 일반적으로 말하면 문항 BANK는 시간 제한에 구애 받지 않고 실시되는데 이는 검사를 받는 집단에서 적절한 비율의 사람들이 예비검사를 끝낼 수 있도록 하기 위한 것이다.

    4.5 문항 분석

결과 자료의 분석은 문항들이 괜찮은 것이었는지 얼마나 어려운지 그리고 문항들이 결과가 좋은 사람과 나쁜 사람을 얼마나 잘 구분할 수 있는지를 보여준다. 검사의 신뢰도와 타당도에 유의하게 기여하는 문항들만이 최종 양식에 남게 될 것이다.

각 개별 문항들에서 나온 응답은 전체 검사의 원점수와 상관이 계산된다. 만일 양분된 채점 방법이 사용된다면(예를 들어 틀린 것은 0, 맞은 것은 1) 양분 또는 양분점 상관계수(biserial or point-biserial correlation coefficient)가 사용된다. 성격 검사지에서 사용되는 것처럼 좀 더 정밀하게 나누어진 채점법이 사용된다면 적률 상관계수가 사용될 수 있다.

문항 척도 상관이 높은 문제들( +. 3 이나 그 이상)은 검사에 그대로 남아 있게 되지만 상관이 낮은 문제들은 제거하게 된다. 이러한 과정은 최종 측정의 내적 일관성을 높이는 효과를 가지며 따라서 검사-재검사 및 동형 신뢰도도 높일 수 있다.

그림 6. 문항 점수 매트릭스

그림 6은 가상적인 문항 점수 매트릭스로 문항 2번과 6번은 높은 상관을 가지며 문항 1, 3, 4, 5은 낮은 문항척도 상관을 갖을 것이다.

그림 7. 5개 검사 문항에 대한 문항-척도 상관

* : 정탑을 나타냄

그림 7은 문항 Pool에서 처음 다섯 개 문항들에 대한 문항 척도 상관 표를 보여주고 있다. 문항1은 전체 검사 점수와 높은 상관(.58)을 갖는 보통정도로 쉬운 문항이다. 문항 2는 좋지 않은 문항인데 C 선택 답안이 혼선을 주기 위한 A 선택 답안보다 거의 차이 없이 상관이 나왔기 때문이다. 문항 3과 4는 각각 평균적이고 중간정도의 난이도를 보이는 좋은 문항이다. 처음에 문항 5는 좋은 문항으로 보였지만(선택지 B가 전체 검사와 .38의 상관을 가졌다) 틀린 답안(선택지 E)이 더 높은 상관을 보였다.

    4.6 최종 양식으로의 조합

일단 문항분석에서 가장 좋은 문항들이 선택된 후에는 문항들은 보통 최종 검사지를 만들기 위해 난이도의 오름차순에 따라 배열한다. 그리고 나서 속도 검사(speed tests)에서는 짧게 계획된 제한시간 안에 그리고 능력 검사(power tests)는 시간의 구애를 덜 받으며 지시가 주어지고 보기 문제들을 실시하는 것이 필요하다. 신뢰도 계수는 최종 양식에 따라 새로운 표본집단으로부터 수집되어질 것이고 타당도 자료와 검사 규준 집단 역시 얻어질 것이다. 가능한 규준으로 할 집단은 의도한 모집단을 대표해야 하며 특히 성별 및 소수 집단에 관한 구성에 주의를 기울여야 한다.

     4.7 효과적인 심리측정 검사를 평가하는 방법

검사가 측정하는 능력에 관해 분명한 명세사항을 살펴보고, 검사를 받는 집단들에 대한 설명이 학력, 경력, 성별, 인종 등의 면에서 적절한지 살펴보도록 한다. 검사 구성과정에 대한 정보 즉, 최종 검사지의 예비검사 시행 뿐 아니라 초기 개발, 예비 검사, 문항 분석에 대한 정보를 물어보도록 한다.

좋은 검사는 표준화되고 이전에 시행해 본 적이 있는 분명한 실시 지시서를 가질 것이다. 또한 매뉴얼에는 문항 내용과 검사의 예측 능력에 관한 검사의 신뢰도와 타당도에 대한 정보가 있어야 한다. 마지막으로 관련 규준집단이 인종 소수집단, 남성, 여성에 대해 대표성을 가질 수 있는 비율로 구성되어져야 한다.

       4.7.1 질문 체크 리스트

다음과 같은 질문 목록이 심리측정 검사를 제시 받았을 경우 유용할 것이다.

● 이 검사는 무엇을 측정하기 위해 설계 되었는가?

● 문항들이 어떻게 개발되고 선택되었는가?

● 공정성을 확인 했는가?

● 이 검사는 누구에게 시행되었는가?

● 좋은 점수와 나쁜 점수를 구분해 주는가?(S.D.)

● 이 검사가 얼마나 신뢰로 운가?

● 타당도 증거로는 어떤 것이 있는가?

● 어떤 규준을 사용할 수 있는가?

  검사 타당도

   1. 검사 타당도의 개념

     1.1 정의

검사, 면접이나 기타 평가절차가 직무나 훈련수행 성과와 관련되고 직무나 훈련성과를 예언하는 정도. 타당도에는 몇 가지 유형들이 있다.

그림 1. 타당도의 유형

     1.2 진실 타당도(Faith Validity)

검사들에 대한 시각은 극단적일 수 있다. 아무런 증거 없이 검사를 선발 및 상담의 도구로 사용하길 거부하는 사람들이 있다. 반면, 검사에 대해 적절한 구성이나 신뢰도 및 타당도를 살펴보지 않고 위험스럽게 사용하는 사람들도 있다. 검사의 심리측정 특성을 조사해보지 않고 검사를 의심 없이 받아들이는 것, 또는 검사 정확성에 대한 제한 점들을 고려하지 않고 검사를 잘못 해석할 때 우리는 진실타당도라는 말을 쓴다.

     1.3 안면 타당도(Face Validity)

안면 타당도는 어떤 검사가 특정 직무와 관련성이 있어보이는지 또는 받아들일 만한 것 인지와 관련된다. 안면 타당도는 관리직 및 지원자들이 검사를 수용할 수 있도록 하는데 도움을 주지만, 그 검사가 실제로 반드시 직무수행을 예언한다는 것을 보장하지는 않는다. 불행히도 검사를 선택할 때 단순히 이런 안면 타당도에 의존하는 경우가 종종 있다. 그러나 명성 있는 검사 매뉴얼은 그 검사의 사용을 지지해 주는 통계적인 자료를 보여줄 것이며, 이것이 검사를 선택할 때 고려해야 할 점이다. 그러나 낮은 안면 타당도는 지원자가 선발 절차를 의심하게 할 수 있다.

     1.4 내용 타당도(Content Validity)

고용 법규, 특히 인종 및 성차별 법령은 최근에 내용타당도의 중요성을 크게 부각시켰다.

검사의 내용 타당도란 검사의 내용과 직무 내용간의 관련성에 관한 것이다. 즉, 검사가 직무를 구성하는 활동들과 합리적으로 관련될 수 있는가 하는 정도를 말한다. 내용 타당도는 합법적인 선발절차의 전제가 되며 경험 타당도 연구를 진행하기 전에 필요한 첫번째 단계이기도 하다. 내용 타당도는 흔히 직무분석 실행에 달려 있다.

     1.5 구성 타당도 (Construct Validity)

구성 타당도는 다른 타당도의 개념보다 추상적인 것으로, 검사가 어떤 이론적인 구성개념이나 특성들을 측정하고 있는 정도를 말한다. 이론적인 구성개념이란 기계, 언어나 공간 능력, 정서적 안정성이나 리더쉽이 될 수도 있다. 검사의 구성 타당도에 대한 개념을 세운다는 것은 장기적인 과정일 수 있으며, 조사를 하면서 구성요인의 성질 면에서 얻어지는 정보들을 포함한다. 예를 들어 다른 검사들과의 상관은 검사의 구성 타당도에 관한 유용한 정보를 제공할 수 있다(우리는 기계 능력 검사가 사무 속도 및 정확성 검사보다는 다른 기계능력 측정치와 더 높게 관련 되리라고 기대할 것이다). 복잡한 통계 기법들, 즉 단순히 상이한 검사들 사이의 내적 상관(inter-correlation)에 대해 시각적으로 조사하는 기법들은 종종 구성 타당도와 결합되는데 이것이 요인 분석이다.

검사의 구성 타당도를 이해할 수 있게 하는 또 다른 정보는 내적 일관성, 신뢰도 및 연령, 성별, 검사 점수들에 대한 문화와 같은 변인들의 효과를 포함한다.

     1.6 경험 타당도(Empirical Validity)

경험 타당도는 검사 결과와 직무 성과와 연결되는(상관되는) 정도를 다루는 것이다. 경험 타당도는 2가지 방법으로 조사할 수 있다.

       1.6.1 동시 타당도(Concurrent Validity)

동시 타당도는 검사 점수와 동시에 얻어진 직무나 훈련 성과의 몇 가지 준거들간의 관계이다. 따라서 우리가 기존의 컴퓨터 오퍼레이터 집단에 검사를 실시하고, 그들이 관리자에게 받은 업무성과 결과와 상관을 낸다면 동시 타당도 연구를 하는 것이 된다. 동시타당도의 과정은 그림 2에 나와 있다.

그림 2. 동시 타당도

       1.6.2 예언 타당도(Predictive Validity)

예언 타당도는 검사와 장래의 결과나 '준거'들과 상관되는 정도를 말한다. 이 타당도 형식은 인사 선발 및 배치에 결정적으로 중요한 것이다. 이상적으로 우리는 지원자들에게 검사를 실시하지만 검사점수를 고려하지 않고 선발하고, 어느 정도 기간이 흐른 후에 검사와 직무성과 측정치간의 관계를 보기위해 사후조사를 한다. 이 과정은 그림 3에 나와 있다.

그림 3. 예언 타당도

     1.7 타당화의 일반적인 절차

어떤 검사를 사용할지 결정할 때 한가지 이상의 타당화 방법을 사용하는 것이 꽤 일반적이다. 사실 한가지 방법으로 나타난 사실보다 합리적 방법(직무분석)과 경험적 접근법(통계적 접근법)이 일치하면, 검사의 타당도에 관해 상당히 많은 자신감을 갖을 수 있는 것처럼 이렇게 한가지 이상의 타당화 방법을 사용하는 것이 단연 최선의 접근방법이 된다.

타당화 절차는 그림 4에 나타나 있다. 일반적으로 타당화 절차는 직무분석을 통해 정당성을 보여주는 검사의 내용 타당도로 시작한다. 경험적인 연구를 하는 것이 불가능하다면, 직무분석을 좀더 철저하고 객관적으로 해야 하며, 이 방법만이 검사선택과 사용을 결정하는 유일한 방법이 될 것이다(다른 조직의 유사한 직무에 대해 수행된 경험적 연구를 검토하는 일은 검사를 지지하는 정보를 제공해줄 수 있다.

만일 몇 가지 연구가 가능하다면 직무분석은 동시 타당도나 예언 타당도 연구를 통해 점검된 유용한 검사들을 결정해 준다. 이러한 연구들은 얼마나 검사가 중요한지, 어떤 검사가 가장 적절하며 직무의 효과적 수행에 어느 정도 수준의 점수가 요구되는지를 보여주는데 아주 유용하다.

예언타당도 연구는 시간지연의 이유 때문에, 처음에는 기존의 종업원들에게 실시되는 동시타당도가 일반적으로 쓰인다. 이상적으로 한다면 이 동시타당도 연구 이후에 예언타당도 연구가 이어져야 하지만 실제로 검사들은 일반적으로 동시타당도 증거와 직무분석에 기초한 선발절차 내에서 실시되어진다. 그러나 선발결과를 언제나 모니터 하고 성공적인 지원자들을 추적 조사하여야 예언 정보들이 선발과정을 개선하는데 사용될 수 있다.

그림 4 . 타당화 절차

   2. 동시 타당화와 예언 타당화에서의 문제

     2.1 동시타당도 연구의 단계

동시적으로 검사를 타당화 하는 단계는 다음과 같다. (그림 5a, 5b)

이장의 다음에 나올 기법을 사용하여 직무내용을 분석한다.

직무분석 결과로부터 관련 검사를 선택하고, 검사매뉴얼에 제시된 신뢰도/타당도 및 기타 기술적자료를 잘 살펴본다.

직무 또는 훈련의 성과준거를 개발하고 직무나 훈련성과 준거들은 가능한 관련성 있고 객관적이 되도록 한다. 이 단계에서 직무분석이 도움이 될 수 있다.

표본은 같은 직무에서 일하는 재직자가 적어도 50명이 되어야 한다. 이상적으로는 좋은 성과자와 평균 성과자 및 나쁜 성과자가 모두 골고루 포함되도록 해야 한다. 그렇지 않으면 타당도 계수에 범위 축소 현상이 일어날 수 있다.

검사를 실시하고 직무 재직자들을 직무/훈련 준거상에서 평가한다. 검사결과에 관해 피드백을 주는 것은 협력을 얻을 수 있는 좋은 동기부여 요인과 보상이 된다.

적률 상관계수를 사용하여 결과를 상관시킨다. 이것이 동시타당도 계수이다.

그림 5a. 동시 타당도 연구의 단계

그림 5b 동시 타당도 연구의 단계

     2.2 예언 타당도 연구의 단계

예언 타당화에서는 흔히 직무 재직자들보다는 지원자들을 다룬다.

이상적으로 검사는 지원자들에게 실시되어야 하지만 검사결과는 선발목적으로 사용되지 않아야 한다. 검사결과가 선발에 사용된다면 범위축소 현상이 일어나며, 타당도 계수는 심하게 과소 추정될 것이다(범위축소에 관해서는 2.3.4단락을 보시오).

범위축소 현상은 또한 성과가 나쁜 사람이 남아있거나 성과가 좋은 사람이 다른 직무로 승진되었을 경우에 직무/훈련성과의 준거상에서 일어날 수 있다.

선발된 지원자가 훈련이나 직무경험을 겪는 동안 몇 년 또는 몇 개월의 시간이 흐르고 난 뒤에야 검사의 타당도를 확립활 수 있다는 것을 유념해야 한다.

동시 타당화에서와 같이 직무/훈련 준거는 객관적이며 관련성이 있어야 한다(준거의 비신뢰도에 관한 2.3.2 단락을 보시오).

그림 6a 예언 타당도 연구의 단계

그림 6b 예언 타당도 연구의 단계

     2.3 경험 타당도 연구의 문제점

       2.3.1 준거의 문제

검사를 타당화 하는데 필요한 적절한 준거를 얻는 것이 항상 쉬운 일은 아니다. 직무수행을 평가할 수 있는 방법은 여러 가지가 있다. 직무수행측정치는 "Hard"와 "Soft"로 구별될 수 있다.

Hard 직무성과 준거는 판매실적, 승진회수와 같이 구체적이고 실제적인 정보들에 기초한다. 이러한 것들은 객관적인 평가를 할 수 있지만 개인의 직무수행과 항상 관련성이 있는 것은 아니며, 개인의 직무수행보다는 다른 요인들에 의해 영향을 받을 수도 있다. 이 단락에서는 이런 문제들을 좀 더 상세하게 논의하고자 한다. 예를 들어 판매실적은 지역적인 경제적 상황, 고객의 기본사항과 같은 요인들에 영향을 받을 수 있다. 그러나 가능하다면 타당도 연구가 수행될 때, 이와 같은 요인들을 고려해야만 한다.

"Soft" 직무성과 준거는 개인의 직무수행에 대한 관찰 및 개인의 평가/평정에 기초한다. 이와 같은 준거들은 덜 객관적이지만 가치있는 증거들을 제시해 줄 수 있다. 더 나은 "Soft" 준거 일수록 직무관련 역량에 비추어 체계적이고 구조화된 평가양식을 통해 수집된다. 이렇게 직무 관련된 역량은 개인의 편향을 줄이고 얻어진 평가의 신뢰도를 높일 수 있다.

그림 7은 타당도 연구에 사용될 수 있는 "hard" 와 "soft" 성과준거 범위에 대한 하나의 예를 보여주고 있다.

그림 7. 직무성과 준거

       2.3.2 신뢰성 없는 준거의 수정

검사 타당화에 있어서 가장 커다란 두 가지 문제는 검사 자체가 아니라 적절한 표본수를 얻는 것과 편향되지 않은 직무 성과/훈련 준거를 개발하는데 있다.

준거의 축소 현상에 대한 수정 공식

여기서 = 준거의 비신뢰성에 대한 수정된 상관계수

            = 타당도 계수

            = 준거의 신뢰도

예를 들어, 수리능력 검사가 관리직의 성과 평정치와 +.37로 상관되었다면 평정의 신뢰도는 +.60으로 추정되며 이때, 검사 타당도의 좀 더 정확한 지표는 + . 48이 된다.

      2.3.3 표본 크기

타당도 연구는 이상적으로 50명 또는 그 이상의 사람을 포함해야 한다는 것이 일반적으로 받아들여지고 있다. 그러나 이것이 언제나 가능한 일은 아니다. 예를 들어 어떤 직무는 그 직무 재직자가 50명 보다 적을 수 있다. 규모가 작은 연구의 결과일수록 주의를 갖고 해석해야 한다.

       2.3.4 범위의 축소

일반적으로 합격(cut-off)점수가 사용되는 경우처럼 검사가 선발결정에 영향을 줄 때, 검사와 몇 가지 직무성과 준거간의 상관계수는 과소추정 된다. 그림 8은 전체 집단(구획 안의 전체 점들)이 선발된 집단(상자로 표시한 부분)보다 얼마나 더 선형적인 모양을 나타내는지를 산포도로 나타내고 있다.

그림 8 범위 축소를 보여주는 산포도

축소된 범위의 수정

축소된 범위를 수정하기 위한 공식은 다음과 같다 :

   = 축소된 범위를 위해 수정된 타당도(상관)계수

   = 타당도 계수

   = 선발된 지원자들의 표준편차

   = 모든 지원자들의 표준편차

검사와 훈련 성과와의 상관이 .+40이라고 가정해 보자. 검사에서 선발된 지원자들의 표준편차는 6 (SDX)이고 모든 지원자들의 표준편차는 12(SDy)이다. 그렇다면, 축소된 범위를 수정한 타당도 계수는 얼마인가?

     =

     = .66

   3. 경험 타당도의 대안들

경험타당도 연구가 강력하게 추천되긴 하지만, 앞서 말했던 이유들 때문에 이 연구가 모든 직무에 대해 항상 가능한 것은 아니다.

     3.1 직무 분석

직무분석은 직접적인 관찰에서부터 일지를 쓰는 방법에 이르기까지 광범위한 기법들을 포괄하고 있다. 광범위한 직업 범주들을 포괄하는 3가지 주요 기법을 사용하고 있다.

중요사건 분석 (Critical Incidents Analysis)

집단 또는 개별적인 형태로 관리자, 감독자 또는 직무 재직자들의 표본을 추출하여 그들에게서 잘했거나 못했던 직무 행동에 대한 예시들의 목록을 적는다. 이때, 면접자는 각 구체적 사건들과 관련된 행동들에 대해 가능한 많은 정보를 이끌어내는 기술이 필요하다.

그림 9. 직무분석 과정

레퍼토리 그리드 기법 (Repertory Grid Technique)

이 방법은 심리학자 George Kelly가 처음 제안한 것으로 개인의 태도와 신념체계를 발견하는 방법이며, 현재는 마케팅 뿐 아니라 기타 심리학 영역에서 광범위하게 사용되고 있다. 보통 관리자들이나 직무 훈련자들에게 직무 성과가 좋은 사람 5명과 나쁜 사람 5명의 이름을 각각 카드 한 장에 한명씩 쓰도록 한다. 3장의 카드를 뽑도록 하고 나서 과제는 세 명중에서 2명과 나머지 한명을 구분하는 특성이 무엇인지 밝히도록 한다. 이러한 특성이나 구성 요인들이 열거되고 정의 되면 다음 카드 3장을 다시 뽑는다. 이러한 절차를 더 이상의 특성을 생각해낼 수 없을 때까지 계속한다.

    3.2 타당도 일반화

많은 연구자들은 유사한 직무 즉, 타당도 결과가 일반화 될 수 있는 그런 직무에 대해 이전에 타당도 연구가 이루어졌다면 타당도 연구가 항상 필수적인 사항은 아니라고 제안해 왔다. 그러나 특정 회사의 타당도 연구는 종종 직원의 관여 및 수용을 얻어내고, 효과적으로 검사 절차를 도입하는데 있어 대단히 도움이 된다.

타당도 연구를 할 수 없는 고용주들은 다른 연구들에서 나온 결과를 일반화할 수도 있다.

결과를 일반화 할 때 다음과 같은 문제들을 주의 깊게 고려해야 한다. 즉, 수행된 연구의 수, 표본 크기, 연령, 성별, 인종, 학력, 경력, 직무의 유사성 및 사용된 준거와 같은 면에서 표본 모집단의 유사성을 고려해야 한다.

타당도 연구에 대한 가장 포괄적인 조사는 아마도 1973년 Ghiselli가 했던 연구일 것이다. Ghiselli는 지난 몇 년 동안 미국에서 행해진 모든 타당도 연구들을 조사하였고, 수용할 수 있는 기술적 기준에 들지 않는 연구들을 가려내었다. 그의 연구의 주요 결과를 요약하면 그림 10과 같다.

그림 10. 인사선발과 관련된 적성 검사들의 타당도

Ghiselli 는 능력 검사들이 대부분의 직업 영역들과 관련성이 있었지만 관련된 특정 능력들에 대한 검사("차이 능력 모델" 을 따르는 검사들)들이 "일반적인 능력"들에 대한 검사들보다 더 타당하다는 것을 발견하였다. 또한, Ghiselli는 능력 검사들이 실제 직무수행보다는 훈련 성과들에 대해 약간 더 예측력이 있음을 발견하였다. 이와 같은 결과는 아마도 훈련성과 준거에 대한 신뢰도가 훨씬 더 크기 때문일 수 있다.

1986년 영국의 Mike Smith박사는 이와 유사한 연구를 수행하였다. Mike Smith박사는 meta분석이라는 기법을 사용하여 많은 작은 연구들의 결과를 결합하였다. 전반적으로 Mike Smith박사는 능력 검사들이 다른 평가 방법들에 비해, 대략 0.5 정도의 타당도를 갖는다고 결론지었다. Hunter와 Schmidt가 했던 이 영역과 관련된 상당량의 다른 연구들도 이런 사실들을 지지하고 있다.

그림 11은 상이한 선발 방법들의 정확성을 보여주고 있다(Smith, 1989).

그림 11. 선발 방법들의 정확성(범위 축소와 준거의 Contamination에 대한 수정)

   4. 타당도 계수의 해석

     4.1 타당도 계수는 무엇을 의미하는가?

동시 타당도나 예언 타당도 방법을 사용하여 어떤 검사에 대한 타당도 연구를 하고, 연구결과 직무 성공과의 상관이 . 35였다면 이 수치가 의미하는 것은 무엇인가? 이 타당도는 선발과정을 개선해야 한다는 것인가, 개선할 필요가 없다는 것인가? 정답은 상황에 따라 다르다는 것이다. 타당도 계수의 유의미성과 유용성을 결정하는 요인들이 아래에 나와 있다.

     4.2 상관계수

상관 계수의 크기와 방향(양수인지 음수인지)을 보라. 능력 검사들에 대해 일반적으로 우리는 긍정적 상관을 추구하며, 더 큰 값일수록 더 좋다.

     4.3 표본 크기와 통계적 유의성

상관의 크기는 표본의 크기에 좌우되기 때문에 확고한 결론을 내리기에는 충분치 않다. 아주 많은 상관계수를 계산하였다면, 몇몇 상관 계수들은 우연하게 0에서 아주 다양하게 떨어져 있을 수 있다. 상관에 관한 장에 나와있는 그림 11은 타당도 계수의 통계적 유의성을 추정하는데 사용될 수 있다. 보통은 두 변인들이 실제적인 관계를 보이고 있다고 추론하기 전에 상관이 1%, 또는 5%수준에서 유의하기를 기대한다.

    4.4 준거의 객관성

검사와 준거간의 상관을 해석할 때, 신뢰도와 준거의 객관성을 고려해야만 한다. 낮은 타당도 계수는 종종 주관적인 준거로 일어난 결과이다. 준거의 비신뢰성에 대한 상관계수를 수정하는 공식은 2.3.2 단락에서 설명되었다.

    4.5 범위의 축소

검사가 선발에 사용되었을 때 동시타당도 연구 또는 예언타당도 연구에서 준거의 범위가 축소되었다면 타당도 계수는 실제 값을 과소 추정할 것이다. 축소된 범위에 대한 공식은 2.3.4 단락에서 설명하고 있다.

     4.6 상관의 유의성

때때로 타당도 연구는 논리적으로 맞지 않는 결과를 초래할 수 있다. 이러한 결과는 보통 직무 성과를 평가하는 방법이 인위적이기 때문에 일어날 수 있고, 따라서 의사결정 전에 주의 깊게 직무성과를 평가하는 방법을 고려해야만 한다.

또한 자료에 있는 많은 예외들이 해석 불가능한 결과를 낳을 수도 있다. 그러나 좋은 연구설계와 표본 크기를 가정한다면, +0.2 나 그 이상의 타당도 계수는 우연에 의한 예측이상의 것을 나타내는 것이다. 능력 검사에 대해 +0.3의 타당도는 매우 유의한 개선으로서 보여질 수 있으며, +0.4(또는 그 이상)는 뛰어난 것으로 볼 수 있다. 수정을 하게 되면 더 큰 타당도 계수를 예상할 수 있다. 수정된 타당도 계수와 수정되지 않은 타당도 계수를 비교할 때는 주의를 기울여야 한다.

  상 관(Correlation)

관계에 관한 연구

   1. 상관이란 무엇인가 ?

상관은 둘 또는 그 이상의 변인들 간에 관계의 정도와 관련된다. 일상 생활에서 우리는 언제나 사물, 사람, 그리고 이들의 속성들간에 존재하는 여러 가지 종류의 관계를 참조한다. 예를 들면 똑똑한 사람은 이마가 높다거나 포동포동한 사람은 쾌활하고, 구름이 보이면 비가 온다거나 하는 등이다. 선발을 위해 검사를 사용할 때 우리는 검사 점수와 직무성과와의 관계를 살펴본다.

관계는 다양한 강도와 방향을 가지고 있다. 강도란 두 집단의 자료들이 얼마나 밀접하게 관련되는가를 말한다. 예를 들어, 직사각형의 한쪽 길이가 늘어날 때 넓이는 고정되어 완벽하게 밀접한(예측 가능한) 관계로 증가하게 된다. 반면 키와 몸무게와의 관계는 몸무게가 키에 따라 증가하는 경향이 있지만 일반적인 규칙에서 벗어나는 경우가 많기 때문에 그렇게 가깝지는 않다.

관계의 방향이란 한 변인이 다른 변인이 증가함에 따라 증가하거나(정적) 한 변인이 다른 변인이 증가함에 따라 감소하는(부적) 경향이 있는지를 말한다. 즉, 검사 점수가 높을수록 직무 성과가 나쁜 경우는 후자의 예가 될 수 있다. 부적관계도 역시 정적 관계만큼 유용할 수 있다는 사실을 주목해야 한다. 또한 정적 및 부적 관계가 결합되어 있는 변인들이 있다. 신체적 힘은 성인기가 되면 증가하지만 점차적으로 높은 연령대가 될수록 감소한다. 이것을 곡선형 관계라고 한다. 그러나 곡선적 관련성을 측정하기 위해서는 좀 더 복잡한 통계학이 요구되며 이 장에서는 좀 더 일반적인 선형적 관계를 다룰 것이다.

이 장은 두 집단의 자료들간에 실제적인 관계 또는 상관을 측정하는 방법에 관해 설명할 것이다. 상관의 해석에 관해서는 상관이 중요하게 응용되는 신뢰도와 타당도에 관한 다음 장들에서 다룰 것이다.

두 변인들간의 관계를 보여주는 3가지 주요 방법이 있으며 각각 차례대로 설명하고자 한다.

   2. 산포도(Scattergram)

한 집단에 대한 정보를 가지고 있다고 가정해 보자. 정보는 그 사람들의 언어능력 검사와 공간능력 검사에서 받은 점수들이다. 이때 우리는 이 사람들의 두 검사에서 받은 점수들 간에 관계가 어떤지 알고 싶을 수 있다. 동일한 사람이 두 검사 모두에서 잘하는 경향이 있는가? 또는 한 검사에서 잘하는 사람이 다른 검사에서는 못하는 경향을 가지고 있는지, 두 검사간의 성과간에는 아무런 관계가 없는지 등이다. 우리는 이러한 관계를 점들이 흩뿌려진 형태, 또는 산포도의 형태로 나타낼 수 있다. 세가지 예들에 대한 그림이 아래에 나와 있다.

그림 1. 산포도로 나타낸 완전한 정적 상관

위 점수들에 대한 산포도

그림 1에서 보면, 두 집단의 점수들 사이에 완벽한 관계가 있음을 알 수 있을 것이다. 즉, 우리가 두 쌍의 점수들을 볼 때 언어 검사에서 높은 점수를 받은 사람은 공간 검사에서도 높은 점수를 받았으며, 마찬가지로 낮은 점수를 맞은 사람은 역시 공간 검사에서도 낮은 점수를 받았다. 실제로 이러한 관계를 유지할 경우 어떤 개인의 능력검사 점수가 주어진다면 정확하게 공간 검사에서 그 사람이 받을 점수가 무엇인지 말할 수 있어야 할 것이다. 이것은 완벽한 정적 상관의 경우이며, 완벽한 정적 상관은 통계적으로 상관이 +1로 나타난다는 것을 알 수 있을 것이다.

그림 2. 산포도로 나타낸 완벽한 부적 상관

위 점수들에 대한 산포도

여기에서 언어 검사에서 낮은 점수는 공간 검사에서 높은 점수와 짝지어 진다. 반대로 낮은 공간검사 점수는 높은 언어검사 점수와 짝지어 진다. 이것이 완벽한 부적 상관이며 통계적으로는 - 1 로 나타낸다. 이 경우도 역시 어떤 언어검사 점수가 주어진다면 우리는 정확하게 그 사람의 공간능력 검사 점수가 얼마인지 말할 수 있을 것이다.

그림 3. 산포도로 나타낸 0의 상관

위 점수들에 대한 산포도

그림 3에서는 두 변인들간에 분명한 관계가 없음을 볼 수 있으며, 우리는 이를 0의 상관이라고 말한다. 이 경우 어떤 언어검사 점수가 주어졌을 때 우리는 그 사람이 공간검사에서 얼마를 받을지 알 수가 없다.

현실적으로 정확하게 +1, -1 또는 0의 상관을 얻기란 힘든 일이다. 그림4는 직업 검사에서 나타나는 전형적인 몇 가지 형태들을 보여 주고 있다.

산포도가 관계에 대한 시각적인 형태를 제공하기는 하지만 산포도로부터 두 변인들 사이의 정확한 관계를 판단하기는 어려우며 특히 그 수가 많을 때 더욱 그렇다.

그림 4. 산포도의 예

   3. 기대율 표(Expectancy Table)

두 변인들 사이의 관계를 좀 더 양적으로 보여주는 방법은 기대율 표로 나타내는 방법이다. 기대율표는 한 변인에서 받은 점수들과 다른 변인에서 받은 점수들과의 관계를 보여준다.

     3.1 기대율 표의 구성

우리가 10사람에 대한 수리검사점수에서 받은 점수와 시험 결과에 관한 정보를 가지고 있다고 가정해 보자. 우리는 검사점수와 시험 결과가 어느 정도 서로 연관되는지 보고 싶을 수 있다. 미래의 지원자에게서 검사 점수를 얻었다면 그들이 몇 점을 받을지 예상할 수 있는가?

2 x 2 기대율 표를 구성하기 위해서는, 먼저 두 개의 변인 즉 X와 Y를 2가지 범주로 각각 나눌 필요가 있다. 일반적으로 이것은 이들의 각 평균을 계산하고 나서 개개인이 각 변인들에 있어서 평균보다 위에 있는지(A)와 평균보다 아래 있는지(B)를 표시한다. 그리고 나서 표를 그리고, 개인에게 해당되는 네모 칸에 하나씩 막대기를 그어 표시한다.

그림 5. 위에 제시한 자료에 대한 기대율 표

예를 들어 김영철은 양쪽 모두에서 평균보다 높은 점수를 받았고, 따라서 높음/높음 칸에 들어가게 된 것이다. 최민호는 검사에서 평균 이상의 점수를 받았지만 시험에서는 평균보다 아래이기 때문에 '검사 높음/시험 낮음' 칸에 들어갔다. 마지막으로 각 칸에 그어진 막대기 숫자를 더하고 나서 행을 중심으로 백분율을 계산한다. 검사 점수가 '높음'에 있다면 시험에서 평균 이상으로 결과를 받을 확률은 80%가 되는 것이다.

현실적으로 기대율 표는 각 변인에 대해 2개 이상의 범주로 나누어 질 수 있으며 변인들 사이의 분할은 임의적이다. 일반적인 것은 각 행에 똑 같은 수가 놓이도록 구분을 나누어야 하지만 이것은 자료와 연구의 성질에 따라 달라질 수 있다.

기대율 표의 장점 :

a) 기대율 표는 편리하며 두 변인들 사이의 관계를 생생하게 나타낼 수 있는 방법이다.

b) 기대율 표는 특히 검사의 타당도를 관리자 등에게 설명할 때와 어떤 검사 점수에 대한 성공 확률을 보여줄 때 유용하다.

c) 기대율 표는 검사의 서로 다른 점수범위 부분에서 검사 값에 대한 조사를 할 수 있다.

d) 범주화된 형식(합격/불합격, 만족/불만족, 남자/여자)으로 수집된 자료를 사용할 수 있다.

기대율표의 주요 단점은 특히 칸(cell)에 들어가는 수가 적을 경우 상당한 표집 오차를 내는 경향이 있다는 점이다.

   4. 상관계수(The Correlation Coefficient)

상관계수는 우리가 변인들 사이의 관계를 측정할 때 가장 자주 사용하는 통계치이다. 상관계수는 하나의 지표로 관계를 요약해 준다. 상관계수는 +1에서 -1 사이의 범위에서 산정된다. 상관계수의 부호(+ 또는 -)는 관계의 방향을 나타내며 상관계수의 크기는 관계의 강도를 나타낸다. 1에 가까울수록 더 강한 상관을 의미한다.

     4.1 피어슨의 적률 상관(Pearson product moment correlation coefficient)

가장 강력하고 일반적으로 사용되는 상관계수는 적률상관 계수이다. 여기서 논의된 다른 계수와 마찬가지로 적률상관 계수는 두 변인들 간에 선형적인(일직선적인) 관계가 의심될 때 사용된다.

피어슨 적률상관 계수는 교차 적(cross-product,즉 첫번째 변인에 대한 각 개인의 점수와 두 번째 변인에서 받은 점수의 곱)의 합이 클수록 상관이 높다는 일반적인 원칙에 기초한다. 그림 6에서 이와 같은 점을 볼 수 있다.

5명의 지원자가 5개 문항으로 된 두 가지 검사를 받았다. 그림 6의 세 가지 보기에서 자료를 조작해 보자. 첫번째는 높은 점수는 높은 점수로 가는 경향이 있도록 하고, 두 번째는 높은 점수들이 낮은 점수와 짝지어 지도록 하며, 마지막은 보기 (c)와 같이 X 와 Y 사이에 분명한 관계가 없도록 한다.

교차 적(cross product)의 합이 두 변인들이 어느 정도 상관되는지에 대한 지표로 기여하고 있음을 볼 수 있다. 완벽한 정적 상관인 경우에 교차적의 합은(보기에서는 55) 최대이다. 완벽한 부적 상관의 경우 교차적의 합(35)은 최소가 되며 0의 상관인 경우에 교차적의 합은 2개의 사이 값에 놓인다(다른 자료를 가지고 한번 시도해 볼 수도 있다).

그림 6. 상관의 정도가 교차적 지표에 미치는 영향을 보여주는 예들

a) 완벽한 정적 상관

b) 완벽한 부적 상관

c) 영에 가까운 상관

원점수의 교차 적의 합이 변인들 사이의 관계나 상관에 대해 어느 정도 아이디어를 줄 수는 있지만 문제는 지표가 한가지 측정 세트에서 다른 측정세트로 다양하게 바뀔 수 있다는 것이다. 예를 들어 검사 점수들의 쌍의 수가 늘어나면 위에 주어진 보기에서 모든 원점수들과 상수를 곱해야 하는 것처럼 지표가 설득력이 없어질 것이다.

우리가 요구하는 것은 분명히 집단에 속한 사람의 수나 측정 단위의 차이에 영향을 받지 않는 통계이다. 이것은 첫째, 모든 원 점수들을 표준점수, 예를 들어 Z점수로 바꾸고 이것들의 교차 적의 합을 구하고 나서 둘째, 집단의 사람 수로 나눔으로써 사람의 수를 평균화하여 이루어 질 수 있다.

       4.1.1 피어슨 적률 상관 공식(1)

여기서            r = 피어슨 적률상관계수

                    ∑ = 합

                   Zx = 첫 번째 변인에서 받은 Z 점수

                   Zy = 두 번째 변인에서 받은 Z 점수

                    N = 집단의 사람 수

따라서 피어슨 적률상관(r)은 두 분포에 대한 짝지어진 Z 점수 곱들에 대한 평균으로서 정의될 수 있다. 이 공식을 보기로 설명해 보면 다음과 같다.

그림 7

피어슨 적률상관계수 계산의 예 (공식1)

첫번째 단계는 두 집단 점수들의 평균을 계산한다. 그 다음에 다음 공식을 사용하여 두 변인들에 대한 SD를 계산한다.

두 분포에 대한 평균과 표준편차를 구했으면 이제 다음 공식을 사용하여 원점수를 Z 점수로 변환한다.

따라서 X 변인에 대한 첫번째 원점수 17을 변환하면 다음과 같다.

5사람으로 구성된 집단의 기계검사(X 변인)와 공간검사(Y 변인)에 대한 Z 점수들이 아래 열거 되어 있다.

각 쌍에서 첫 번째 Z 점수를 두 번째와 곱하고 나서 이들의 합을 구하고 나면 이제 피어슨 적률상관계수를 계산할 수 있다.

r =

r = = 0.45

       4.1.2 피어슨 적률상관계수 공식(2)

사실상 우리는 위에서 제시한 피어슨 적률상관 계수의 공식을 확장할 수 있다.

           r      =   적률 상관 계수

          x     =   첫번째 변인에 대한 모든 사람들에 대한 평균에서

                     개인들의 첫번째 변인의 원점수를 뺀 편차

          y     =   두번째 변인에 대한 모든 사람들에 대한 평균에서

                     개인들의 두번째 변인의 원점수를 뺀 편차

         SDx  =   첫 번째 변인에 대한 표준편차

         SDy  =   두 번째 변인에 대한 표준편차

          ∑    =   합

          N    =   집단의 사람 수

이 공식은 손으로 계산할 때 더 빨리 계산할 수 있기 때문에 사용하는 공식이다. 이 공식은 모든 원점수를 Z 점수로 바꾸는 식보다 빠르다는 장점을 가지고 있으며 원점수의 편차를 계산하고 마지막 단계로 두 분포의 표준편차로 나누어 계산한다.

이 공식과 다른 공식에서 통계적인 표기 'x' 와 'y'가 사용되었다. 이것은 편차 점수들 와 를 각각 축약하여 표시한 것이다 즉, x = y = 이다.

즉,     x=

         y=   이다.

이 공식을 이용하여 피어슨 적률 상관을 계산하는 보기가 그림 8에 나와 있다.

그림 8. 피어슨 적률상관계수의 계산(공식2)

6명의 컴퓨터 프로그래머 집단이 회사에 들어갈 때 도식관련 검사를 보고 6주간의 훈련을 마친 후에 Cobol 지식에 관한 시험을 보았다.

       = 30                       = 70

  SDx = 2.08                SDy = 3.70

    N  = 6

이 두 번째 공식은 수리적으로 첫 번째 공식과 동일하다는 점이 강조되어야 한다. 아마도 이 공식을 그림 7에서 제시된 보기에 응용함으로써 증명하고 싶을 수 있을 것이다.

       4.1.3 피어슨 적률 상관계수 공식 (3)

세 번째 공식은 수리적으로 첫 번째 공식과 동일하지만 좀 더 복잡하게 보인다.

이 공식은 종종 컴퓨터 프로그램에서 사용되며 2 개의 변인들에 대한 평균이 정수가 아닐 때 적용하기 쉽다.

공식은 그림 9에 보이는 점수들의 예로 설명되어 있다.

그림 9 . 피어슨 적률 상관계수의 계산 예(공식 3)

∑X=100     ∑Y=150     ∑X²=2020     ∑Y²=4580     ∑XY=3018

                    (∑X²)=10000                  (∑Y²)=22500

     4.2 스피어만의 순위 상관계수(Spearman Rank Order Coefficient of Correlation)

상관 계수를 계산하는 또 다른 방법은 스피어만의 순위상관 계수이다. 이 통계치는 상관되는 두 변인들이 순위로 표현되는 경우에 사용되며, 두 집단의 순위 사이에 유사성이 클수록 상관이 더 높을 것이라는 원리에 기초한다.

여기서     D = 순위들 사이의 차이

              N = 순위들 쌍의 수

이 통계치에 대한 계산은 아래 보기에 나와 있다.

그림 10. 순위 상관계수의 계산 예

소규모의 영업사원 집단(N=8)이 CRTB 검사 배터리에 있는 자료해석 검사를 받고 관리자들이 그들의 직무성과에 기초해서 순위를 매겼다. 검사와 직무성과 사이의 상관은 얼마인가?

         =  1 - 0.14

rho    =  0.86

순위 상관 .86 이라는 것은 두 집단의 점수들 사이의 관계를 요약해 주고 있다.

스피어만 순위 상관계수는 특히 상관된 변인들 중의 하나 또는 두 변인들이 이미 순위로 되어 있는 경우에 유용하게 사용될 수 있다. 연결된 순위를 사용해도 되지만 순위가 극단적인 경우에 주의를 기울여 해석해야만 한다.

   5. 상관 계수의 해석

우리는 이제까지 상관계수를 두 변인 사이의 관계에 대한 요약 지표로 보아왔다. 그러나 상관계수가 +.65라는 말은 무엇을 의미하는가? 이런 질문에 대한 표준적인 대답은 상황에 따라 완전히 다르다는 것이다. 상관계수가 얻어진 조건과 목적을 고려하지 않고 특정한 상관계수에 대해 확고하고 빠른 해석을 하는 것은 불가능하다. 우리는 다음 장의 신뢰도와 타당도 편에서 어떤 조건들이 상관계수의 크기에 영향을 미치는지 그리고 상관계수에 기초해서 결정을 내릴 때 어떤 요인들을 고려해야 하는지를 다룰 것이다. 그러나 고려해야 할 한가지 이슈는 통계적 유의성이다.

   6. 통계적 유의성

상관 연구에서 상관 계수를 얻는다. 이때 우리는 어떤 값에 대해 이 값을 우연히 얻을 수 있는지 즉, 두 집단의 자료 사이에 실제적인 관계를 나타내지 못하는 확률이 얼마인지 알 필요가 있다.

통계학자들은 특정확률과 표본 크기에 필요한 최소값을 계산해 놓았다. 연구에서 얻어진 값을 통계 표에서 제공하는 해당되는 값들과 비교함으로써 상관계수의 통계적 유의성을 언급할 수 있다.

예를 들어 어떤 검사 매뉴얼에서 언어검사 점수와 타이핑 시험결과 사이의 상관 .34 가 5% 또는 0.5 수준에서 유의하다는 것을 읽었다고 하자. 이것이 의미하는 것은 우연히 상관계수 .34를 얻을 기회가 백번 중에서 5번(또는 20번 중에 한번) 보다 적다는 것을 의미한다.

만일 상관이 1% 또는 0.1 수준에서 유의 하다면 이것은 우연히 이 상관을 얻을 수 있는 확률이 100번 중에 1번보다 적다는 것을 의미한다. 또한 상관이 0.1% 또는 .001 수준에서 유의하다라고 하면 우연히 이런 상관을 얻을 확률이 1000 번 중에 1번보다 적음을 의미한다.

그림 11은 특정 표본 크기에 대한 여러 가지 통계적 유의수준에 필요한 최소 상관계수 값을 나타내고 있다.

일반적으로 5%수준이 두 집단의 자료를 의미 있는 관계로서 결론짓기 위해 수용할 수 있는 최소한의 수준이다. 그러나 표본의 크기가 커질수록 특정 수준에서 유의하기 위해 필요한 상관이 작아진다는 사실을 주목해야 한다. 이것은 다음을 의미한다.

a) 만일 표본의 크기가 작다면 높은 상관계수는 우연한 이유만으로 일어날 수 있다.

b) 만일 표본의 크기가 크다면 통계적으로 유의한 상관계수는 높지 않을 수도 있으며, 따라서 그 자체는 특별히 유의 하다거나 유용하지 않을 수 있다.

선발에서 우리는 성과 측정치와 상관이 높고 유의한 검사를 사용하는 것을 목표로 삼는다.

그림 11. 피어슨 적률 상관 계수의 유의 수준(일 방향 검사)

   7. 다중 상관(Multiple Correlation)

우리는 지금까지 두 변인들의 상관만을 고려했다. 그러나 직업 선발에서 우리는 일반적으로 한가지 이상의 정보나 검사점수를 직무성과의 준거와 관련시킨다. 예를 들어 우리가 면접에 서 얻은 결과와 언어검사의 결과 뿐 아니라 사무직 체킹 검사의 결과를 가지고 있고, 이들 기법들이 결합되었을 때 직무성과를 얼마나 예측 할 수 있는지 알고 싶을 것이다. 여기서는 다중상관 기법에 관한 통계적 계산을 다루지는 않을 것이지만 개념을 이해하는 것이 중요하다. 대부분의 선발 절차는 1가지 이상의 자료로 구성된다. 직무성과를 가장 잘 예측할 수 있는 효율적으로 결합된 방법을 어떻게 선택할 수 있는가? 다중 상관을 계산하기 위해서 우리는 준거에 대한 각 검사의 상관뿐만 아니라 검사들간의 상관도 알고 있어야 한다.

검사와 직무 성과간의 상관은 원들끼리 중복되는 부분의 크기로 표시할 수 있다.

두 선발 검사들간의 상관이 0일 경우 다음과 같이 표시할 수 있다.

직무 성과

다중 상관은 완전히 2개의 분리된 그림자 영역들에 기초할 때 최대의 이득을 얻을 수 있다.

직무 성과

여기서 다중상관은 위에서 만큼 크지 않다. 왜냐하면 두 검사들 사이에 공통으로 중복되는 부분이 있기 때문이다. 그러나 여전히 두 검사들 중에 하나만으로 설명할 수 있는 것보다는 강한 상관을 가지고 있다.

따라서 다중 상관은 검사 각각이 직무 성과와 높은 상관을 갖지만 검사들끼리는 낮은 상관을 가질 때 최대가 된다.

다중상관을 사용하는데 있어서 2가지 점을 더 살펴봐야 한다.

a) 다중상관은 기회 효과에 편승하는 경향이 있어서 큰 표본에서 얻어진 자료들에 대해서만 계산되어야 한다.

b) 일반적으로 다중 상관은 2가지나 그 이상의 검사 또는 선발 자료를 사용하여 계산될 수 있다. 그러나 우리가 더 많은 정보나 자료를 추가할수록 돌아오는 이득은 적어진다. 실제로 4개 또는 5개 이상의 변인들을 추가하는 것은 보통 다중 상관을 거의 높이지 않는다.

   8. 상관에 관한 핵심 요점

a) 상관이 원인과 결과를 함축하고 있지는 않는다. 만일 A와 B가 상관이 있다고 해서 반드시 A가 B의 원인이 된다고 말할 수는 없다. 예를 들어 해협횡단 페리를 이용하는 사람들의 수와 투표한 사람의 수가 정적인 상관을 갖는다고 해서 해협횡단 페리호 이용이 높은 투표수의 원인이 된다거나 또는 그 반대를 가정한다는 것은 터무니 없는 일이다.

b) 상관계수는 계수가 계산되었던 그 집단의 특징을 반영한다. 즉, 상관계수는 표본에 따라 달라진다. 예를 들어, 키와 언어능력 사이의 상관은 성인들에서 보다는 2-8살 사이의 어린이들에게서 훨씬 더 높다.

c) 상관계수는 표본 점수들의 다양성에 달려있다. 예를 들어, 상관계수는 여러 수준의 능력을 가지고 있는 광범위한 집단에서 크며 제한된 집단에서는 작다. 만일 우리가 지원자들을 검사를 사용하여 선발하고 나서 그들의 성과를 직무성과의 측정치로 사용할 경우 상관 계수는 처음에 검사 결과를 고려하지 않고 선발 하여 성과를 측정하는 경우보다 낮아질 것이다. 이 같은 효과를 범위의 축소라고 하며 타당도에 관한 단락에서 다루게 될 것이다. 그림 12는 검사 점수들을 무시하고 모든 지원자들이 선발된 경우에 상관계수가 합격점 이상의 검사점수를 받은 지원자들만을 선발한 경우보다 얼마나 더 많이 강한 상관을 갖는지 보여 주고 있다.

그림 12. 범위의 축소를 보여주는 산포도