- 검사표준화

 - 문항분석

 - 통계분석 용역

  검사 규준 (TEST NORMS)

규준은 검사에서 다른 사람들이 어떻게 수행했는지 알려주는 자료이다. 규준참조 검사(norm referenced test)에서 어떤 사람이 40점 만점의 검사에서 원 점수 20점을 맞았다는 것은 아무런 의미가 없다. 그 검사가 매우 어려운 검사였다면 결과는 좋은 것일 수 있지만 상대적으로 쉬운 검사였다면 그렇게 좋은 점수는 아닐 것이다.

검사 결과를 의미 있게 평가 하기 위해서 사용자는 적절한 비교집단(reference group)에서 얻은 결과들과 개인들의 결과를 비교할 필요가 있다. 이 집단을 규준 집단(norm group)이라 하며 검사 규준(test norms)이란 규준집단의 검사에서 받은 결과를 나타내는 자료를 말한다.

   1. 규준 집단의 선택

직업 검사에 있어서 지원자들을 비교하는 규준 집단은 아주 중요하다. 예를 들어 어떤 특정한 점수를 대학교 입학자와 대학교 졸업자들과 비교했을 때, 명백하게 매우 다른 결론이 나올 수 있다. 이러한 이유 때문에, 사용되는 규준 집단은 가능한 지원자 집단의 특성과 관련되어야 하며 대표성을 지녀야 한다. 대규모 검사에서 이전의 지원자 pool은 적절한 비교 집단을 형성할 수 있다. 수가 너무 적을 경우에는(최소 100명 정도가 권고됨) 적절한 규준 집단을 검사 매뉴얼에서 골라야 한다. 이때, 규준 집단은 학력, 연령, 소수민족, 성별 구성 등과 같이 비교할 수 있는 구성 요인의 비율이 가능한 유사한 집단이어야 한다. 완벽하게 맞는 집단을 구할 수 없다면 선택된 규준 집단의 평균점수가 지원자 집단의 평균 점수들과 유사해야 한다.

만일 100명 이상의 사람들에 대한 검사 자료를 가지고 있다면 그런 집단을 위한 규준을 만들어 줄 수 있다. 

   2. 빈도 자료

    2.1빈도 분포

한 규준 집단에 대한 자료를 나타내고 요약하는 가장 단순한 방법은 빈도 분포의 형태로 나타내는 것이다. 빈도 분포는 각각의 점수에 대해 집단에서 얼마나 많은 사람들이 그 점수를 받았는지 나타내준다. 각 점수는 순서대로 가장 낮은 점수에서 높은 점수대로 열거된다. 체계적으로 각 개인의 점수를 차례대로 놓고 해당되는 값 밑에 빗금표시를 함으로써, 각 점수의 빈도를 구할 수 있다. 그림 1에서 빈도 분포의 예를 볼 수 있다.

    2.1 빈도 다각형과 히스토그램

빈도 다각형과 히스토그램은 그림으로 분포를 나타낸 것이다. 그림2와 3에서 그림을 볼 수 있다. 이들은 분포의 전반적인 모양에 대한 분명한 그림을 제시해준다.

       그림 2. 빈도분포 다각형

그림 3 빈도분포 히스토그램

   3. 규준 시스템

빈도 분포가 전반적인 그림을 제시해 주기는 하지만 지원자의 검사점수를 객관적으로 양화 하는 것은 쉽지 않다. 규준 체계는 이것을 가능하게 해주는데, 여러 가지 서로 다른 규준 체계들이 고안되어졌고 각 체계는 저마다 장점과 단점을 가지고 있다. 이 장에서는 가장 일반적인 규준 체계들을 설명할 것이다. 규준 체계는 크게 2가지 유형으로 나누어 진다.

* 순위 체계

* 표준 점수 체계

   4. 순위 규준 체계

     4.1등급 (grade)

등급은 가장 단순한 규준 체계이다. 등급은 학교 시험에서 사용되는데 학교시험은 보통 능력수준에 대한 폭넓은 지표가 필요하다.

이 지표들은 5 영역의 등급체계에 기초한다.

등급 체계는 점수들을 범위로 나누어 생각 할 수 있게 한다는 점에서 유용하지만 점수가 등급의 경계선상에 있는 경우 오류가 생길 수 있다는 점이 단점이다. 즉, 순수하게 우연히 발생할 수 있는 1점의 차이가 A나 B사이의 차이를 만들 수 있다. 단지 5개 구간으로만 구분되었기 때문이 때때로 지나치게 그들 간의 차이를 강조할 수 있다.

     4.2 백분위 (Percentile)

백분위는 본질적으로 등급 체계를 더 많은 범위들로 확장한 것이라고 할 수 있다. 백분위는 어떤 원점수보다 위에 있는 규준 집단의 백분율을 나타낸다. 예를 들어, 80번째의 백분위는 규준집단의 80%가 그 점수 아래에 있게 되는 점수를 의미한다. 즉, 20%만이 그 점수보다 높은 점수를 갖는 다는 것이다.

백분위는 쉽게 얻을 수 있고 이해할 수 있다는 장점이 있다. 백분위는 능력검사 결과를 판단하기 위해 사용하는 가장 일반적인 규준 체계이며, 특히 지원자들에게 결과를 피드백 한다거나 일선 관리자들에게 결과를 보고할 때와 같이 심리측정에 대한 지식이 없는 사람들에게 전달 할 필요가 있을 때 그렇다.

그러나 백분위는 동일한 측정단위가 아니라는 단점을 가지고 있어서 평균과 가까운 차이는 과장하고 극단쪽에 있는 차이는 가려버리는 경향이 있다. 백분위는 서수측정치의 예이다. 이것은 백분위가 단지 순위를 나타낼 뿐이라는 것을 의미한다. 따라서 백분위는 평균을 낼 수도 없으며 수학적으로 다른 유형에서 취급될 수도 없다.

   5. 표준 점수 체계 (STANDARD SCORE SYSTEMS)

또 다른 규준체계는 표준화된 점수개념에 기초한다. 표준화된 점수들은 사용자로 하여금 사람들이 평균 이상이나 이하의 점수를 받았는지 판단 할 수 있게 해주며, 점수들이 평균으로부터 얼마나 떨어져 있는지도 알 수 있게 해준다. 표준점수의 장점은 백분위와는 달리 수학적으로 조작할 수 있는 선형적인 척도로 점수를 변환할 수 있다는 점이다.

     5.1 기초적인 통계 개념들

표준화된 점수들을 이해하기 위해서는 몇 가지 기본적인 통계 개념들을 다룰 필요가 있다.

       5.1.1 평균 (Mean)

평균(mean)()은 한 집단의 점수들에 대한 산술 평균이다. 평균은 집단의 모든 원점수들을 더하고 나서 집단에 속한 사람들의 수로 나눈 값이다. 아래에 예가 나와 있다.

여기서                                   = 평균

                                            Ⅹ =  원 점수

                                            Σ  =  합

                                            Ν  =  집단의 구성원 수

예를 들어

                                 원점수  =  17              =

                                                19

                                                20

                                                21               = 20

                                                23

                                    ΣⅩ  =  100

      5.1.2 중앙치(median)

평균은 중심경향성의 주요 측정치이다. 일반적으로 사용하는 또 다른 중심경향성의 측정치는 중앙치이다. 중앙치는 이 수치를 중심으로 집단의 50%가 위와 아래로 똑같이 나누어 지는 숫자이다. 만일 중앙치보다 더 높은 점수를 받았다면 그 사람은 집단의 상위 50%에 속한다는 것을 알 수 있다. 또한 중앙치보다 낮은 점수를 받았다면 하위 50%에 속한다는 것을 알 수 있다.

5명이 어떤 검사에서 각각 20, 21, 23, 24, 25 점을 받았을 때, 우리는 중앙치로서 집단의 가운데 점수, 즉 23을 선택할 수 있다. 만일 6 명의 사람이 검사를 받고 20, 21, 23, 24, 25, 28 점을 받았다고 할 때 가운데 숫자가 없기 때문에 약간의 문제가 생긴다. 이런 경우에 우리는 중앙치로서 중간의 양 쪽에 있는 두 점수들 사이의 중간 점을 중앙치로 잡을 수 있다. 즉, 위의 경우에서 23과 24사이의 중앙점은 23. 5가 되며 이것이 중앙치가 되는 것이다.

이런 통계치는 종종 평균의 사용이 잘못된 결과를 가져오는 경우, 예를 들어 전형적인 급여수준을 기술할 때 사용된다.

     5.1.3 최빈치 (Mode)

중심경향성의 세 번째 측정치는 최빈치(MODE)이다. 최빈치는 집단에서 가장 많은 사람들이 받은 점수이다. 대부분의 점수분포는 분포 내에서 하나의 봉우리만을 갖는다는 점에서 단일 최빈치를 갖는다. 만일 분포가 두개 봉우리 즉, 양봉의 점수를 갖는다면 이것을 bimodal이라고 말하며 여러 개의 봉우리를 갖는다면 multimodal이라고 부른다.

실제로 대다수의 분포들에서 평균점수, 중앙치, 최빈치는 서로 꽤 가까운 위치에 있는 경향이 있으며 정상 분포일 때 이 세가지는 일치하게 된다.

중심경향성 측정치를 보는 것 이외에도 우리는 집단에서 점수들의 퍼짐이나 분산을 측정할 수 있다.

      5.1.4 범위(Range)

분산에 대한 간단한 측정치는 범위인데 이것은 집단에서 가장 높은 점수에서 가장 낮은 점수를 뺀 값이다.

언어 능력 검사에서 2세트의 원 점수들을 얻었다고 가정해보자

양 집단의 원 점수 평균이 15이지만 두 집단의 범위는 분명한 차이가 있다. 즉 집단A의 범위는 26-4=22 이고 집단B는 17-13=4이다.

바로 계산이 가능하지만 범위는 매우 높거나 낮은 극단의 한 점수만으로도 범위에 극적인 영향을 미치거나 형태를 왜곡할 수 있기 때문에 주의 깊게 해석해야만 한다.

      5.1.5 표준 편차(Standard Deviation)

분산의 중요한 측정치 중의 하나는 표준 편차(STANDARD DEVIATION)이다. 사실상 표준편차는 사람들의 점수가 집단 평균에서 떨어진 점수 차들의 평균이다. 표준편차는 집단의 점수들이 전형적으로 얼마나 흩어져 있는지를 측정한다.

표준 편차는 다음 공식으로 계산할 수 있다.

 아래에 계산의 예시가 나와 있다.

          =  20

        SD =

             =

 표준편차는 평균으로부터 떨어진 점수들의 흩어진 정도를 나타내는 지표가 되며 전체 표본에서 결과들의 변량에 대한 추정치가 된다. 표준편차는 상이한 집단들의 변량을 비교할 때 유용하게 사용된다.

 집단 A와 집단 B의 두 가지 분포(그림 5)가 같은 평균을 갖고 있지만 집단A가 더 넓은 범위를 가지고 있다고 가정해 보자. 이 집단은 집단 B보다 아마도 더 큰 표준편차를 가질 것이다. 집단 B는 매우 작은 개인차를 가지며 점수들이 평균에 매우 가까워서 매우 작은 표준편차를 갖게 될 것이다.

그림 5. 동일한 검사에 대한 2집단의 점수 분포

     5.1.6 분산

분산은 변산의 또 다른 측정치이며 표준편차의 제곱과 같다.

예시>

          분산 = SD2

     만일 SD = 4 라면

          분산 = 4 2

                   = 16

      5.1.7 정상 분포(Normal Distribution)

만일 한국 성인에 대해 무작위 표본을 여러 번 뽑아서 그들의 키를 잰다면 키가 매우 크거나 작은 사람들 보다는 평균 키를 가지고 있는 사람들이 더 많음을 알 수 있을 것이다. 또한 이 사람들의 키에 대한 빈도 다각형을 그려 본다면 이것이 종 모양의 곡선을 그리는 정상 분포(그림 6)가 됨을 볼 수 있을 것이다. 키와 마찬가지로 능력, 적성과 같은 다른 인간의 특성도 모집단 전체를 통틀면 정상 분포 형태를 띄게 된다.

여기서 주요 관심사는 정상분포와 평균, 표준편차와의 관계이다. 정상분포로 된 점수 분포에서 점수들의 62%는 평균 점수의 1표준편차 아래에 놓이며, 점수들의 95.44%는 평균의 2표준편차 아래에 속하고 99.73 %는 3표준편차 아래에 놓인다. 이것을 그림으로 나타내면 그림 6과 같다.

그림 6. 정상 분포

      5. 1. 8 편포 (Skew)

때때로 분포들이 정상분포가 아님을 발견할 때가 있다. 점수들이 한 쪽이나 점수 척도의 끝쪽에 몰려 있을 때 비대칭적이라고 말한다. 점수들이 높은 점수쪽에 몰려 있을 때 부적 편포라고 말하며, 부적 편포는 검사가 상대적으로 그 집단들에게 쉬웠을 때 생긴다. 반면 정적 편포는 검사가 상대적으로 어려울 경우에 일어난다.

그림 7 편포의 예

      5.1. 9 첨도(Kurtosis)

첨도는 빈도 분포의 뾰족함이나 평평함을 일컫는다. 뾰족한 분포를 leptokutic이라고 말하고 평평한 분포를 platykurtic이라고 말한다.

그림 8. Platykurtic, Mesokurtic 및 Leptokurtic 곡선

정상 분포는 0의 편포를 갖는 Mesokurtic 분포라는 것을 주목해야 한다.

     5.1.10 평균의 표준 오차(Standard Error of the Mean)

집단이 클수록 그 집단을 뽑은 모집단을 정확하게 나타낼 가능성이 높다. 예를 들어 우리가 유지관리 엔지니어들이 기계이해 검사에서 얼마나 잘 했는지 알고자 한다면 10명의 유지관리 엔지니어 집단보다는 100명의 유지관리 엔지니어 집단에서 얻은 결과를 살펴보는 것이 나을 것이다.

엔지니어 전체 모집단의 평균점수를 추정하기 위해 하위 집단의 평균점수를 사용할 때 두 평균 점수의 차이는 추정의 오차로서 볼 수 있다. 아래에 제시된 공식은 평균의 표준 오차를 구하는 공식으로 추정치에 대해 오차들이 얼마나 큰지를 나타내 준다.

SD MEAN =

집단이 클수록 대표성이 크며 평균의 표준오차가 작아진다.

     5.1.11 신뢰구간(Confidence Intervals)

모집단의 평균점수가 우리의 표본 점수들에서 얼마나 멀리 떨어져 있는지 알고싶을 때가 있다. 이때 위의 공식을 사용하여 신뢰구간을 정한다. 우리는 모집단의 평균점수가 이 신뢰구간 범위 즉 95%나 99%에 떨어진다고 예언할 수 있다.

95% 신뢰 = ± 1.96 SE MEAN

99% 신뢰 = ± 2.58 SE MEAN

5.1. 12 요약 표준화된 점수는 중심경향성의 측정치인 평균과 분산의 측정치인 표준편차에 기초한다. 표준화된 점수들은 점수들의 완전한 해석을 위해 평균과 표준편차간의 관계 그리고 정상분포곡선을 활용한다.

여러 가지 표준화된 점수 척도들이 개발되었으며 가장 일반적인 것들은 다음에 설명되고 있다.

   5.2 표준 Z 점수

Z 점수는 평균과 표준편차에 기초하여 점수가 평균 위와 아래에 몇 표준 편차만큼 떨어져 있는지를 나타내준다. Z점수는 원 점수를 단순히 표준편차 단위로 전환한 것이다.

표준 Z 점수를 구하는 공식은 다음과 같다.

Z =

여기서 Z = 표준 Z 점수

           X = 개별 원점수

           = 평균 점수

         SD = 표준 편차

보통 표준점수가 사용될 때 표준점수는 정상분포곡선과 관련하여 해석된다. 표준편차 단위로 된 표준 Z 점수가 평균의 양 쪽으로 표시되어 있는 것을 그림 6에서 볼 수 있다. 평균 보다 위에 있는 점수들은 양의 부호를 가지며 평균 아래 점수들은 음의 부호를 가지고 있다. 따라서 표준Z 점수를 계산함으로써 개인의 점수가 분포의 나머지 점수들과 관련해서 어디에 놓이는지 알 수 있다.

예를 들어

               원 점수(X) = 30

               평 균 ( ) = 20

           표준편차(SD) = 5

     Z 점수 = = = = 2

원 점수 30은 평균 위의 2 표준편차와 같다. 그림 9를 참조하여 보면 이 점수는 98의 백분위의 동일하다는 것을 볼 수 있을 것이다. 규준집단의 2% 만이 이 점수보다 높게 점수를 받을 것이다.

표준점수는 균등한 측정단위로 되어있기 때문에 수학적으로 조작할 수 있고 따라서 등급이나 백분위 보다 나은 장점을 가지고 있다.

표준 점수는 서로 다른 검사들의 점수를 비교할 때 매우 중요하다. 이들 점수를 적절하게 비교하기 위해서는 비교되기 전에 점수들이 Z점수와 같은 공통의 척도로 변화 되어야만 한다. 이때 Z 점수는 서로 다른 검사에서 받은 개인의 점수를 규준에 비추어 표현할 수 있다. 검사 규준을 위한 기초로서 정상분포를 사용하는 한가지 중요한 장점은 표준편차가 곡선 아래에 있는 영역들과 딱 들어맞는다는 것이다. 즉, 예를 들어 평균 위와 아래의 1표준편차는 대략 표본의 68%를 포함한다.

그림 6에서 보면 표준Z 점수는 평균이 0이고 표준편차가 1이라는 사실을 알 수 있다. 이러한 이유로 Z 점수가 다소 어렵고, 대부분이 소수점을 가지며 Z점수의 반은 음수일수 있기 때문에 다루기에 성가시다. 이러한 단점을 고치기 위해 여러 가지 변형된 표준점수체계가 고안되었다. 이들은 얻어진 Z 점수에 단순히 새로운 표준편차를 곱하고 평균을 더하여 얻어진다. 이들 단계 모두는 소수점이나 음수들을 지우기 위해서 고안되었다.

   5.3 T 점수

T 점수(transformed score)는 능력 검사들에 사용하는 가장 일반적인 표준화된 규준 체계이다. 백분위와 함께 모든 능력검사에 대한 규준 체계로 사용된다.

T 점수는 Z 점수에서 유도되는데 Z 점수가 새로운 척도로 변환 된 것이다. 여기서 T 점수의 평균은 50이고 표준편차는 10으로 설정된다.

T 점수는 다음과 같이 구한다.

             T 점수            = Z 점수 X 10 + 50

             만일 Z 점수    = 2 라면,

                        T 점수 = 2 ´ 10 + 50

                                  = 20 + 50

                                  = 70

T 점수가 쉽게 계산될 수 있다고 해도 대부분 그림 4와 같은 규준 표를 참조하여 사용한다. 관련된 T 점수를 확인하기 위해서는 표의 가운데에 있는 원 점수를 찾고 나서 오른쪽에 있는 T 점수를 읽으면 된다. 예를 들어 FTS4 검사에서 원점수23점은 T 점수 57 과 같다.

백분위 보다 나은 T점수의 장점은 점수들이 동일한 측정 단위를 갖는 선형적인 척도라는 것이다. 따라서 T 점수는 수학적으로 조작할 수 있으며 개인 내 또는 개인 간의 점수를 모두 직접적으로 비교할 수 있다.

T 점수의 단점은 검사에 대한 지식이 없는 사람들에게 쉽게 설명하고 의미를 전달할 수 없다는 점이다.

   5.4 표준 점수 IQ

표준점수 IQ는 한 단계 더 나아간 규준 체계이다. IQ 는 지능 값을 나타내며 척도는 일반적으로 지능을 측정하기 위해 고안된 검사들과 함께 사용된다.

하나의 척도로서 IQ의 평균은 100이다. 다양한 검사 제작자들은 상이한 표준편차를 취해왔는데 즉, 15, 16, 24의 표준편차를 선택해 왔다. SD를 15로 쓰는 경우가 가장 일반적이며 이를 기초해서 IQ는 다음과 같이 계산할 수 있다.

IQ               = ( Z 점수 ´ 15) + 100

만일 Z 점수 = 2 라면,

IQ               = 2 ´ 15 + 100

                  = 30 +100

                  = 130

지능유형 검사들과 사용되는 것 이외에 IQ 는 교육분야에서 사용되는 성취 및 능력 검사들과 함께 사용되는 일반적인 규준 체계이다.

   5. 5 Sten

Sten 은 Standard ten의 약자이며 점수 척도를 10으로 나눈 표준점수 체계이다. Sten은 평균 5.5, 표준편차 2에 기초한다.

Sten           = Z 점수 ´ 2 + 5.5

만일 Z 점수 = 2 라면,

Sten           = 2 ´ 2 + 5.5

                  = 9.5

일반적으로 Sten은 가장 가까운 전체 수로 취해지며 최소 값은 1이고 최대값은 10이다. Sten은 일반적으로 성격검사를 위한 규준 체계로서 사용되지만 우리에게 점수들의 범위를 생각하게 하는 동시에 지원자들간에 충분한 구별을 해주기 때문에 능력 검사들에 대한 유용한 체계가 된다.

  6. 가장 일반적인 규준 체계들 사이의 관계

가장 일반적인 규준 체계들간의 관계를 그림 9에서 볼 수 있다. 여기서 여러분은 평균점수가 백분위 50, 등급 C, Z 점수 0, T 점수 50, IQ 100, Sten 5와 같다는 것을 볼 수 있을 것이다. 유사하게 평균 위의 2표준편차 점수는 백분위 98, 등급 A, Z 점수 +2 , T 점수 70, IQ 130, Sten 10 과 같다.

또한 그림 9는 백분위가 동일한 측정단위가 아니라는 것을 보여주는데, 이는 분포의 중간과 끝에서 Z 점수들과 비교해 보면 알 수 있다.

그림 9는 점수들을 한 규준 체계에서 다른 규준체계로 바꾸고자 할 때 쉽게 이용할 수 있다.

그림 10은 Z 점수를 좀 더 정확하게 백분위로 바꿀 수 있게 해준다.

그림 9 일반적인 점수 척도들간의 관계

그림 10 Z 점수의 백분위 변환 표