검사의 정확도는 측정하고자 하는 특징을 얼마나 정확히 측정하는가를 의미한다. 선발 과정에서는 검사 점수와 이에 대한 준거, 즉 응시자의 미래 성과와의 연관 관계를 나타내기도 한다.

본 문서에서 정확도는 검사가 피검사자의 선발 후 성과라는 준거와 얼마나 관련성이 높은가를 판단하는 ‘준거 타당도(criterion validity)’를 의미한다. 일반적으로 선발 과정에서 사용되는 검사의 신뢰도 판단에는 이 준거 타당도가 가장 중요한 기준으로 사용된다.

5.1 분석방법 및 표준화 점수 계산

3장에서 소개한 것처럼 성과역량 검사는 자기보고식과 게임 형식의 측정 방식으로 구성된다.

일반적으로 자기보고식 검사의 분석에 활용되는 고전검사이론(Classical Test Theory; CTT)은 계산 방법이 단순하고 용이하나, 문항 모수가 변하게 되면 응시자의 검사 점수가 바뀌는 문제가 있다. 반면 문항반응이론(Item Response Theory; IRT)은 문항의 설계, 분석, 채점에 적용할 수 있는 보다 발전된 검사이론으로, 고전검사이론(CTT)의 단점을 보완한 방식이다. 문항반응이론(IRT)에서는 문항마다 고유한 모수치 및 피험자 능력의 불변성을 가정한다.

AI역량검사에서는 문항반응이론(IRT) 방법 중 하나인 일반화부분점수모형(Generalized Partial Credit Model; GPCM)을 채택하여 자기보고식 검사를 분석한다 [25]. 이를 활용하여 데이터에 기반한 확률 모형을 통해 각 문항의 난이도, 변별도 및 응시자의 응답 특성을 반영하여 응시자의 고유 역량을 추정할 수 있다.

게임 형식의 검사는 각 게임마다 고유의 인지적 특성을 측정하는 목적을 가지고 있으며, 게임에서 측정하는 다양한 정보를 1차 가공하여 원점수를 계산하는 방식으로 동작한다.

성과역량 검사는 개인의 점수가 집단에서 차지하는 상대적인 위치를 파악하는 규준참조검사(norm-referenced test)이며, 인구통계학적인 관점에서 선정된 12,000여명의 표본 데이터를 규준(norm-referenced test)으로 활용한다.

각 요인의 점수는 표준화된 규준에서 상대 위치를 기준으로 표준화 점수(standard score)로 환산하여 제공한다.

점수의 정규성(normality)을 확보하기 위하여 멱변환(power transformation) 과정을 거치며, Box- Cox 변환 또는 Yeo-Johnson 변환식을 활용한다 [26, 27].

5.2 성과역량 검사의 정확도 (준거 타당도)

13개 기관의 재직자에 대해 성과역량 검사의 세부 역량 결과와 준거로 사용된 각 기관의 평가 결과와의 상관관계를 분석한다.

준거인 기관의 평가 결과는 각 기관 특성상 인사평가, 다면평가, 성과평가, 역량평가 등 다소 상이하다.

이에 따라 여러 기관에서 제공한 결과로부터 종합적인 정확도(준거 타당도)를 계산하기 위하여 추가로 메타분석(meta-analysis) 방법을 도입하였다. 조직의 평가 제도는 필연적으로 각종 편향으로 인한 오차를 포함할 수밖에 없으며, 이러한 측정오차에 의한 불확실성은 데이터에서 관측되는 상관관계를 실제보다 낮게 만드는 방향으로 영향을 준다. 이러한 현상을 교정하는 메타분석 방법으로, Hunter와 Schmidt는 교정 상관계수 산출 방법을 통한 메타분석 방법을 제안하였으며, 여기에서는 이 방법을 도입하여 메타분석을 수행하였다 [12, 13].

검사의 준거 타당도인 타당도 계수(coefficient of validity, r)는 준거와 검사 점수 사이의 상관계수 (coefficient of correlation)로 계산되며, 미국 노동부에서 발간한 채용 검사 활용에 대한 가이드에서 제시한 다음의 기준과 비교한다 [8, 10].

표 10. 성과역량 검사의 준거 타당도

교정 상관계수를 메타분석한 결과(표 10의 마지막 행)가 0.28에서 0.38 사이의 값을 가지며 모두 0.2보다 크다.

이에 따라 성과역량 검사의 준거 타당도가 높은 수준이며, 성과역량 검사를 실제 채용에서 효용도 높게 활용할 수 있다고 판단할 수 있다.