타당도
1. 개념
(1) 평가도구가 측정하고자 하는 것을 얼마나 충실하게 측정하는가의 정도
(2) 타당도가 높으면 정확한 해석과 추론이 가능하지만, 타당도가 낮으면 검사점수에 근거한 해석과 추론이 오류를 범하기 쉽다.
2. 종류
(1) 내용 타당도
① 개념 : 검사 문항이 측정하고자 하는 내용 전체를 얼마나 잘 대표하는가의 정도
② 특징
㉮ 측정하고자 하는 대상이 비교적 구체적이고 객관적인 경우에 유용하다.
㉯ 교육목표가 평가의 기준이 되기 때문에 이원목적분류표를 통해 타당도를 높일 수 있다.
㉰ 측정 분야의 전문가에 의해 이루어진다.
③ 내용 타당도를 높이기 위한 방법
㉮ 이원목적분류에 기준하여 문제를 출제한다.
㉯ 해당 과목의 전문가와 평가 전문가에게 문제를 검수받는다.
④ 단점 : 계량화되어 있지 않아 타당성의 정도를 표기할 수 없다.
(2) 안면 타당도
① 개념 : 검사가 무엇을 재고 있는 것 같다는 주관적 인상을 중심으로 기술되는 것. 즉, 검사에 대한 피험자들의 주관적 인상을 중심으로 기술한 타당도 (피험자들이 검사가 타당하다 생각하면 안면타당도가 높다.)
② 특징 : 검사문항들이 피험자에게 친숙한 정도를 의미한다. 피험자가 자주 접해 본 문항들이 많으면 안면타당도가 높다.
(3) 공인 타당도
① 개념 : 기존의 타당성을 보장받은 검사도구의 점수와 타당도를 측정하고자하는 검사 도구의 점수간의 상관을 토대로 검사도구의 타당도를 평가하는 것. 즉, 해로 제작한 검사와 타당성을 인정받고 있는 기존 검사와의 공통성을 기준으로 타당도를 밝히는 것이다.
② 장점 : 계량화할 수 있어 타당성의 정도를 표기할 수 있다.
③ 단점 : 기존에 타당성을 검증받은 검사가 없는 경우 타당도를 평가할 수 없다.
(4) 예언 타당도
① 개념 : 검사결과가 피험자의 미래 행동이나 특성을 얼마나 정확하게 예언하느냐와 관련된 타당도
② 장점 : 계량화가 가능해 타당성의 정도를 표기할 수 있다.
③ 단점 : 타당성 검증을 위한 시간이 오래 걸린다.
(5) 구인 타당도
① 개념 : 검사가 조작적으로 정의한 구인을 어느정도 재고 있는지를 판단하여 검사의 타당도를 평가하는 방법
※ 구인 : 직접 측정하거나 관찰하는 것이 불가능한 인간의 인지적, 심리적 특징
② 특징 : 많은 경험적, 통계적 증거 자료를 필요로 한다.
③ 분석 방법
㉮ 요인분석법 : 문항간의 상관관계를 바탕으로 측정하고있는 구인이 무엇인지, 의도대로 잘 측정하고 있는지 파악하는 통계적 방법
㉯ 중다특성-중다방법 행렬표 : 구인타당도를 평가하기 위해 이미 널리 알려진 다른 검사와의 상관관계를 통해 검사의 타당도를 평가하는 방법으로, 공인타당도와 동일한 방법이다.
(6) 결과 타당도
① 개념 : 검사가 의도한 결과를 얼마나 달성했고 의도하지 않은 어떤 결과가 나타났는가에 대해 검증하는 것
즉, 검사 결과의 교육효과 달성 정도 ( ex> 학생의 행동변화, 동기 유발 정도 )
신뢰도
1. 개념
: 평가도구가 측정하려는 대상을 얼마나 안정적으로 측정하느냐의 정도 즉, 측정의 오차가 얼마나 적은가
2. 신뢰도 측정 방법
(1) 재검사 신뢰도
① 개념 : 한 검사를 실시한 후 일정 시간의 간격을 두고 다시 실시해 두 검사 결과의 점수간의 상관계수를 산출하는 것
② 안정성 계수 : 피험자의 반응이 두 검사에서 얼마나 일관되고 안정적인지에 따라 신뢰도가 결정됨
③ 단점
㉮ 전후 검사의 실시간격을 어떻게 두느냐에 따라 오차가 생긴다.
ⓐ 짧은 간격 : 연습의 효과로 피험자의 행동 특성이 변화될 가능성이 높다.
ⓑ 긴 간격 : 성숙의 효과로 인해 피험자의 행동특성이 변화될 가능성이 높다.
㉯ 전후 검사의 여러 조건을 똑같이 통제하기 힘들다.
㉰ 이월효과가 나타난다. : 이전 검사에서 피험자가 받은 느낌, 생각, 경험이 이후 검사에 영향을 미치는 것
④ 장점 : 검사의 시행과 신뢰도 추정이 비교적 쉽다.
(2) 동형 검사 신뢰도
① 개념 : 동일 능력을 측정하는 두 검사를 제작해 두 검사의 결과를 기초로 상관계수를 산출하는 것
② 동형성 계수 : 두 검사가 얼마나 동질적인가에 의해 신뢰도가 결정된다. ( 문항 내용, 난이도, 변별도가 거의 비슷)
③ 장점 : 연습효과나 망각이 신뢰도 추정에 영향을 미치는 것을 최소화한다.
④ 단점 : 내용과 형식이 동일한 두 개의 동형검사를 제작하는 것이 쉽지 않다.
(3) 반분 신뢰도
① 개념 : 하나의 검사를 일정 기준에 따라 둘로 나누어 독립된 검사로 취급하여 이들의 점수 사이의 상관계수를 산출하는 것
② 동질성 계수 : 하위 검사나 문항간의 상관관계에 의해 신뢰도가 결정된다.
③ 장점 : 검사를 두 번 시행할 필요가 없다. 연습효과나 망각이 신뢰도 추정에 영향을 미치는 것을 최소화한다.
④ 단점 : 검사를 분할하는 방법에 따라 신뢰도에 영향을 준다.
⑤ 분할 방법 : 기우법 (짝수문항, 홀수문항), 전후법 ( 문항 순서에따라), 단순 무작위법, 문항 특성법 (문항 난이도와 문항 변별도에 의해 나누는 방법)
(4) 문항 내적 신뢰도
① 개념 : 검사 문항 각각을 하나의 독립된 검사 단위로 보고 그 합치성, 동질성, 일치성을 종합하여 상관계수를 산출하는 것
② 동질성 계수
③ 장점 : 하나의 검사로 신뢰도를 추정할 수 있다.
3. 신뢰도에 영향을 주는 요인
(1) 검사에 관련된 요인
① 문항수가 높을수록 신뢰도가 높다.
② 답지수가 많을수록 신뢰도가 높다.
③ 시험범위가 좁을수록 신뢰도가 높다.
④ 문항의 동질성이 높을수록 신뢰도가 높다.
⑤ 문항 난이도가 적절할수록(30% ~ 70%) 신뢰도가 높다.
⑥ 문항 변별도가 높을수록 신뢰도가 높다.
(2) 검사 집단에 관련된 요인
① 이질집단일수록 신뢰도가 높다.
② 일정 이상의 동기를 가지고 있을 때 신뢰도가 높다.
③ 검사요령을 터득하고 있을 때 신뢰도가 높다.
(3) 검사 실시에 관련된 요인
① 충분한 검사시간이 주어질수록 신뢰도가 높다.
② 부정행위의 유발은 신뢰도를 떨어뜨린다.
4. 신뢰도와 타당도 사이의 관계
: 신뢰도는 타당도의 필요조건이다.
즉, 타당도가 높으면 신뢰도는 높으나, 신뢰도가 높다고 타당도가 높은 것은 아니다.
객관도
1. 개념
: 채점자간에 얼마나 일치된 평가를 하느냐의 정도
2. 종류
(1) 채점자 내 신뢰도 : 한 채점가 같은 측정대상을 여러 번 측정할 때 결과가 얼마나 일관성 있는가
(2) 채점자 간 신뢰도 : 여러 채점자들의 채점 결과가 얼마나 일치하는가
3. 객관도를 높이는 방법
(1) 평가도구를 객관화 시킨다. (루브릭 채점 기준표 이용)
(2) 평가자의 전문성을 높인다.
(3) 여러 사람이 공동으로 평가해 그 결과를 종합한다.
실용도
1. 개념
: 평가도구를 제작하고, 평가를 실시하고 채점하는데에 들어가는 비용, 시간, 노력을 최소화하고 소기의 목적을 달성하는 과정이 얼마나 실용적인가의 정도 = 검사의 경제성 정도
2. 실용도 확보 시 고려사항
(1) 검사 실시 방법이 쉽고 실시하는 데 소요되는 시간이 적절할 것
(2) 비용, 노력, 시간이 절약될 것
(3) 평가 결과의 해석과 활용이 용이할 것