● 정책평가 타당도 : '내외구통'
- 내적 타당도 : 특정상황에서 인과관계
- 외적 타당도 : 다른 상황에서 확대적용(일반화) 정도
- 구성적(개념적) 타당도 : 이론적 구성요소들이 조작화된 정도
- 통계적(결론) 타당도 : 정밀한 연구설계 이뤄진 정도, 3종오류
● 외적 타당도 저해(위협) 요인 : '외대 호실크다'
- 대표성 부족
- 호손 효과
- 실험조작과 측정의 상호작용
- 크리밍 효과
- 다수적 처리에 의한 간섭
● 내적 타당도 저해 요인
선발(선정), 역사(사건), 성숙, 상실, 처치와 상실의 상호작용, 측정, 측정도구, 회귀인공
| 내적 타당도 위협요인 | 외적 타당도 위협요인 | |
| 외재적 요인 ㉠ 선발(선정)요인 ㉡ 역사요인(history) ㉢ 성숙요인 ㉣ 선발과 성숙의 상호작용 |
내재적 요인 ㉤ 상실요인(mortality) ㉥ 처치와 상실의 상호작용 ㉦ 측정요인(testing) ㉧ 측정도구요인 ㉨ 회귀인공요인(regression) |
㉠ 표본의 대표성 부족 －상이한 실험집단과 통제집단의 선택 ㉡ 실험조작의 반응효과－호손효과 ㉢ 실험조작과 측정의 상호작용 ㉣ 크리밍 효과 ㉤ 다수적 처리에 의한 간섭 |
● 외적 타당도 저해요인
-호손효과(조작에 대한 반응효과): 인위적인 실험환경에서 얻은 결과는, 다른 집단에 일반화하기 어려움
-표본의 대표성 부족: 한정적인 실험집단으로부터 얻은 결과는, 다른 집단에 일반화하기 어려움
-조작과 측정의 상호작용: 사전측정이 피조사자의 감각에 영향을 준 상태의 결과는, 다른 집단에 일반화하기 어려움
-다수적 처리에 의한 간섭: 여러 번의 실험처리에 익숙해진 상태의 결과는, 다른 집단에 일반화하기 어려움
-크리밍 효과: 효과가 크게 나타날 사람만 의도적으로 골라 실험한 결과는, 다른 집단에 일반화하기 어려움
(실험집단과 통제집단의 선택과 실험조작의 상호작용) :Creaming 기름을 친다.
★암기 외대호실크다~! 그외는 내적(9개이상)….(문제풀이 요령)
● 내적 타당도 저해요인 9가지(중요도순서)
1.우연한 사건(History). 역사 요인
연구조사과정에 결과를 혼란스럽게 만드는 우연한 외부 사건이 일어날 수 있다.
2.성숙 또는 시간의 경과 (Maturation or the passage of time)
사람은 조사연구의 대상이든 아니든 계속 성장하고 변화하며,
그 변화는 연구조사결과에 영향
3.통계적 회귀 (Statistical Regression) :
어떤 프로그램적인 개입이 없이도 시간이 흐르면서 서비스 수혜자 집단이
서비스를 받지 않은 집단보다 평균 점수가 더 많이 높아질 가능성이 많다.
극단적으로 매우 어려운 위치에 있는 상황에 있는 복지대상자에 대해 프로그램을
실시했을 경우 일어나는변화를 독립변수의 효과로 잘못 알 수 있다.
4,측정/시험/검사 (Testing) :
검사로 측정하고자 하는 실제의 구성물에 어떤 개선이 없이도
검사과정으로 인해 검사점수가 높아지는 경우가 많다.
5.도구화 (Instrumentation) :
사전검사 척도와 사전검사의 척도가 다를 경우에는 결과가 다를 수 있다.
6.대상자 선정 편견 (Selection bias)
:서비스를 이용하기로 선택하는 사람들은 서비스를 받도록 추천받지 못한 사람들 또는
서비스를 거부하는 사람들과 비교할 때 두집단의 결과가 다르다고 할 수 없다.
7. 실험대상의 탈락(Experimental Mortality) :
실험진행과정에서 일반적으로 대상자가 탈락하면, 통계적인 비교와 결론에 영향.
8.인과관계 영향의 방향 모호 :
인과관계에서 종속변수(결과)가 독립변수(원인)보다 먼저 발생하였다면,
그 관계의 설명이 타당하지 않을 수 있다.
9. 치료의 확산 및 모방 :
현재의 개입방법이 이전 개입방법보다 나은 프로그램이라고 할 경우,
두 치료개입방법을 대상자가 혼동하여 인식할 때 결과가 별 차이 X
Q Cook과 Cambell이 분류한 정책타당도에 대한 설명으로 옳지 않은 것은?
①내적 타당도는 정책수단과 정책효과 사이의 인과관계를 파악할 수 있게 한다.
②외적 타당도는 정책이 다른 상황에서도 실험에서 발견된 효과들이 그대로 나타날 수 있는가이다.
③구성타당도(개념적 타당도)란 처리, 결과, 상황 등에 대한 이론적 구성요소들이 성공적으로 조작화된 정도를 말한다.
④결론타당도(통계적 타당도)란 정책실시와 영향의 관계에서 정확도를 의미한다.
⑤크리밍(creaming)효과, 호오손(Hawthorne)효과는 내적 타당도를 저해하는 요인이다.
【해설】 정답 ⑤
크리밍(creaming)효과와 호오손(Hawthorne)효과는 외적 타당도를 저해하는 요인이다. 다만 크리밍(creaming)효과는 내적 타당도를 저해하는 요인이기도 하다. 외대호실크다!
Q 다음 내용에서 정책평가의 내적 타당성을 위협하는 요인은?
| 정부는 혼잡통행료 제도의 효과를 측정하기 위해 혼잡통행료 실시 이전과 실시 후의 도심의 교통 흐름도를 측정, 비교하였다. 그런데 두 측정시점 사이에 유류가격이 급등하는 상황이 발생하였다. |
① 상실요인(mortality) ② 회귀요인(regression)
③ 역사요인(history) ④ 검사요인(testing)
【해설】 정답 ③
제시문은 혼잡통행료 제도라는 정책과 그 정책의 효과 간의 인과관계를 측정하려는 것으로 정책투입과 효과발생 사이에 유류가격 급등이라는 역사적 사건이 발생한 것이므로 이는 역사요인 또는 사건효과에 해당한다.
잡스9급 PDF 교재
✽ 책 구매 없이 PDF 제공 가능
✽ adipoman@gmail.com 문의
✽ 유튜브 강의