정책평가의 논리와 방법
1. 평가의 타당성(Cook & Campbell)
①구성적 타당성: 처리. 결과, 모집단 및 상황들에 대한 이론적 구성요소들이 성공적으로 조직화된 정도
②통계적 결론의 타당성: 정책효과를 찾아낼 만큼 충분히 정밀하고 강력하게 연구설계가 이루어진 정도를 말한다. 제1종 오류 및 제2종 오류를 범하게 되면 통계적 결론의 타당성이 낮아진다.
③내적 타당성: 인과관계의 정확성을 의미. 원인(정책)과 결과(효과) 사이에 인과관계가 있는지를 의미. 타당도 중에서 핵심적인 것으로 1차적으로 확보되어야 할 개념
◆ 내적 타당성의 저해요인 :
☆선발요소(선정요인)
☆역사적 요인
☆성숙효과
☆상실효과
☆측정요소(검사요인, 시험효과)
☆회기인공요인
☆측정도구의 변화
☆오염효과
☆선발과 성숙의 상호작용
☆처치와 상실의 상호작용
◆ 내적 타당도를 위협하는 변수
•허위변수: 상관관계가 없는데도 있는 것처럼 보이게 하는 변수
•억제변수: 있는데도 없는 것으로 나타나게 하는변수
•혼란변수: 두 변수 간에 일부의 상관 관계가 있는 상태에서 두 변수 모두에 영향을 미치지만 이들 간의 공동변화를 설명하지 못하는 변수
•매개변수: 독립변수의 결과인 동시에 종속변수의 원인이 되는 변수
•선행변수: 인과관계에서 독립변수에 앞서면서 독립변수에 대해 영향력을 행사하는 변수
•구성변수: 포괄적 개념의 하위변수(교육수준, 수입)
•왜곡변수: 두 변수가 정반대로 나타나게 하는 제3의 변수
④ 외적 타당성: 어떤 특정한 상황에서 내적 타당성을 확보한 정책평가가 다른 상황에서도 그대로 적용될 수 있는 정도를 의미한다.
◆ 외적 타당성 저해요인: ☆실험조작의 반응효과(호손효과) ☆다수의 처리에 의한 간섭 ☆표본의 대표성 부족 문제 ☆크리밍 효과
2. 신뢰도 측정방법
①재검사법: 동일한 상황에서 동일한 측정도구를 사용해서 동일한 대상을 일정한 간격을 두고 두 번 측정해 결과를 비교하는 것이다.
②평행양식법: 두 가지의 유사한 측정도구를 사용하여 결과를 비교하는 방법이다.
③반분법: 하나의 측정도구에서 반으로 나누어 검사하여 비교하는 방법이다.
④내적 일관성: 각 문항 간에 어느 정도의 일관성이 있는지를 측정하는 방법이다
3. 타당도와의 관계
신뢰가 낮으면 타당도가 낮아지나 신뢰도가 높다고 해서 반드시 타당도가 높아지는 것은 아니다. 즉 신뢰도는 타당도를 위한 필요조건이지 충분조건은 아니다
정책평가를 위한 실험방법
사전에 실험집단(정책을 실시하는 집단)과 통제집단(정책을 실시하지 않는 집단)을 구분하는 실험적 방법 (진실험과 준실험)과 통제집단이 없이 실험집단에만 정책처리를 하여 정책효과를 추정하려는 비실험적인 방법이 있다.
1. 실험적 방법
①진실험: 실헙집단과 통제집단을 무작위로 배정하여 동일성을 확보하여 행하는 실험이다. 내적타장성은 비교적 높은 반면에 외적 타당성은 실현 가능성이 낮다. 하지만 모방효과와 정책내용의 누출 등은 진실험 설계로도 극복하기 어려운 내적 타당성 저해요인이다.
②준실험: 실험집단과 통제집단을 사전에 선정하지만 두 집단의 동질성을 확보하지 않고 행하는 실험. 유형: 비동질적 통제집단 설계. 사후측정 비교집단 설계. 회기불연속 설계, 단절적 시계열 설계 등
2. 비실험적 설계
•의의: 사전에 통제집단(비교집단)없이 실험집단에만 정책처리를 하여 정책효과를 추정하려는 방법이다.
•방법: 정책실시 전후 비교, 사후비교, 집단설계, 통계적 통제에 의한 평가, 인과모형에 의한 평가, 포괄적 통제와 잠재적 통제에 의한 평가 등이 있다.
특징: 내적 타당도는 낮지만 실현가능성과 외적 타당도는 높다
문제) 정책수단은 변화되지만 기본성격은 변화되지 않는 것은? 정책유지
1.정책혁신(새로운 문제의 등장): 정부가 관여하지 않던 새로운 정책을 결정 – ex 사이버수사대
2.정책유지(문제의 지속): 기본적 특성을 그대로 유지하면서 변화에 능동적으로 적응 – 인플레이션이나 생활수준에 따라 급여수준을 조정하는 경우
3.정책승계(문제의 변질): 현존 정책을 근본적으로 수정하거나 완전히 새롭게 대체하는 경우를 말한다. 정책의 목표는 변화가 없지만 정책수단인 사업이나 사업담당조직. 예산항목에서 중대한 변화가 일어난다는 점에서 정책유지와 다르다
4.정책종결(문제의 소멸)
①정책종결원인: 정당성의 상실, 환경의 엔트로피, 취약성, 조직의 위축 등
②저항원인: 심리적 저항, 정책 조직의 항구성, 동태적 보수주의, 종결반대를 위한 전치적 연합, 법적제약, 높은 비용 등
③저항의 극복전략:
☆시험적인 관측기구의 배격
☆정책종결 지지세력의 확장
☆종결대상인 정책의 해독 폭로
☆정책의 폐단폭로에 이념적 측면을 활용
☆타협의 배격
☆종결담당자에 외부인사 기용
☆의회의결을 가급적 피할 것
☆그러나 의회의 고유권한은 침해하지 않을 것
☆단기적 종결비용 증가를 감수할 것
☆기존 정책수헤자에 대한 대가를 지불
☆종결을 강조하지 말고 쇄신의 채택을 강조할 것
☆필수적인 것만 종결할 것(종결목표의 한정)
☆예고제 배격
잡스9급 PDF 교재
✽ 책 구매 없이 PDF 제공 가능
✽ adipoman@gmail.com 문의
✽ 유튜브 강의