제6장 측정의 타당도와 신뢰도
1. 타당도의 개념과 의의 및 측정방법
1) 타당도의 개념과 의의
• 타당도(validity) : 측정도구가 원래 측정하려고 의도한 것을 측정하는 정도
• 측정하고자 하는 것을 측정도구가 제대로 측정하지 못한다면 측정 결과는 의미 없게 됨
• 사회복지 조사에서 다루는 특성들은 직접적으로 측정하기
2) 타당도 측정방법
(1) 액면 타당도
• 내용 타당도와 비슷하게 사용
• 액면 타당도는 검사도구의 문항들이 검사 제작자나 응답자에게 얼마만큼 친숙하게 보이는 가를 말함( 겉으로 보이는 타당도)
(2) 기준 관련 타당도
• 기준 관련 타당도는 통계적으로 타당도를 평가하는 것으로, 사용하고 있는 측정도구의 측정값과 기준이 되는 측정도구의 측정값의 상관관계에 관심을 두는 타당도임.
• 즉 연구하려는 속성을 측정해 줄 것으로 알려진 외적 변수와 측정도구의 측정결과(척도의 점수) 간의 관계를 비교함으로써 타당도를 파악하는 방법임.
• 대학 학점의 타당도는 학생들의 성공적인 학업성취를 예측하는 능력에 달려 있음.
(3) 구성 타당도
• 이론적 관계의 체계 내에서 기대되는 것처럼, 한 측정이 다른 변수들과 연관되어 있는 정도.
(4) 내용 타당도
• 측정 항목이 연구자가 의도한 내용대로 실제로 측정하고 있는가 하는 문제임.
• 즉 측정도구가 측정대상이 가지고 있는 많은 속성 중에 일부를 대표성 있게 포함하면 타당성이 있다고 봄.
• 내용 타당성은 논리적 사고에 입각한 논리적인 분석과정으로 판단하는 주관적인 타당성로 객관적인 자료에 근거하지 않음.
2. 신뢰도의 개념과 의의 및 측정방법
1) 신뢰도의 개념과 의의
• 신뢰도(reliability)는 측정도구가 안정되고 일관성이 있는 정도를 가르킴.
2) 신뢰도의 측정방법
(1) 상호관찰자(평가자) (interobserver/ interrater)신뢰도
• 관찰자 혹은 평가자들 사이에 합의하거나 일관성이 있는 정도이며, 평가자 간의 신뢰도
라고도 함.
• 사회복지사가 클라이언트에게 행한 공감의 정도를 두 관찰자가 평가하여 약 70~70퍼센트 이상 일치하면 상호관찰자 신뢰도 받아들일 만함.
(2) 검사-재검사 (test-retest)신뢰도
• 동일한 대상자들에게 동일한 측정도구를 나중에 다시 적용하였을 때 그 결과가 일치하는 정도.
• 긴 시간에 걸쳐 척도 점수에서의 변화를 평가하는 것으로 척도가 어느 정도 안정적인가를 다루는 것.
• 장점: 빠르고 간단하고 실질적으로 신뢰도를 구할 수 있는 방법임.
• 단점: 검사를 처음 실시한 것은 재검사에서 대상자 응답 방식에 영향을 미칠 수 있음.
(3) 유사 양식 (parallel-forms)신뢰도
• 동일한 측정도구를 내용은 다르지만 방식은 같은 두 가지 형태로 만들어서 동일한 대상
자에게 동시에 적용하여 얻은 신뢰도.
• 두 가지 형태는 같은 사람에게 질문되고 그 다음 두 쌍의 응답이 충분히 상관관계가 있
는지 평가함.
• 문제점: 진짜로 동등한 두 가지 형태의 측정도구를 구성하는 것이 어렵다는 것이고, 두 가지 유형의 문제지를 만드는 데 시간이 많이 걸린다는 것임.
(4) 이분(반분)(split-half)신뢰도
• 측정도구를 길이가 같은 두 가지 반쪽으로 나누어서 측정하고 두 개 전체 점수 간의 상
관관계를 평가.
• 장점: 현실적방법이라는 점이고, 문제점은 둘로 나눈 도구가 서로 유사하도록 만드는
작업임.
(5) 내적 일관성법(internal consistency)
• 척도 문항들의 점수나 문항들로 구성된 하위집단들의 점수가 서로 관련되는 정도.
• 내적 일관성 신뢰도를 측정하기 위해 가장 많이 사용되는 방법은 크론바하의 알파 계수
를 계산하는 것.
3. 타당도와 신뢰도 사이의 관계
1) 신뢰도와 타당도의 관계
(1) 신뢰도와 타당도는 매우 중요한 요소지만 두 가지를 확보하는 것은 쉬운 일이 아님.
(2) 신뢰도와 타당도는 측정도구의 적합성을 평가하는 방법으로 서로 분리된 속성이지만, 서로 밀접히 관련되어 있음.
(3) 측정에서 가장 중요한 점은 연구자가 측정하고자 하는 바를 얼마나 정확하게 측정할 수 있는가에 있다고 볼 때, 신뢰도보다 타당도가 더 중요한 의미를 지닌다고 할 수 있음.
2) 측정의 신뢰도와 타당도의 상호관계에 대한 진술
(1) 신뢰도가 높다고 해서 반드시 타당도가 높은 것을 의미하지는 않음.
• 신뢰도가 높다는 것은 어떤 현상을 일관성 있게 측정할 수 있다는 것을 의미할 뿐이며, 그 현상이 연구자가 의도한 현상을 정확하게 측정하고 있지 않을 수도 있다는 것임. 즉, 신뢰 도가 높다고 해서 타당도가 높은 것은 아님.
(2) 신뢰도는 타당도를 높이기 위한 필요조건.
• 신뢰도가 높다고 해서 타당도가 높은 것은 아니지만, 타당도를 높이기 위해서는 신뢰도
가 높아야 함.
(3) 타당도가 높으면 반드시 신뢰도가 높음.
• 측정도구가 측정해야 할 개념을 잘 측정하고 있다면, 즉 타당도가 높으면 반드시 신뢰도가 높다고 할 수 있음. 타당도를 확보하면 신뢰도는 자연히 확보되는 것임.
(4) 타당도가 낮다고 해서 반드시 신뢰도가 낮은 것은 아님.
• 연구자가 의도한 현상을 정확하게 측정하고 있지는 못하나 어떤 현상을 일관성 있게 측정 하고 있다면 타당도는 낮을지라도 신뢰도는 낮지 않다고 할 수 있음.
(5) 신뢰도가 낮으면 항상 타당도가 낮음.
4. 타당도와 신뢰도에 영향을 미치는 요인
1) 측정의 오류
• 측정하는 과정은 오류(error)에 취약함.
• 측정에서는 어느 정도의 오류가 항상 나타나게 됨.
• 측정하려는 범위를 정확하게 알지 못하면 측정 오류(measurement error)가 나타남.
◊ 측정의 오류가 발생하는 주요한 원인
• 측정도구 자체가 결함이 있거나 정확하지 않은 경우에 오류가 나타남.
• 측정도구에는 별 문제가 없지만, 측정하는 사람이 측정 기술이 부족하거나 측정하는 사람이 부주의하거나 착오를 일으킬 경우에 측정 오류가 나타남.
• 대상자의 심리적 특성이 일시적으로 변하거나 측정이 이루어지는 환경이 특이한 경우에 측정 오류가 나타남.
◊ 두 가지 형태의 측정 오류
• 체계적 오류(systematic error)
• 무작위 오류(random error)
2) 체계적 오류
◊ 체계적 오류의 발생
• 조사자가 자료를 수집하는 방식에 문제가 있기 때문.
• 자료를 제공하는 사람들이 역동적 측면을 가지고 있기 때문.
• 어느 경우에는, 조사자가 사용하는 측정도구가 조사자가 측정한다고 생각하는 것을 실제로 측정하지 못하기 때문.
◊ 편향의 형태
• 순응적 반응 형태(acquiescent response set)
• 사회적 적절성 편향(social desirability bias)
• 문화적 차이 편향(cultural gap bias)
3) 무작위 오류
• 일관성이 있게 영향을 미치고 있지 않음.
• 여러 가지 형태를 띨 수 있음.
제7장 표집
1. 표집의 의의
• 대부분 조사연구는 모집단 전체를 조사하는 전수조사를 실시하기보다 모집단의 일부를 표본으로 추출하여 모집단의 특성을 투정하는 표본조사를 수행.
• 표본조사를 실시하는 이유?
- 전수조사에 비해 시간과 비용이 많이 절감
- 전수조사의 경우 시간과 노력이 많이 들면서 조사과정에서 여러 가지 비 표집오차에 노출된 가능성이 높음. 하지만 효과적이고 잘 계획된 표본조사는 표집오차만 줄어준다면 많은 경우 전수조사보다 더욱 신뢰할 만한 조사결과를 얻을 수 있음.
2. 표집의 개념과 용어
(1) 요소(element)
• 우리가 관심을 가지는 현상에 대한 정보를 수집하는 단위이며 분석의 기초에 해당.
(2) 모집단 (population)
• 특정한 연구요소의 총체이며 우리가 파악하고자 하는 집단의 총합체.
(3) 연구모집단 (survey population
• 이론적이고 관념적인 모집간이 아니라 표본이 실제로 선정되는 요소의 총합체.
(4) 표집 단위 (sampling unit)
• 표본의 추출단계에서 선정하고자 하는 요소 또는 요소의 집합.
(5) 표집틀 (sampling frame)
• 표본 또는 여러 단계의 표본을 선정하는 표집단위의 실제 목록.
(6) 관찰 단위 (observation unit)
• 자료수집의 단위는 정부를 수집하는 요소 또는 요소의 총합체.
(7) 모수 (parameter)
• 모집단에서 변수를 요약한 수치.
(8) 통계치 (statistic)
• 모집단에서 추출된 표본의 변수를 요약하여 기술한 수치.
3. 표집방법
• 표본 구분 시 가장 중요한 점 : 추출된 표본이 확률 표집방법 또는 비확률 표본 추출 방법에 기초하는지의 구분
1) 확률표집방법
• 모집단의 요소가 표본으로 선정된 확률을 사전에 미리 알 수 있도록 하는 표본선정방법
- 요소를 무작위적으로 선정하기 때문에 체계적인 편견이 없으며, 요소가 표본에 선정될 때 우연성을 제외하고는 아무것도 영향을 미치지 않는 표집방법.
- 이것은 연구에서 발견한 것을 일반화하려는 연구에서 비확률표집방법에 비해 특히 가치가 있음.
(1) 단순무작위표집법
• 우연에 따라서 표본을 선정하는 방법.
• 이 방법은 전체모집단의 요소가 많지 않다면 사용할 수 있지만 요소가 많은 경우는 실제로 사용하기 어려움.
• 전화설문조사를 수행하는 서베이 조사의 경우는 무작위로 전화 걸기라는 자동화된 절차를 사용해서 표본을 선정
(2) 체계적 표집법
• 단순무작위 표집과 거의 유사한 방법
• 첫 번째 요소를 무작위로 선정한 다음 그 요소로부터 매 n번째의 요소를 계속 선정하는 방식
◊ 체계적 표집이 진행되는 전형적인 방법
첫째, 전체모집단의 숫자를 표본의 숫자로 나눈다.
둘째, 1에서 20 사이의 숫자 가운데 한 숫자가 무작위로 선정된 다음 그다음부터 첫 번째로 선정된 숫자로부터 매 20번째의 요소를 표본을 선정
(3) 층화표집법
• 표집과정을 더욱 효율적으로 만들기 위해 표집을 하기 전에 전체모집단에 대해 이미 알려진 정보를 이용 → 먼저 모집단의 모든 요소는 모집단의 몇몇 특징의 값에 따라 구분되는데 그 특징이 층(strata)이 되고, 그 다음에는 각 층에서 무작위적으로 요소가 표집 됨.
(4) 군집표집법
• 사전정보가 보통의 경우보다 덜 필요로 함.
• 표집틀을 만들 수 없을 때 유용.
(단계)
첫째, 연구자는 군집(cluster)의 무작위 표본을 추출해야 함.
둘째, 연구자는 각각의 선정된 군집내에서 요소를 무작위로 추출.
2) 비확률표집방법
• 유의표집은 조사하고자 하는 모집단은 전형적으로 대표하는 것으로 판단되는 사례를 표본으로 선정하는 방법. 이를 전형조사라고도 하고 판단표집이라고도 함.
• 비확률표집의 장점은 조사초기에 개략적인 정보를 얻기 위해 사용되기도 함.
• 역사적 사건과 같이 확률표집이 불가능한 경우에 이용됨.
• 공간표집은 집단자체를 규정하고 표집하려 하기 보다 어떤 중요사건이나 일어나는 공간을 표집 대상으로 삼고 그 공간 안에서 동시에 몇 명의 조사원이 사람들을 표집하는 방법을 취할 수 있음.
(1) 이용 가능한 표집: 요소가 단지 이용가능하거나 발견하는 것이 쉽다는 이유로 표본에 선정되는 경우.
• 사회복지 분야에서 자주 사용되는 방법
• 비용이 적게 들고 특정대상이나 연구주제에 다른 방법이 가능하지 않는 경우 특히 많이 사용됨
• 실행 가능성의 이유로 사용하는 것이 정당화 될 때도 연구자는 자신의 지료에서 일반화하는데 상당한 주의를 기울여야 함. 또한 독자에게 이 방법이 작고 있는 위험에 대해서 주의시켜야 함.
• 눈에 띠는 편향이 존재하지 않으며 연구결과를 과대하게 일반화하지 않으면 좋은 연구 결과를 얻을 수 있음
• 극히 위험한 연구 방법이 될 수 있음
• 극단적 예 : 기자가 지나가는 사람들을 세워서 질문하는 행위.
(2) 할당표집: 이용가능 표집의 약점을 극복하려는 비확률표집 방법의 하나.
• 방법
① 모집단을 연령, 성별, 교육, 소득, 직업 등의 기준을 이용하여 몇 개의 카테고리로 분류함
② 모집단의 특성을 나타낼 수 있도록 특성에 비례하여 각 카테고리를 대표하는 사례수를 할당
③ 할당된 사례수를 작위적으로 추출하는 것
• 문제점
① 할당틀은 정확해야 함 → 최신 정보를 얻는데 어려움
② 모집단에서 각 항의 비율이 정확하게 예측되었다하더라도 특정항의 표본요소를 선정하면서 편향이 존재할 수 있음
(3) 의도적 또는 판단표집: 연구자가 가진 모집단에 대한 지식, 연구대상자의 특성, 연구주제에 맞추어 연구자의 판단과 연구의도에 따라 표본을 추출하는 것
• 연구결과가 어떤 모집단을 대표하지 않지만 그 검증으로 설문지가 갖고 있는 특정한 문제점을 효과적으로 밝혀낼 수 있음
• 사전검사
• 하위집단의 구성원을 평가하는 것은 어렵지 않지만 모집단 전체를 열거하는 것이 거의 불가능한 대규모 모집단의 작은 하위집안을 연구해야 하는 경우가 많음.
• 연구자가 어떤 현상에 대한 가설을 만들기 위해 현상의 양극단을 비교하려고 할 때 일반적으로 사용됨
• 예외사례표본추출 : 의도적 표본추출의 다른 유형, 규칙적인 형태를 더 잘 이해하기 위해 표준에서 벗어난 사례, 즉 행동이나 태도의 일반적인 규칙적 형태에 맞지 않는 사례에 대해 특별한 관심을 갖는 경우
(4) 눈덩이 표집: 우연표집의 한 형태라고 할 수 있는데 주로 질적 연구에서 사용하는 표집방법.
• 모집단의 구성원들을 찾기가 어려울 때 가능함
• 예 : 노숙자, 철새 노동자, 불법 노동자 등 적절함
• 대상 모집단 중에서 찾을 수 있는 소수의 구성원에 대한 자료를 수집하고 이들에게 그들이 알고 있는 모집단의 다른 구성원을 찾는데 필요한 정보를 제공해 줄 것을 요청하는 방식
• 대표성 문제
• 탐색적 연구로 적절함.
4. 표집오차와 표본의 크기
1) 표집오차
• 표집 그 자체의 속성과 본질에서 발생하는 오차.
• 표본은 모집단의 특성과 다른 측면이 나타나게 되는데 이것이 바로 표집오차임.
첫째, 표본의 크기가 크면 클수록 표본의 대표성에 대한 더 많은 확실을 가질 수 있음.
둘째, 표본이 추출되는 모집단의 동질성이 클수록 표본의 대표성에 대한 확신을 더 많이 가질 수 있을 것임.
셋째, 표본이 전체 모집단에서 차지하는 수학적 비율은 아주 큰 경우가 아니라면 표본의 대표성에 큰 영향을 미치지 못함.
2) 표본의 크기
• 표본이란 근본적으로 모집단을 대표하는 요소를 추출해서 모 집단을 전체적으로 조사하는 효과를 거두면서도 표집으로 나타나는 오차를 최소화하려는 전략.
• 표본의 크기를 결정할 때 적용할 수 있는 일반원칙
- 몇 가지 간단한 서술통계를 구하는 것이 목적이라면 복잡한 분석이 필요한 연구에 비해 표본의 크기가 작아도 됨.
- 만약에 가설을 검정하기 위해 변수 사이에 강력한 관계를 발견하고자 한다면 약한 관계를 기대할 때보다 표본의 크기가 커야 할 것임.
- 표본 오차가 적을수록 좋다면 표본의 크기가 커야 함.
- 모집단의 구성요소가 동질하다면 덜 동질적인 모집단보다 표본의 크기가 작을 수 있음.
- 층화표집은 표본을 추출하기 전에 동질적인 모집단을 구성하기 때문에 단순 무작위 표집에 비해 표본의 크기가 작아도 됨.
5. 표집과 사회복지조사
• 표집은 사회복지 조사연구의 강력한 도구이다.
• 확률표집방법은 연구자에게 표본을 하기 위해 확률 또는 우연의 법칙을 사용하도록 함 → 모수를 높은 확신을 가지고 추정할 수 있음
• 잘 설계된 표본: 꼼꼼한 계획, 표본이 추출된 모집단에 대한 사전지식, 그리고 체계적인 선정절차를 요구
• 비확률표집방법: 비용이 적게 들고 편리한 장점이 있지만 항상 만족할 만한 결과를 가져다주는 것 아님 → 일반화 가능성은 의문
제8장 실험
1. 인과관계의 추론
• 사회복지에 관한 연구문제나 사회복지실천현장에서 가장 주목하는 것 : 어떤 현상의 원인을 정확히 밝히는 것
• 인과관계 추론의 논리 : 위에 대한 근본 해답을 줄 수 있는 것
1) 인과관계 추론의 기준
• 독립변수가 종속변수보다 시간적으로 선행해야 함.
• 독립변수와 종속변수가 경험적으로 서로 상관관계가 있어야 함.
• 두 변수 사이의 경험적 상관관계가 두 변수 모두를 야기하는 세 번째 변수의 영향에 기인하는 것으로 설명될 수 없어야 함
(1) 원인(독립변수)이 결과(종속변수)보다 시간적으로 선행
• 첫 번째 조건은 자명한 논리의 문제임.
• 어떤 현상이 다른 현상의 변화를 일으키는 원인이 되기 위해서는 시간적으로 원인이 결과를 앞서야 한다는 것.
• 시간적 선행조건은 자명한/당연한 것처럼 보일 수 있지만 실제 인과관계를 주장하는 경험의 세계에서는 원인과 결과 사이의 시간상 순서가 명확하지 않은 경우가 많음
(2) 원인과 결과 사이의 경험적 상관관계가 존재
• 공변 하지 않으면 두 변수 사이에 인과관계가 있다고 말하는 것은 어리석은 주장이 될 것임.
• 두 변수 사이에 경험적 상관관계가 발견되었다고 두 변수 사이에 인과관계가 성립된다고 보기는 어려울 것임.
(3) 제3의 변수의 영향을 통제
• 제3의 변수의 영향 때문에 독립변수와 종속변수가 야기되었다는 것을 배제할 수 있어야 함
• 허위관계(spurious relationship)가 되지 말아야함
2. 내적 타당도와 내적 타당도에 대한 위협
1) 내적 타당도(internal validity)
• 종속변수의 변화를 설명하는 것이 진정으로 독립변수인지 아니면 다른 가능성이 있는가의 정도를 말하며, 연구결과로 한 변수가 다른 변수의 원인인지 아닌지를 정확하게 기술한다는 확신의 정도를 의미
2) 내적 타당도에 대한 위협
(1) 우연한 사건 또는 역사(history)
• 우연한 사건이 연구가 진행되는 기간에 발생했다면 종속변수의 변화가 독립변수 때문인지 아니면 이 기간 동안 발생한 우연한 사건 때문인지 확신할 수 없다.
(2) 성장요인(growth) 또는 성숙요인(maturation)
• 연구 참여자가 발달적 변화나 성장을 경험할 때 발생하는 내적 타당도에 대한 위협이 성장요인 또는 성숙요인임.
(3) 검사요인(testing effects)
• 동일한 측정도구를 두 번 이상 사용하는 경우 검사지, 검사문항, 그리고 검사지에 나오는 용어 등에 익숙해짐에 따라 측정하고자 하는 본래 요인의 효과와 관계없이 종속변수의 측정치가 개선될 수 있음.
(4) 도구요인(instrumentation)
• 두 번 이상 사용한 경우에 발생하는 반면에, 도구요인은 반대의 경우로서 두 번 이상의 검사에서 서로 다른 검사 도구를 사용하거나 평가자 다른 사람인 경우에 발생하는 내적 타당도에 대한 위협임.
(5) 통계적 회귀(statistical regression)
• 사전검사에서 극단적인 점수, 즉 평균보다 지나치게 낮은 점수나 높은 점수를 받은 경우 사후검사에서는 독립변수의 효과와 상관없이 평균 점수에 가까운 점수를 받을 가능성이 높을 것을 의미
(6) 선정편견(selection bias)
• 두 집단이 처음부터 동일하지 않아(선정에 편견이 있어) 연구결과가 왜곡되는 것
(7) 실험대상의 탈락(experimental mortality)
• 연구대상자의 탈락에 의해 종속변수에 변화가 야기되는 경우를 연구대상자의 탈락에 의한 내적 타당도의 위협이라고 함.
(8) 인과관계 방향의 모호성(ambiguity about direction of causal influence)
• 시간상 순서가 분명하지 않을 때에는 독립변수가 종속변수의 변화를 초래했다는 설명에 의해 도전받을 수 있는 것임.
(9) 개입(치료)의 확산 또는 모방(diffusion or imitation of treatment)
• 실험집단에서 실시한 프로그램이나 특정한 자극들에 의해 실험집단에 속한 사람들이 효과를 볼 경우 통제집단에 속한 사람들에게 프로그램이나 자극이 확산되거나 모방될 수 있음.
3. 외적 타당도
• 외적 타당도(external validity)란 어떤 연구에서 서술된 인과관계가 그 연구의 조건을 넘어서 일반화될 수 있는 정도(generalizability)를 뜻함.
1) 연구의 대표성
• 표본이 모집단을 대표하는 정도가 연구의 외적 타당도에 지대한 영향
2) 조사연구의 반응성
• 연구대상자가 자신이 현재 연구에 참여하고 있다는 사실을 인식하여 평소와 다르게 행동하거나 또는 연구 상황을 벗어나서는 일반화할 수 없는 변화를 초래하는 것을 의미
◊ 반응성의 대표적 유형
• 호손효과(Hawthorne effect)란 조상대상자가 자신이 실험에 참여하고 있다는 것을 의식해서 자연스러운 평소의 상황과는 다른 행동과 반응을 보안다면 보통의 사람들에게서는 나타나지 않는 결과가 나타날 수 있음.
• 가 실험효과로 알려진 반응의 또 다른 형태는 특정 개입이나 실험이 이루어지지 않았거나 변화를 일으키지 않는 것이었음에도 연구대상이 어떤 특별한 치료나 특별한 관심을 받고 있다고 인식하면 스스로 심리적으로 반응해서 변화를 불러일으키는 것을 말함.
4. 인과적 분석과 연구 설계의 유형
• 실험적 연구설계: 연구의 목적이 만약에 인과적 분석이라면 다른 어떤 종류의 연구 설계(research design)보다 우수한 것이 있는데 그것이 바로 실험적 연구 설계임.
• 인과관계 성립의 세 가지 조건
첫째, 실험자는 독립변수의 도립과 조작을 통제하며, 이것은 독립변수가 시간적으로 분명히 종속변수 앞에 오는 것을 가능하게 함.
둘째, 실험의 특징인 통제는 연구자가 독립변수와 종속변수 사이의 연관성이나 상관관계를 분명하게 보고하는 것도 가능케 함.
셋째, 실험적 방법에 내재한 통제로 인해서 연구자는 제3의 변수의 영향을 중립화하고 이론 인해 종속변수의 변화에 대한 대립적 설명(rival explanation)을 효과적으로 제거하게 되는 것
1) 원시실험설계
(1) 일회검사사례연구(one-shot case study)
•가장 간단히 자극/처치를 도입한 다음 다른 집단과 아무런 비교도 없이 종속변수의 값을 측정
•장단점: 상관관계도 평가하지 못하며 내적 타당도에 대한 어떠한 위협도 전혀 통제 못함
(2) 단일집단 사전-사후검사설계(one group pretest-posttest design)
• 통제집단이 없고 사전조사와 사후조사비교하여 효과여부를 파악하는 평범한 설계
• 즉, 개입이나 p 전과 후의 빈도수 관찰이나 자기보고서 형식의 측정도구 사용
• 두 변수 사이의 상관관계를 평가하고 있으며, 독립변수와 종속변수의 시간의 순서 통제
• 종속변수의 변화를 일으킬 수 있는 독립변수 이외의 다른 요인들로서, 내적 타당도에 위협이 될 수 있는 우연한 사건, 성숙, 검사. 통계적 회귀요인을 통제 못함
(3) 비동일집단 사후검사설계(posttest-only with nonequivalent groups)
• 정태적 비교집단 설계(static-group Comparison design)라고도 불림-기존에 형성되어있는 집단을 비교집단으로 선정, 즉, 개입을 시행한 실험집단에 대하여 사후조사를 시행하고 기존에 있던 집단에 사후조사를 시행하여 그 사후 조사결과를 비교하는 것.
• 장단점: 선정편향에 의한 내적 타당도에 대한 위협을 통제하지 못함
2) 실험설계
• 실험조사 설계: 실험적 개입, 즉 독립변수의 조작으로 발생할 수 있는 변수 간의 인과관계를 규명하기 위한 조사 설계
• 순수, 유사 실험조사 설계, 전 실험조사 설계가 있음
(1) 고전적 실험설계
• 예: 비행청소년의 분노 대처 프로그램의 효과 연구 (분노 표현 및 공격성 측정
(2) 통제집단 사후검사설계(posttest only control group design)
• 사전검사의 영향을 배제하고자 할 때
• 사전검사가 용이하지 않을 때
• 예: 상담기관 확인전화의 예약 취소율에 대한 효과
(3) 솔로몬 4집단 설계(Solomon four group design)
• 사전, 사후검사를 하면서도 사전검사를 영향을 통제하고자 할 때
• 예: 영화 속에 투영된 여성에 대한 폭력의 영향으로 인한 여성들의 무력감 비교 연구
3) 유사실험 설계
(1) 비동일통제집단 설계(non-equivalent control group design)
• 실험설계와 유형과 검증방법이 동일하나 실험집단과 통제집단을 임의로 배치
• 무작위 배치가 윤리적·현실적으로 어려울 때 적용할 수 있기 때문에 유용성 매우 높음
• 실험집단과 통제집단을 최대한 유사하게 배치(사전 검사로 확인)
• 실천현장에서 가장 많이 활용되는 조사연구형태로 무작위배정이 가능하지 않을 때
• 예: 방과 후 프로그램 효과 연구
(2) 단순시계열설계(simple interrupted time-series design)
• 통제집단을 구하기 어려울 때
• 역사적 사건, 측정 효과의 우려
• 동일 간격, 동일 횟수의 측정 필요
• 안정된 기초선을 위해서 최소3회 이상의 충분한 관찰 필요
• 예: 휴대폰 사용 집중 단속 후 교통사고 발생건수 변화 조사
(3) 다중시계열설계(multiple time-series design)
• 비동일통제집단전후비교조사의 확대형
• 통제집단으로 역사, 측정, 성숙 등을 해결
• 강력한 유사실험연구형태
• 예: 5일제 근무제 이후 두 직종 간의 생산성 비교 연구
(4) 유사실험 설계의 유용성
• 순수 실험만큼 좋지 않지만 원시실험설계보다는 훨씬 우월하다고 할 수 있음.
① 순수실험조사설계의 대안
②무작위 배정, 통제집단 활용이 용이하지 않아 내적 타당도는 낮지만 실험에 대한 통제가 비교적 적어 외적 타당도 확보 용이함
③무작위 배정이 가능하지 않을 때, 참여자 선정과 성숙, 측정 및 역사적 사건 간의 상호작용이 위협 요소가 됨
5. 단일사례설계
1) 기본개념과 특징
• 시계열분석의 논리를 개입대상이 단일사례인 사회복지실천의 효과성을 평가할 때 적용.
• 주목적은 독립변수 도입의 효과를 과학적으로 입증하는 것.
- 단일사례연구 디자인(single case study design)
- 단일사례실험(single case experiment)
- 단일체계디자인(single system design
2) 단일사례설계의 자료해석
사회복지사 두문자 암기
✽ 책 구매 없이 PDF 제공 가능
✽ adipoman@gmail.com 문의