필요성 및 개념
선행 연구들이 동일한 주제에 대해 서로 상충하는 결과를 주장하면, 연구자는 이것을 어떻게 해석해야 하는가? 예를 들어, 직무 만족과 조직 몰입의 관계에서 양자의 상관성이나 인과적 방향에 대한 논쟁이 있다. 이러한 논쟁에는, 상관관계를 주장하는 연구와 부정하는 연구, 직무 만족이 선행한다는 연구와 조직몰입이 선행한다는 연구, 상호인과적이라고 주장하는 연구 등이 있다. 이러한 경우에 기존 연구들을 종합하여 신뢰할만한 결과를 도출해야할 필요성이 있다.
협의의 메타분석은 연구 결과들을 객관적으로 종합(synthesis)하기 위해 개별 연구에서 제시한 수치들(예: 요약통계량, 상관계수)을 통계적인 방법으로 분석하는 것이다. 광의로는 이러한 통계 분석을 실시하기 전에, 가설을 설정하고 선행 연구를 탐색·분류·코딩하여 분석하고 결과를 제시하는 일련의 절차를 의미한다. 메타분석의 장점은, 상충하는 연구결과가 발생하는 원인을 확인할 수 있다는 점, 통계적 검증력을 높일 수 있다는 점, 앞의 장점으로 인해 신뢰할만한 강력한 결론을 도출할 수 있다는 점 등이다. 단점으로는 상이한 성질의 연구들은 비교가 불가능하다는 점, 조사 설계 등이 치밀한 연구와 그렇지 않은 연구들을 통합한다는 점 등이다.
절차
메타분석의 절차는, 연구 문제 또는 가설 설정, 선행 연구 탐색, 연구문제 또는 가설에 따른 개별 연구의 분류와 코딩, 협의의 메타분석과 결과의 해석 등으로 이루어진다. 절차에 관한 설명에서, 연구 주제와 관련한 예시는 허만용(2001)의 연구를, 메타분석의 통계적 방법에 관한 설명은 헌터와 슈미트(Hunter & Schmidt, 1990) 연구의 3장, 9장을 참조하였다.
첫째, 가설 설정이다. 같은 주제에 대해 상반된 주장들이 제기되면, 연구자는 그 원인을 연구하여 가설을 유도한다. 예를 들어 조직몰입(organizational commitment)과 이직의도(turnover intentions)의 상관관계는, 단일 모집단을 가정할 경우 다소 혼란스럽다. 즉, 양자의 관계와 강도는 방법론적 요인(표본추출, 측정방법 등), 조직 유형(영리 대 비영리), 응답자의 직위에 따라 달라질 수 있다. 개념간의 관계와 강도에서 차이를 발생시키는 이러한 변수들을 조절변수라고 부른다. 상충하는 연구결과들의 원인일 것 같은 조절변수를 포함하여 가설을 설정하는 것이 첫 번째 작업이다. 조절 변수가 포함된 가설의 예는 다음과 같다. “조직몰입과 이직의도의 관계는, 비영리 조직의 구성원이 영리 조직의 구성원보다 더 강하다.” 경우에 따라서는 가설 없이 연구 문제만으로도 진행할 수 있다.
둘째, 연구 주제와 관련된 선행 연구를 탐색한 후 필요한 값들을 코딩해야 한다. 메타분석은 연구들의 종합이기 때문에 연구 축적이 상당히 이루어진 주제를 대상으로 해야 한다. 연구자는, 연구 범위로써 기간(연도)을 지정하여 주로 데이터베이스를 활용해 검색한다. 데이터베이스에 포함 되지 않은 연구는 관련 저널 등을 주의 깊게 검토해야 한다. 선행 연구들을 확인할 때는 주의해야 할 사항이 있다. 우선, 선행 연구가 요약통계량, 상관계수, 신뢰계수, 표본크기 등을 보고해야 한다. 다음으로, 조절 변수를 판단할 수 있는 정보가 제시되어야 한다. 위의 예를 들면 조직 유형, 직위를 판단할 수 있어야 한다. 또 유사 구성개념을 다룬 연구들은 배재해야 한다. 위의 예에서 직무 이직 또는 직무 이탈 등을 다룬 논문은 배제해야 한다. 선행 연구들을 탐색한 후 연구주제에 맞도록 코딩해야 한다. 단독·공동 연구에 관계없이 코딩 내용을 세분화하여 자의적으로 해석되지 않도록 하는 것이 중요하다.
세 번째 단계는 협의의 메타분석으로 통계적인 분석이 행해진다. 이 단계의 설명은 번호를 달리하여 아래에 기술하였다.
협의의 메타분석
선행 연구가 제시한 정보를 코딩한 후에 이를 바탕으로 통계적인 분석이 이루어진다. 협의의 메타분석 절차는, 1) 모집단의 평균 상관관계와 분산의 추정, 2) 통계 가공물(statistical artifacts)의 수정, 3) 최종 메타분석 추정, 4) 조절효과 분석의 단계로 이루어진다. 1, 2 단계에서는 개별 선행 연구의 상관관계와 분산을 계산한다. 다음으로 선행 연구를 결합하기 위해 가중치를 결정한다. 3단계에서는 평균 상관관계, 평균 상관관계 분산, 평균 오차 분산의 값을 구한다. 모든 상관자료는 집계하기 전에 통계적 수정을 해야 한다. 헌터와 슈미트(Hunter & Schmidt, 1990)의 연구에서는 11개의 통계적 가공물을 제시하였지만 대다수 기존 연구들이 여기에 대한 정보를 제시하지 않기 때문에 일반적으로 통제 가능한 가공물은 표본오차, 측정오차 등이 있다. 4단계에서는 조절변수에 따라 하위집단으로 분류 후 앞의 과정을 반복한다. 경우에 따라서 네 번째 단계 없이 연구가 진행될 수 있다. 지금까지의 논의를 기호와 식으로 제시하면 다음과 같다.
1) 각 연구(표본)들의 계산
각각 i번째 연구의 수정상관관계(corrected correlation), 표본크기(sample),
혼합약화요인(compound attenuation factor), 표본오차분산(sampling error variance).
여기에서 (=관찰상관관계, =수정상관관계).
2) 연구(표본)들의 결합
가중치( ) 결정,
3) 최종 메타분석 추정: 종합
앞의 1, 2단계를 거친 후 각 값들의 평균
, ,
각각 평균 상관관계, 평균 상관관계 분산, 평균 표본오차 분산.
4) 조절변수에 따른 하위집단 분류 후, 전술한 과정을 반복한다.
각 하위집단의 조절효과를 판단하기 위해 세 가지 기준을 적용할 수 있다. 첫 번째 기준은 통계 가공물에 기인하는 관찰된 분산의 비율이다. 두 번째 기준은 Q통계량인데, 진정한 상관관계의 동질성에 대한 유의도 검정이다. 세 번째 기준은 2차 표본오차(second-order sampling error, SOSE)의 범위이다. 2차 표본오차는 개별 연구들이 표본으로 추출(여기에서는 메타분석에 포함)될 때의 무작위오차를 의미한다. 전술한 세 가지 기준에 대한 공식을 아래에 기술하였다. 여기에 대한 더 자세한 설명은 허만용(2001)을 참조할 수 있다.
메타분석에서 조절효과 확인방법 (1)통계적 가공물에 기인하는 관찰된 분산의 비율
(2)Q통계량(근사적으로 자유도 K-1인 χ2분포)
(3)2차 표본오차(SOSE)의 범위
(1)75%~50%이하(통제요인의 수에 따라 다름)
(2)Q=K·Var(r)/Ave(ve), Q값의 유의도
K: 메타분석에 사용된 연구들의 수
Var(r): 가중평균 분산
Ave(ve): 가중평균 표본오차 분산
(3), 값의 유의도
C: 하위집단간 상관관계의 차이
Var(C): (관찰된 효과크기 분산의 합)
5) 마지막으로 분석 결과를 해석한다. 연구 문제에 대한 해답 제시 또는 가설의 검증 여부, 결과의 해석
공무원 두문자 암기
✽ 책 구매 없이 PDF 제공 가능
✽ adipoman@gmail.com 문의
등을 각종 통계량과 함께 제시한다. 향후 연구과제와 연구의 한계를 기술하여 관련 연구자들이 확인할 수 있도록 한다.