단일 자료원 편의 (single source bias)
1. 개념 정의
단일 자료원(源) 편의(single source bias, SSB)는 연구자가 특정 단일 소스로부터 응답을 받아 이를 데이터로 사용할 때 발생하는 오류이다. 동일 데이터로 여러 독립 및 종속 변수의 측정값을 얻어 분석하는 과정에서 오류가 생긴다는 점에서 동일 자료원 편의(common source bias)라고도 한다. 편의는 사람들이 각자 자신의 를 발전시키고, 이를 통해 대상을 인식하는 까닭에 나타난다. 응답자는 어떤 측면이나 속성에 대하여는 사실대로 대답하나 다른 것에 대해서는 사실을 과장하거나 축소한다. 각각의 속성에 대한 서로 다른 인식 형성 때문이다. 이 때문에 연구자가 특정 응답자들로부터 데이터를 수집하여, 여러 속성 간의 관계를 분석하는 경우, 잘못된 결론에 이르게 된다. 데이터를 설문지와 같은 자기 보고(self-reports)로 수집된 것일 때 단일 자료원의 편향 위험은 증가한다. 예를 들어, 조직의 성과 측정뿐만 아니라 성과 관련 영향 변수들의 측정에 이러한 편향이 흔히 나타나는 것도 그 때문이다.
2. 편의의 성격
단일 자료원 편의는 단순한 측정 에러를 넘는 상관된 측정 오류(correlated measurement error)의 문제를 야기한다. Meier and O'Toole (2012: 5-6)는 단일 자료원 편의는 종속 변수와 여러 독립변수의 측정에서 정도가 각기 다르다고 말한다. 따라서 변수와 변수간의 관계를 설명하는 연구 결과에 있어서는 관계가 있어도 없는 것으로, 긍정적인 관계가 있는 것을 없는 것으로 또는 없는 것을 부정적인 것(false negatives)으로 만들기도 한다는 것이다. 이것은 임의적 측정 오류(random measurement error)와 달리 관계의 유무나 방향을 바꿀 뿐만 아니라 체계적으로 나타난다는 점에서 보다 치명적이고 더 악성이다. 하지만 단일 소스 편의는 언제나 심각한 문제인 것은 아니고 어떤 문제에 대해서는 문제가 아닐 수도 있는 등 관련 분야와 질문 의존적이다.
3. 처방과 함축적 의미
Donaldson and Grant-Vallone (2002: 257)은 만일 모든 변수들을 동일 방법(same method), 자료원(data source)으로 측정하면, 편의를 피하기 어렵다고 말한다. 많은 연구들이 서베이 자료를 사용하고, 조직성과(organizational performance) 연구는 흔히 응답자의 생각(self-perceptions), 자기보고로 변수를 측정한다. Meier and O'Toole (2012: 3)는 이런 경우 단일 자료원 편의의 위험이 커서, 연구결과가 허위 가능성이 높아질 수 있다고 말한다. 따라서 이러한 경우는 조직성과의 인지적 측정(perceptual measures of performance)과 기록 자료(archival measures)를 비교해, 편향을 경험적으로 확인하는 방법, 즉 주관적 대 자료기반 측정(subjective and data-based measures) 간의 비교로 문제의 여부나 정도를 미리 파악할 필요가 있다고 주장한다. 이들에 따르면 많은 연구들이 이러한 오류를 배제하는데 실패하여 잘못된 결론에 이르고 있고, 모든 통계적 검증의 50%가 여기에 해당한다는 것이다. 특히 이러한 오류는 조직성과 측정에서 큰 잠재적 위험이라고 말한다. 정부 성과평가나 관리와 관련하여 정부의 정책과 사업(public programs)이 과연 기대한 만큼 효과적이었는가? 질문을 다룬 연구에서 이와 같은 오류의 가능성이 높다. Meier and O'Toole (2012: 2)에 따르면 조직이 연구 결과에 자신의 입장을 반영하고자 할 때, 이해관계자(external stakeholders)가 많을 때, 이러한 편향은 증가한다. 해결책은 시민, 전문가, 해당 관리자들을 대상으로 다원화하여 측정하는 것이다. 무엇보다 연구자가 이러한 문제를 피하고자 한다면, 사전에 연구 설계 단계에서 편향의 가능성을 고려해야 한다. 불가피한 경우가 아니면, 자기보고(self-reports) 데이터 만에의 의존을 피하고, 다양한 자료원 또 검증된 자료원(verifiable sources)으로부터 데이터를 얻는 것이다. Donaldson and Grant-Vallone (2002: 245, 257)은 多속성-多重 방법 데이터(multitrait-multimethod dataset)를 대안으로 제시한다. 하지만 단일 자료원 편의를 줄이고자 자료원을 늘리면 변수 간 관계의 과소 추정(underestimate)이라는 또 다른 문제가 발생할 수도 있다.
공무원 두문자 암기
✽ 책 구매 없이 PDF 제공 가능
✽ adipoman@gmail.com 문의