생물학자들은 종종 연못 속에 사는 물고기 수나 들판에 사는 쥐들의 수 등이 몇 마리라고 추정한다. 그들이 발표하는 숫자가 많은 사람들에게는 황당할지 모르지만 실제로는 표본조사를 바탕으로 산정한 매우 신뢰할 만한 추정치다.
생물학자들은 어떤 근거로 추정치를 발표할까? 연못 속의 물고기를 예로 들자.처음에 연못에서 100마리의 물고기를 표본으로 잡는다.
물고기 지느러미에 작은 인식표를 붙이고 다시 연못 속에 놓아준다.
한 달 후 다시 100마리의 물고기를 표본으로 잡는다.
새로 잡은 100마리 중에서 지느러미에 인식표가 달려 있는 물고기가 몇 마리인지 센다.
예를 들어 인식표를 단 물고기가 3마리라고 하자.그렇다면 전에 인식표를 달아준 100마리의 물고기가 호수 안 전체 물고기의 3%라고 추정한다.
따라서 전체 물고기 수는 (100/3)×100으로 계산해 약 3300마리가 된다.
추정치를 더욱 정확하게 하기 위해서는 표본으로 물고기를 잡을 때 여러 가지 서식 환경을 고려해야 한다.
큰 호수나 벌판의 물고기,쥐들은 특정지역에 집중적으로 서식할 수도 있기 때문이다.
물론 추정의 오차도 고려돼야 한다.
하지만 이러한 접근과는 반대로 개인적인 생각이나 경험이 편의표본에 의한 조사결과와 합쳐져 그럴듯한 연구결과로 제시되는 경우도 많다.
이런 경우에는 주의하지 않으면 그 비약된 결론에 쉽게 빠지게 된다.
다음의 인용문에 나타난 저자의 주장이 과연 설득력이 있는지 생각해 보자.
"일본에서 도쿄와 오사카 두 도시를 대상으로 이런 조사를 한 적이 있다.
조사자는 차를 타고 가면서 사거리나 횡단보도에서 빨간 불을 만나 기다린다.
조금 후 파란 불로 바뀐다.
그러나 그 차는 출발하지 않는다.
그 대신 신호등이 바뀐 바로 그 순간 초시계 작동 스위치를 누른다.
잠시 후 뒤에서 경적이 울린다.
신호가 떨어졌는 데도 그대로 있는 이 차를 향해 뒤에서 기다리고 있던 차가 누른 것이다.
바로 그때 초시계 정지 스위치를 누른다.
그런 식으로 여러 번 반복 조사해 평균치를 계산해 낸다.
이 조사는 운전자들이 얼마나 조급한가를 두 도시를 비교해 알아본 것이었다.
도쿄가 약 4초인 반면 오사카는 2초였다.
도쿄의 운전자들에 비해 오사카의 운전자들이 두 배나 더 조급한 것이다.
이 조사는 도쿄와 오사카 두 도시로 대표되는 일본의 관서지방과 관동지방의 사회심리적인 차이를 잘 보여 준다.
그런데 재미 있게도 교통사고 발생률을 보면 오사카가 도쿄보다 훨씬 더 높다고 한다.
여기서 교통사고의 주원인 가운데 하나가 운전자들의 서두르는 습관이라는 해석을 쉽게 이끌어 낼 수 있다."(사회를 본다 사람이 보인다,김찬호,고려원미디어,1994,81쪽)
조사결과는 오사카 지역 사람들이 성질도 급하고,그래서 교통사고도 많이 일으킨다고 결론을 내리고 있다.
그러나 운전자들이 사거리에서 경적을 울리는 시간은 여러 요인에 영향을 받는다.
예를 들어 붐비는 사거리에서는 빨리 빠져 나가려고 조바심을 낼 수도 있고 (혹은 그 반대로 아예 체념하고 여유를 부릴 수도 있고),출근시간대에는 상대적으로 더 조급해질 것이다.
따라서 두 도시를 비교하려면 혼잡도와 시간대가 비슷한 장소를 결정,조사해야 한다.
두 도시를 여행하는 사람이 우연히 지나가게 되는 사거리에서 조사한 편의표본의 경우 그 차이를 지역 전체 사람들의 조급성과 직접적으로 관련지을 수는 없다.
더욱이 운전자 개인 성격에 따라 경적을 울리는 시간의 차이가 있을 수 있으므로 표본수(조사한 사거리 수)도 충분히 커야 한다.
본문에서는 여러 번 조사해 평균을 냈다고 했는데 우리의 어감(語感)으로 여러 번이란 네다섯 번 정도를 말하므로 표본수가 너무 작다.
평균에 대한 설명에서 언급했듯이 표본이 작은 경우에는 우연히 포함된 하나의 큰 수(혹은 작은 수)에 의해 평균 크기가 영향을 받는다.
두 도시의 차이는 어느 한 개인의 조급성(혹은 여유)에 의한 것일 수도 있는 것이다.
모든 조사는 객관성(intersubjectivity)이 있어야 한다.
이 말은 다른 사람이 동일한 연구절차를 밟아 동일한 조사를 했을 때 유사한 결과가 나와야 한다는 것이다.
객관적이지 못하면 조사할 때마다,혹은 조사자에 따라 다른 결과가 나오게 되며 이런 현상은 조사에 대한 일반인들의 불신을 가중시킨다.
동일한 시기에 동일한 대상에 동일한 내용을 놓고 실시한 조사결과가 납득하기 어려울 정도로 차이가 난다면 문제가 있다.
심지어는 원하는 결과를 정해 놓고 이 결과가 나올 수 있는 여론조사를 수행하기도 한다.
이쯤 되면 여론조사는 여론조사(與論調査)가 아니라 여론조사(與論弔辭)가 된다.
설문조사에서는 표본의 대상인 사람을 뽑는 것뿐 아니라 뽑은 사람으로부터 어떤 방법으로 원하는 자료를 수집하는가가 문제가 된다.
자료수집 방법은 3가지가 있는데 우선 개별면접법(personal interview)의 경우 면접원이 응답자를 직접 만나 필요한 정보를 얻는 것으로,상세하고 다양한 내용의 질문을 할 수 있다는 측면에서 최선의 방법이지만 비용과 시간이 많이 든다.
우편조사(mail survey)는 비용이 가장 적게 들고 복잡한 질문에 대한 응답도 얻어낼 수 있지만 응답률이 낮다.
전화조사(telephone survey)는 짧은 시간 내에 적은 비용으로 비교적 양질의 자료를 얻을 수 있기에 가장 많이 사용된다.
어느 방법을 선택하느냐는 소요시간과 비용,질문의 양과 복잡도 등에 따라 정해진다.
수집자료 내용이 아주 간단하다면 전화조사가 빠르고 정확할 수 있다.
내용이 복잡하고 많다면 우편조사나 개별면접조사를 한다.
전화조사의 문제점 중 하나는 표본의 대표성이 낮다는 것이다.
전화가 없는 가정이나 전화번호부에 등록되지 않은 가정은 제외되고,업무상 전화와 연결될 수도 있으며 통화가 안 되기도 한다.
통화가 되더라도 설문에 대한 응답을 거부하거나 끊어버리는 사람도 많다.
조사에서 응답률은 최소한 70% 이상,즉 최초로 접촉한 사람의 70% 이상이 응답해야 최소한의 대표성이 유지되지만 대부분 조사의 경우 응답률이 얼마인지 조차 밝히지 않고 있다.
발표하지 못하는 이유는 아마 응답률이 낮기 때문일 경우가 많을 것이다.
열성적인 사람들은 대개 응답에 쉽게 동의한다.
따라서 응답률이 낮다는 것은 일부 열성적인 사람만을 대상으로 조사한 것이 되고 만다.
응답률이 50% 이하면 표본조사 결과를 가지고 모집단에 대해 추론한다는 것은 무리다.
김진호 jhkim@kndu.ac.kr
[ 약력 ]
△서울대 경영대 졸업
△미국 펜실베이니아대 와튼스쿨 경영학 석·박사
△(전)KBS 선거예측조사 자문위원
△(현)국방대 경영학과 교수