[재미있는 통계] 37. 조사 결과의 올바른 이해

이제는 어떤 주장이나 기사도 조사결과를 요약한 숫자와 함께 제시되지 않으면 무언가 근거가 없는,비과학적인 것처럼 받아들여진다. 또한 시장조사나 임상실험의 결과도 중요한 정보로서 사람들에게 주어지고 있다.


그러나 대부분의 조사가 그 과정이나 해석에 대한 객관적인 검증작업 없이 우리들에게 주어지고 있는 것이 현실이다. 최근의 예를 들면 '여대생의 절반 정도가 성 경험이 있으며 피임을 제대로 하지 않아 임신중절을 한 여대생도 적지 않다'는 조사결과가 주요 언론에 일제히 보도되자 인터넷에서 수 천 건의 댓글이 붙는 등 사회적으로도 큰 파장을 몰고 왔으며 조사의 신뢰성에 대해서도 강한 비판이 제기됐다.


조사의 신뢰성을 높이는 것은 무엇보다도 조사기관의 책임이다. "2 더하기 2가 얼마냐"는 물음에 여론조사가가 "2 더하기 2가 몇이 되기를 원하십니까?"라고 되물었다는 여론조사에 대한 비판적인 유머가 이를 대변해 준다.


특히 여론조사 결과의 발표는 그 파급효과와 영향력이 크기 때문에 그 과정과 해석에 대한 체계적인 검증작업이 필요하다. 이를 위해 보도윤리강령을 제정한다든지 다양한 전문가들이 참여하는 공정성 심의기구 설립이 필요하다.


조사결과 발표는 대부분 언론을 통해 이루어지므로 언론도 객관적인 검증작업을 거친 뒤 결과를 발표하려는 노력을 해야 한다. "한 언론사의 수준은 그 언론사가 발표하는 여론조사의 수준과 같다"고 나는 생각한다.


언론이 발표하는 뉴스거리에 대해 신뢰성을 검증하는 것과 마찬가지로 조사 및 결과해석의 객관성과 공정성을 유지하기 위한 노력을 기울여야 한다. 언론사가 과정이나 해석에 문제가 있는 여론조사를 여과 없이,심지어는 자극적인 제목을 붙여 발표하는 것은 정보화시대에 바람직하지 않은 일이다.


사람이 개를 물어야 뉴스거리가 된다고는 하지만 지나친 보도경쟁,의도적인 왜곡,노골적인 편들기 등에 기인한 돌출성 기사제목,결과의 자의적인 해석 등은 조사 뿐만 아니라 조사발표기관의 신뢰도를 함께 낮추게 된다.


아직도 많은 사람들이 다양한 조사결과를 올바르게 이해하는 데 어려움을 겪고 있다. 따라서 조사를 하는 사람이나 조사결과를 받아들이는 쪽 모두 왜곡된 정보를 주고받게 될 위험을 줄이기 위해서는 조사기관의 꾸준한 노력과 더불어 일반인이 조사에 대한 안목을 넓히는 일도 중요하다. 사람들의 조사 전반에 대한 안목과 지식은 조사자로 하여금 올바른 절차를 밟아서 조사를 수행토록 하는 압력으로 작용할 뿐만 아니라 조사결과를 올바르게 이해할 수 있도록 해준다.


조사결과를 대할 때 행간(行間)을 읽기 위해서는 조사방법에 대한 약간의 지식이 필요하다. 이러한 약간의 지식에 대해서는 지난 여러 주 동안 기사의 다양한 사례와 함께 제시했는데 이를 간단히 요약하면 다음과 같다.


조사결과의 행간을 읽기 위해서는 조사결과를 대할 때 우선 누가(조사기관),무슨 목적으로 조사를 했는지 자문해야 한다. 더욱이 조사에 드는 비용을 전적으로 부담한 후원자가 있다면 그 후원의 동기도 미루어 짐작해야 한다. 다음으로 표본이 적절한가를 생각해야 한다.


조사의 내용이나 목적이 다양해도 본질적으로 대부분의 조사는 같은 성격을 지닌다. 전체를 다 조사하는 것이 아니라 전체의 일부인 표본만을 조사해 전체에 대해 예측을 하는 것이다.


그러나 표본만을 조사해 그 결과를 갖고 전체를 예측하는 과정에서 여러 가지 오류와 왜곡이 생길 수 있다. 표본조사의 과정은 긴 연결고리로 이어진 매듭에 비유할 수 있다. 각각의 연결고리가 모두 튼튼해야 견고한 매듭이 되듯이 훌륭한 조사도 각 단계가 올바르게 수행돼야 한다.


조사과정의 어느 한 단계에서라도 잘못이 있게 되면 전체의 조사는 신뢰성이 낮은 결과를 낳게 된다.


더욱이 첫 단계인 표본의 선정부터 잘못된다면 조사의 신뢰성은 크게 빗나가므로 모집단의 정의,표집방법,응답률,그리고 표본의 크기 등에서 표본의 대표성이 유지되도록 주의를 기울였는지를 체크해야 한다. 이러한 사항이 발표되지 않은 조사결과는 굳이 심각하게 읽을 필요가 없는 것들이 대부분일 것이다.


설문에 관해서도 매우 비판적인 시각을 가져야 한다. 질문과 응답항목을 만드는 데 조사자의 주관적인 의도가 개입되지 않았는가를 판단해야 한다.


따라서 질문과 응답항목이 결과와 함께 제시되지 않은 경우에는 질문과 응답항목에 따라 전혀 다른 결과가 나올 수 있음을 명심해야 한다. 질문과 응답항목이 제시된 경우에는 직접 응답자가 돼서 질문에 응답을 해보는 것도 좋다. 그 과정에서 왜곡의 여지에 대한 의문이 없다면 그 결과는 신뢰할 수 있을 것이다.


끝으로 해석을 함에 있어서 구체적인 해석의 명확한 근거를 확인해야 한다. 특히 해석이 이상한 느낌이 든다면,즉 상식적으로 이해가 되지 않는다면 구체적인 결과의 수치들을 확인해야 한다. 숫자와 제시된 결론사이에 커다란 논리적인 틈이 존재할 수도 있다.



참고로 미국에서도 여론 조사에 대한 사회적 비판이 높아지자 1969년 미국 여론조사 협회는 여론 조사 결과를 발표할 때 다음의 8개 사항을 함께 발표하도록 했다.


1．조사의 주관자와 후원자

2．조사 대상 모집단에 관한 정보

3．자료 수집의 구체적인 정보

4．표본의 크기와 추출 방법

5．실제 조사에 사용된 설문

6．조사 시기

7．표본 오차와 신뢰 수준

8．오차의 요인들에 관한 정보



우리나라에서도 방송위원회에서 '방송의 여론조사 보도기준'을 마련해서 각 방송사로 하여금 준수하도록 했는데 그 내용은 여론조사 결과를 보도할 때 위의 8개항을 명시하라는 것이었다. 위와 같은 8개항의 내용이 조사결과와 함께 요약돼 발표되지 않았다면 그 결과를 굳이 심각하게 읽거나 의미를 부여할 필요가 없는 경우가 대부분이다.


김진호 교수 jhkim@kndu.ac.kr


[ 약력 ]


△서울대 경영대 졸업


△미국 펜실베이니아대 와튼스쿨 경영학 석·박사


△(전)KBS 선거예측조사 자문위원


△(현)국방대 경영학과 교수