'사람들에게 무엇을 어떻게 질문할 것인가'는 조사에서 매우 중요한 사항이다.
객관적인 조사 결과를 위해서는 질문을 작성하는 데 많은 주의를 기울여야 한다.
유명한 여론조사가인 앨버트 캔트릴의 말대로 여론조사의 성패(成敗)는 그 조사에서 묻는 질문의 질(質)과 직결되기 때문이다.
그러나 질문을 만드는 것이 전적으로 조사자에게 맡겨져 있으므로 조사자의 주관적인 의도나 편견이 그 과정에서 얼마든지 개입될 수 있다.
질문 방식에 따라 응답이 달라질 수 있음을 보여주는 대표적인 예가 유도성 질문이다.
사람들은 자기의 소신이나 가치판단에 앞서 사회적으로 바람직한 방향으로 대답하려는 경향이 있다.
유도성 질문이란 질문에 미리 도덕적인 가치판단을 깔아 놓음으로써 은연중에 답을 원하는 방향으로 유도하는 질문이다.
간단한 예를 들어 보자.
"생명을 가진 태아에 대한 살인행위인 낙태를 찬성합니까? 아니면 반대합니까?"
"여성의 자유선택권을 보장하는 낙태를 찬성합니까? 아니면 반대합니까?"
낙태(abortion)는 미국에서 사회적으로 큰 논란이 되고 있는 이슈다.
이에 대한 여론조사를 할 때 가톨릭계가 주를 이루는 낙태반대론자(Pro Life)는 처음의 질문을 선호하고 여성운동가들이 주를 이루는 낙태허용론자(Pro Choice)들은 나중의 질문을 이용할 것이다.
도덕적인 판단을 미리 내림으로써 원하는 답을 유도하려는 것이다.
올바른 질문은 "당신은 낙태를 찬성합니까? 아니면 반대합니까?"라고 간단히 묻는 것이다.
과거에 지방선거를 한 달 정도 앞두고 여당과 야당은 기초자치단체장 등 일부 후보의 정당 공천 여부를 놓고 법 개정을 위한 실랑이를 벌인 적이 있다.
각당의 입장을 지지하는 여론조사 결과를 얻으려면 아마도 다음과 같은 유도성 질문을 각각 사용하였을 것이다.
"공천장사 등의 우려가 있는 정당공천제도를 찬성합니까? 아니면 반대합니까?"
"정당정치를 통한 책임정치를 이룩할 수 있는 정당공천제도를 찬성합니까? 아니면 반대합니까?"
대학생의 시위를 민주 회복을 위한 투쟁이라고 유도할 때와 국가 안보를 위협하는 폭력이라고 유도할 때 응답은 크게 차이가 난다.
노조의 파업도 올바른 대접을 받기 위한 노동자의 노력이라고 규정할 때와 사회적 경제적으로 불안을 조장하는 요인이라고 규정할 때 다른 결론을 이끌어 낼 수 있다.
많은 조사에서 이러한 유도성 질문이 노골적으로 사용돼 여론조사에 대한 신뢰도를 떨어뜨리고 있다.
다음의 두 인용문이 이를 단적으로 말해 준다.
"80년대 말 이후 여론조사 붐이 일었으나 그 오류는 위에 지적한 것 이외에도 한두 가지가 아니다.
'이제 깨끗한 정치를 위한 법적·제도적 장치는 마련됐다고 합니다.
이번에 통과된 정치개혁법이…선거혁명을 이루는 데 얼마나 도움이…'라는 식으로 유도성 질문을 떡 먹듯이 한다."(김광웅 교수의 중앙시평:후보 여론조사 문제 없나 중 일부,중앙일보 1995년 5월29일 4면)
"더군다나 설문조사를 더욱 믿지 못하게 하는 것은 설문의 방식이다.
대개 그 설문조사를 실시하거나 의뢰하는 것은 언론인인데 특정 정당에 대한 그들의 입장이 너무도 노골적이라 응답 내용의 유도가 의심되기 때문이다.
그렇지 않고서야 어떻게 같은 설문에 대한 응답이 언론마다 차이를 보이는가."(오딧세이야 서울,이문열,1권,195쪽,민음사,1993)
도덕적인 가치판단을 언급하지 않더라도 간단한 단어 한마디로 유도성 질문을 할 수 있다.
예를 들어 "서울시가 교통문제 해결을 위해 모든 조치를 다하고 있다고 생각하는가?" "서울시가 시민문제에 대해서 항상 올바른 결정을 내린다고 생각하는가?"라는 질문처럼 도달하기 힘든 기준(모든 조치,항상 올바른 결정)을 제시함으로써 부정적인 응답을 유도할 수 있다.
또한 금지·허락과 같은 권위적인 낱말을 사용하여 응답을 유도할 수도 있다.
"미국이 보스니아 사태에 개입해야 한다고 생각하는가?"와 "미국이 보스니아 사태를 도와주어야 한다고 생각하는가?"에 대한 응답은 차이가 나게 된다.
질문을 만드는 것뿐만 아니라 응답 항목을 만들 때도 주관적인 의도가 개입될 수 있다.
응답 항목의 예를 들어 보자.
과거 김영삼 정부시절 몇몇 언론에서 발표한 대통령에 대한 지지도가 67%,44%,32%로 제각각 다르게 나타나서 이를 놓고 한때 조작 의혹이 일어난 적이 있었다.
이처럼 20%포인트 이상의 차이는 사회 각계에서 여론조사의 신뢰도에 심각한 의문을 불러일으키기에 충분했다.
그러나 내용을 알고 보면 그런 차이가 날 수밖에 없는 이유는 명백하다.
조사 문항은 "김영삼 대통령이 대통령으로서의 직무를 잘 수행하고 있다고 보십니까? 아니면 잘못 수행하고 있다고 보십니까?"로 세 조사가 모두 같았다.
다만 응답 문항이 다르게 되어 있었다.
어떤 조사에서는 응답 항목이 '매우 잘하고 있다''비교적 잘하고 있다''그저 그렇다''별로 잘하지 못하는 편이다''매우 잘못하고 있다'는 5점 척도를 사용했다.
반면 한 조사에서는 '그저 그렇다'가 빠진 4점 척도를 사용했다.
응답 항목이 줄어들면 당연히 다른 응답 항목에 대한 응답이 증가하게 된다.
따라서 20% 정도의 지지도 차이는 '그저 그렇다'는 중립적 항목이 삭제되었기 때문에 일어났다.
따라서 어떤 조사가 맞고 틀리다고 단정짓기보다는 응답 항목에 따라 차이가 날 수 있다는 사실을 이해해야 한다.
그러면 중립 항목이 꼭 포함되어야 하느냐가 문제가 된다.
지지도나 투표와 같은 문항의 경우 어차피 지지하느냐 아니면 지지하지 않느냐로 결정될테니까 중립 항목을 없애고 강제로 응답을 해야 한다는 의견이 있다.
반면 정치적이나 인간적으로 호(好),불호(不好)의 감정이 분명하지 않은 부동층이 존재할 수 있으므로 중립 항목이 반드시 필요하다는 의견도 있다.
따라서 중립 항목의 포함 여부는 조사의 목적에 따라 알맞게 결정이 되어야 한다.
중요한 것은 어떤 응답 항목에 대한 응답 비율을 높이려는(혹은 낮추려는) 조사자의 의도가 개입되어서는 안된다는 것이다.
김진호 jhkim@kndu.ac.kr
[ 약력 ]
△서울대 경영대 졸업
△미국 펜실베이니아대 와튼스쿨 경영학 석·박사
△(전)KBS 선거예측조사 자문위원
△(현)국방대 경영학과 교수
객관적인 조사 결과를 위해서는 질문을 작성하는 데 많은 주의를 기울여야 한다.
유명한 여론조사가인 앨버트 캔트릴의 말대로 여론조사의 성패(成敗)는 그 조사에서 묻는 질문의 질(質)과 직결되기 때문이다.
그러나 질문을 만드는 것이 전적으로 조사자에게 맡겨져 있으므로 조사자의 주관적인 의도나 편견이 그 과정에서 얼마든지 개입될 수 있다.
질문 방식에 따라 응답이 달라질 수 있음을 보여주는 대표적인 예가 유도성 질문이다.
사람들은 자기의 소신이나 가치판단에 앞서 사회적으로 바람직한 방향으로 대답하려는 경향이 있다.
유도성 질문이란 질문에 미리 도덕적인 가치판단을 깔아 놓음으로써 은연중에 답을 원하는 방향으로 유도하는 질문이다.
간단한 예를 들어 보자.
"생명을 가진 태아에 대한 살인행위인 낙태를 찬성합니까? 아니면 반대합니까?"
"여성의 자유선택권을 보장하는 낙태를 찬성합니까? 아니면 반대합니까?"
낙태(abortion)는 미국에서 사회적으로 큰 논란이 되고 있는 이슈다.
이에 대한 여론조사를 할 때 가톨릭계가 주를 이루는 낙태반대론자(Pro Life)는 처음의 질문을 선호하고 여성운동가들이 주를 이루는 낙태허용론자(Pro Choice)들은 나중의 질문을 이용할 것이다.
도덕적인 판단을 미리 내림으로써 원하는 답을 유도하려는 것이다.
올바른 질문은 "당신은 낙태를 찬성합니까? 아니면 반대합니까?"라고 간단히 묻는 것이다.
과거에 지방선거를 한 달 정도 앞두고 여당과 야당은 기초자치단체장 등 일부 후보의 정당 공천 여부를 놓고 법 개정을 위한 실랑이를 벌인 적이 있다.
각당의 입장을 지지하는 여론조사 결과를 얻으려면 아마도 다음과 같은 유도성 질문을 각각 사용하였을 것이다.
"공천장사 등의 우려가 있는 정당공천제도를 찬성합니까? 아니면 반대합니까?"
"정당정치를 통한 책임정치를 이룩할 수 있는 정당공천제도를 찬성합니까? 아니면 반대합니까?"
대학생의 시위를 민주 회복을 위한 투쟁이라고 유도할 때와 국가 안보를 위협하는 폭력이라고 유도할 때 응답은 크게 차이가 난다.
노조의 파업도 올바른 대접을 받기 위한 노동자의 노력이라고 규정할 때와 사회적 경제적으로 불안을 조장하는 요인이라고 규정할 때 다른 결론을 이끌어 낼 수 있다.
많은 조사에서 이러한 유도성 질문이 노골적으로 사용돼 여론조사에 대한 신뢰도를 떨어뜨리고 있다.
다음의 두 인용문이 이를 단적으로 말해 준다.
"80년대 말 이후 여론조사 붐이 일었으나 그 오류는 위에 지적한 것 이외에도 한두 가지가 아니다.
'이제 깨끗한 정치를 위한 법적·제도적 장치는 마련됐다고 합니다.
이번에 통과된 정치개혁법이…선거혁명을 이루는 데 얼마나 도움이…'라는 식으로 유도성 질문을 떡 먹듯이 한다."(김광웅 교수의 중앙시평:후보 여론조사 문제 없나 중 일부,중앙일보 1995년 5월29일 4면)
"더군다나 설문조사를 더욱 믿지 못하게 하는 것은 설문의 방식이다.
대개 그 설문조사를 실시하거나 의뢰하는 것은 언론인인데 특정 정당에 대한 그들의 입장이 너무도 노골적이라 응답 내용의 유도가 의심되기 때문이다.
그렇지 않고서야 어떻게 같은 설문에 대한 응답이 언론마다 차이를 보이는가."(오딧세이야 서울,이문열,1권,195쪽,민음사,1993)
도덕적인 가치판단을 언급하지 않더라도 간단한 단어 한마디로 유도성 질문을 할 수 있다.
예를 들어 "서울시가 교통문제 해결을 위해 모든 조치를 다하고 있다고 생각하는가?" "서울시가 시민문제에 대해서 항상 올바른 결정을 내린다고 생각하는가?"라는 질문처럼 도달하기 힘든 기준(모든 조치,항상 올바른 결정)을 제시함으로써 부정적인 응답을 유도할 수 있다.
또한 금지·허락과 같은 권위적인 낱말을 사용하여 응답을 유도할 수도 있다.
"미국이 보스니아 사태에 개입해야 한다고 생각하는가?"와 "미국이 보스니아 사태를 도와주어야 한다고 생각하는가?"에 대한 응답은 차이가 나게 된다.
질문을 만드는 것뿐만 아니라 응답 항목을 만들 때도 주관적인 의도가 개입될 수 있다.
응답 항목의 예를 들어 보자.
과거 김영삼 정부시절 몇몇 언론에서 발표한 대통령에 대한 지지도가 67%,44%,32%로 제각각 다르게 나타나서 이를 놓고 한때 조작 의혹이 일어난 적이 있었다.
이처럼 20%포인트 이상의 차이는 사회 각계에서 여론조사의 신뢰도에 심각한 의문을 불러일으키기에 충분했다.
그러나 내용을 알고 보면 그런 차이가 날 수밖에 없는 이유는 명백하다.
조사 문항은 "김영삼 대통령이 대통령으로서의 직무를 잘 수행하고 있다고 보십니까? 아니면 잘못 수행하고 있다고 보십니까?"로 세 조사가 모두 같았다.
다만 응답 문항이 다르게 되어 있었다.
어떤 조사에서는 응답 항목이 '매우 잘하고 있다''비교적 잘하고 있다''그저 그렇다''별로 잘하지 못하는 편이다''매우 잘못하고 있다'는 5점 척도를 사용했다.
반면 한 조사에서는 '그저 그렇다'가 빠진 4점 척도를 사용했다.
응답 항목이 줄어들면 당연히 다른 응답 항목에 대한 응답이 증가하게 된다.
따라서 20% 정도의 지지도 차이는 '그저 그렇다'는 중립적 항목이 삭제되었기 때문에 일어났다.
따라서 어떤 조사가 맞고 틀리다고 단정짓기보다는 응답 항목에 따라 차이가 날 수 있다는 사실을 이해해야 한다.
그러면 중립 항목이 꼭 포함되어야 하느냐가 문제가 된다.
지지도나 투표와 같은 문항의 경우 어차피 지지하느냐 아니면 지지하지 않느냐로 결정될테니까 중립 항목을 없애고 강제로 응답을 해야 한다는 의견이 있다.
반면 정치적이나 인간적으로 호(好),불호(不好)의 감정이 분명하지 않은 부동층이 존재할 수 있으므로 중립 항목이 반드시 필요하다는 의견도 있다.
따라서 중립 항목의 포함 여부는 조사의 목적에 따라 알맞게 결정이 되어야 한다.
중요한 것은 어떤 응답 항목에 대한 응답 비율을 높이려는(혹은 낮추려는) 조사자의 의도가 개입되어서는 안된다는 것이다.
김진호 jhkim@kndu.ac.kr
[ 약력 ]
△서울대 경영대 졸업
△미국 펜실베이니아대 와튼스쿨 경영학 석·박사
△(전)KBS 선거예측조사 자문위원
△(현)국방대 경영학과 교수
![[커버스토리] '알·테·쉬' 공습이 무서운 진짜 이유는](https://img.hankyung.com/photo/202404/AA.36401055.3.jpg)