흔히들 ‘통계는 과학’이라고 한다. 통계를 통해 사람들의 선택을 분석하고 법칙성을 추출해낼 수 있다는 뜻이다. 여론조사는 통계적 기법을 활용해 사회 전체적인 선호를 파악하는 것이다. 하지만 여론조사가 종종 빗나가는 데서 보듯 개별적인 개개인의 선택(선호)을 통해 집단 전체가 과연 어떤 선택(선호)을 했는지 정확하게 추출하는 건 쉽지 않은 일이다. 여론조사 방법의 문제, 해석상 오류 등의 이유에서다. 지난 4월 총선에선 언론사들의 여론조사와 실제 개표 결과가 다른 경우가 많아 여론조사 무용론까지 대두됐다. 20대 총선의 여론조사에 어떤 문제가 있었는지 알아보자.

틀려도 너무 틀린 총선 여론조사

20대 총선 여론조사는 마치 고장 난 풍향계와 같았다. 총선에서 야당인 더불어민주당이 원내 제1당이 될 것으로 예측한 사전 여론조사는 단 한 건도 없었다. 주요 승부처의 예측 결과도 빗나갔다. ‘정치 1번지’로 꼽히는 서울 종로 선거구는 대부분의 여론조사가 새누리당 오세훈 후보(전 서울시장)가 더불어민주당 정세균 후보를 앞선다고 발표했다. 하지만 막상 개표해 보니 승리자는 정 후보였다. 서울 은평을 여론조사에서도 무소속 이재오 후보가 앞선 것으로 나왔지만 뚜껑을 열어보니 더민주 강병원 후보가 36.7%의 득표율로 승리했다. 서울 강남을 선거구에서도 여론조사에선 전현희 후보(더민주)가 김종훈 후보(새누리)에게 크게 뒤처졌지만 결과는 정반대였다.

새누리당 이정현 후보(전남 순천), 더민주 김종민 후보(충남 논산·계룡·금산), 김영춘 후보(부산진갑)는 여론조사에서 단 한 번도 앞선 적이 없었으나 모두 당선됐다.

스마트폰 세대 숨은 표심 놓쳐

이처럼 총선 여론조사가 빗나간 이유는 무엇일까? 가장 큰 원인 중 하나는 여론조사업체들이 집전화(유선전화)를 통해 조사했기 때문이다. 휴대폰이 보편화된 상황에서 집으로 전화를 거는 임의걸기(RDD) 방식으로 여론조사를 하다 보니 응답률이 낮고 모집단의 성향을 제대로 반영하지 못했다. 특히 20~30대는 낮 시간대 집에 있는 경우가 드물어 표심이 제대로 반영되지 않았다. 지난달 22일 국민대통합위원회 언론 세미나에서 김춘식 한국외국어대 미디어커뮤니케이션학부 교수가 발표한 조사자료에 의하면 서울 종로구는 전체 유권자 중 20대 이하와 30대 비율이 각각 17.6%, 18.1%이지만 전화 대상 20대 이하와 30대는 8.2%, 8.2%에 불과했다. 반면 50대와 60대 이상은 19.9%, 23.4%이지만 전화 대상은 이보다 훨씬 많은 28.4%, 38.2%에 달했다. 전화로 응답한 표본 유권자가 모집단(지역 유권자)을 제대로 반영하지 못한 것이다. 이런 표본의 편향성은 다른 지역구에서도 비슷했다. 표본조사에서 가장 중요한 표본의 모집단 대표성이 무시된 것이다. 박유성 고려대 통계학과 교수는 “집전화를 없앤 사람도 많고, 집에선 전업주부나 고령층이 많이 받을 수밖에 없어 유선전화 조사는 전체 계층을 대변하기 어렵다”고 지적했다. 여론분석회사인 오토오모니터의 정호훈 PR컨설턴트는 “유선전화로만 여론조사를 하는 것은 마치 놀이공원 만족도 조사를 하는데 표 살 돈이 없어 놀이공원을 이용하지 못한 사람들을 대상으로 조사하는 것과 마찬가지”라고 말했다.

ARS 여론조사는 더 부정확

총선 여론조사에는 집으로 전화를 하면서 자동응답장치(ARS)가 많이 활용됐다. 전화를 걸어 자신이 지지하는 후보나 정당 번호를 누르는 형식이다. ARS 방식은 비용이 많이 들지 않는 장점이 있다. 이에 따라 지난 총선에서 무려 1055개의 여론조사가 ARS 방식으로 시행됐다. 하지만 ARS 방식은 조사자가 응답자와 직접 대화하면서 질문하는 여론조사보다 정확성이 떨어지는 것으로 전문가들은 평가한다. 응답률이 낮고 부정확한 데다 과학적이지도 않다는 게 한국조사협회의 설명이다. ARS 조사방법의 과학성은 검증되지 않았으며 여러 가지 오차를 줄일 수 있는 장치도 마련돼 있지 않아 선거 여론조사에는 부적합하다는 것이다.

후보·업체 결탁해 조사 결과 악용도

여론조사가 여론 조작에 악용되기도 했다. 검찰이 수사 중인 20대 총선사범 1451명 중 여론조작 사범이 114명(7.9%)이나 됐다. 주로 후보자와 지역 언론사 간부, 여론조사업체 대표가 결탁해 여론조사를 하거나 여론조사를 하지 않고도 한 것처럼 허위 분석보고서를 선거관리위원회에 제출한 경우다.

김춘식 교수는 “무분별한 ARS 조사와 불완전한 표본 등으로 인해 총선 여론조사가 실패했다”며 “여론조사 뉴스가 과잉 생산돼 유권자의 판단력도 흐리게 했다”고 지적했다. 그는 “보다 정확한 여론조사를 위해서는 심의기준을 강화하고 ARS 조사 규범을 준수하며 심층태도 조사문항을 추가할 필요가 있다”고 강조했다.

◆프레이밍 효과를 아시나요?…어떻게 묻느냐에 따라 조사결과 달라져

여론조사는 통계라는 과학적 기법을 활용하지만 부정확한 조사가 이뤄질 수 있는 적지 않은 함정이 도사리고 있다. 그 가운데 하나가 ‘프레이밍 효과(framing effect, 틀짜기 효과)’라는 것이다. 프레이밍 효과는 질문이나 문제의 제시 방법(틀), 즉 어떻게 질문하는지에 따라 사람들의 선택이나 판단이 달라지는 현상을 뜻하는 행동경제학의 용어다.

프레이밍 효과와 관련해 유명한 실험이 있다. 어떤 나라에서 특이한 질병이 발생했다. 질병을 그대로 방치하면 주민 600명이 사망할 것으로 예상됐다. 질병을 퇴치할 수 있는 방안으로 두 가지가 제시됐는데, 그 방안의 결과에 대한 과학적 추산은 다음과 같다. A 방안을 채택하면, 200명의 주민이 생존하게 된다. B 방안을 채택하면, 600명이 모두 생존할 확률이 3분의 1이고 한 사람도 생존하지 못할 확률이 3분의 2이다. 이를 질문의 틀을 바꿔 다음과 같이 질문했다고 하자. 만약 C 방안을 채택하면, 400명의 주민이 사망하게 될 것이다. 만약 D 방안을 채택하면, 아무도 사망하지 않을 확률이 3분의 1이고 600명이 사망할 확률이 3분의 2이다. 당신은 어떤 방안을 선택하겠는가?

사실 A와 C, B와 D는 표현만 바꿨을 뿐 같은 말이다. 이 여론조사 결과 대책 A와 B를 물었을 땐 72%가 A를 선호했다. 대책 C와 D를 물었을 땐 78%의 사람이 D를 선호했다. 획득이 예상되는 상황에서는 모험을 회피하는 경향이 강해지는 반면 상실이 예상되는 상황에 접하면 위험을 추구하는 경향 때문이다. 단지 질문의 틀만 바꿨을 뿐인데 사람들의 선택이 바뀐 것이다.

강현철 한국경제신문 연구위원 hckang@hankyung.com