무작위표집의 특징 중 가장 중요한 것은 표본을 뽑을 때 표본을 뽑는 사람의 판단이나 편리함이 전혀 고려되지 않는다는 점이다.
이 특징은 표본의 대표성을 유지하기 위한 필수적인 조건인 셈이다.
그러나 이를 무시하고 표본을 뽑는 사람의 판단이나 편리함을 고려한 표본추출방법도 있다.
예를 들어 판단표집(judgement sampling)은 연구자나 전문가의 판단에 따라 표본을 뽑는 것이고 편의표집(convenience sampling)은 뽑기에 편리한 (주로 가까이에 있는) 표본을 추출하는 방법이다.
길거리에서 지나가는 사람에게 물어보는 것이 편의표집의 대표적인 예다.
이러한 방법들은 학자들이 연구에 있어 무작위 추출이 실제적으로 어려운 경우나 연구의 예비적인 결과를 미리 알아볼 때 사용되는데 그 결과를 해석할 때는 표본의 비대표성을 고려해 성급한 일반화를 삼가야 한다.
그러나 편의표집이나 판단표집에 의한 조사들이 마치 무작위 추출에 의한 결과인 양 제시되고 설명되는 경우가 많아 사실을 왜곡하고 조사에 대한 일반인의 신뢰를 떨어뜨리고 있다.
몇 가지 실례를 들어 보자. 위의 그림은 현대인들의 성욕이 크게 감퇴되어 이른바 'LSD(Low Sexual Desire: 低性慾) 신드롬'이라는 증상을 나타내고 있다는 만화의 일부다.
이러한 증상은 여러 가지 스트레스,급격히 부상한 여권에 따른 여성의 성적매력 저하 등이 주원인이라고 한다.
그런데 이러한 주장의 과학적인 근거로 제시되고 있는 실험이 재미있다.
이른바 극치감(orgasm)으로 묘사되는 사정(射精)의 순간에 측정한 뇌파지수가 지난 20여년 동안 190에서 170으로 떨어졌다고 한다.
과학적인 실험의 결과로서 신뢰성이 높을 것 같지만 과연 그럴까?
오르가슴이란 지극히 주관적인 느낌인데 뇌파지수로 이 느낌의 크기를 과연 측정할 수 있을까? 만일 그렇다고 해도 오르가슴의 정도는 섹스를 하는 대상에 따라 달라질 수도 있다.
더욱이 뇌파측정을 하기 위해 섹스를 하는 사람들의 머리에 (중환자실의 환자처럼) 여러 가닥의 전기선을 연결한 상태에서 섹스를(실험에서는 자위행위를 시켰으리라 추측됨) 한다는 것을 생각만 해도 LSD신드롬에 걸릴 것 같다.
이 실험에 참여했던 남자들은 극단적인 편의표본으로서 전체 남자들을 대표할 수는 당연히 없다.
또한 실험의 내용을 고려할 때 표본의 수(실험에 참가한 사람들의 수)도 충분하지 못했을 것이다.
과학적인 근거로 제시되는 실험 결과지만 조금만 생각해 보면 설득력이 약한 근거임을 알게 된다.
대부분의 사람들이 적어도 한 번쯤은 들은 적이 있는 킨제이보고서라는 것이 있다.
1950년대에 발표되어 세계를 깜짝 놀라게 한 보고서다.
이 보고서의 내용은 미국인들이 개방적인 성관계(free sex)를 즐기고 비정상적인 것까지도 포함하는 왕성한 성생활을 한다는 것이었다.
과연 그럴까? 성생활에 관한 질문은 가장 사적이고 음밀한 것이기 때문에 사람들이 거짓말을 할 수 있다는 사실을 반드시 고려해야 한다.
'일주일에 몇 번 SEX하느냐'는 질문에 진실되게 응답을 하는 사람이 몇이나 될까? 응답한 내용과 실제의 행동과는 전혀 다를 수도 있는 것이다.
따라서 응답의 결과를 그대로 해석한다면 잘못된 결론에 도달하기 쉽다.
킨제이 보고서의 문제점도 응답을 있는 그대로 해석한 잘못이 있다.
아래에 인용한 만화와 킨제이 보고서에 대한 한 통계학자의 비판이 이를 대변해 준다.
내가 처음에 그 (킨제이)보고서를 읽었을 때 나는 매우 긍정적이고 깊은 인상을 받았다.
그 때 나는 조사의 흥미로운 결과에 주로 초점을 두었고 조사방법에는 거의 주의를 기울이지 않았다.
내가 조사가 행해진 방법에 관심을 돌리자 조사의 결점들이 눈에 들어오기 시작했다.
그러나 그런 결점들은 사소한 기술적인 문제들로 생각했다.
마치 거대한 기념물의 표면에 난 흠집같은,전체적인 결론에는 영향이 없이 세부적으로 결과의 일부를 수정하기만 하면 되는 그런 결점으로 생각했다.
두세 개의 오류 요인을 감안한다고 하더라도 대부분의 결과는 여전히 중요하고 흥미로울 것이라고 생각한 것이다.
하지만 조사에 사용된 통계적 방법을 자세히 살펴보고는 보고서 안에 있는 사실들에 대해 신뢰를 가질 수 없었다.
사실 내가 보기로는 조사방법에 있어서의 결점이 너무 커서 그 보고서는 중요한 영역에 대해 새로운 접근을 시도했다는 역할 이상의 가치가 있는 것으로 평가하기가 불가능하다.(Wallis W(1949), "The Statistics of Kinsey Report," Journal of American Statistical association, Vol.44,p.466)
김진호 jhkim@kndu.ac.kr
[ 약력 ]
△서울대 경영대 졸업
△미국 펜실베이니아대 와튼스쿨 경영학 석·박사
△(전)KBS 선거예측조사 자문위원
△(현)국방대 경영학과 교수
이 특징은 표본의 대표성을 유지하기 위한 필수적인 조건인 셈이다.
그러나 이를 무시하고 표본을 뽑는 사람의 판단이나 편리함을 고려한 표본추출방법도 있다.
예를 들어 판단표집(judgement sampling)은 연구자나 전문가의 판단에 따라 표본을 뽑는 것이고 편의표집(convenience sampling)은 뽑기에 편리한 (주로 가까이에 있는) 표본을 추출하는 방법이다.
길거리에서 지나가는 사람에게 물어보는 것이 편의표집의 대표적인 예다.
이러한 방법들은 학자들이 연구에 있어 무작위 추출이 실제적으로 어려운 경우나 연구의 예비적인 결과를 미리 알아볼 때 사용되는데 그 결과를 해석할 때는 표본의 비대표성을 고려해 성급한 일반화를 삼가야 한다.
그러나 편의표집이나 판단표집에 의한 조사들이 마치 무작위 추출에 의한 결과인 양 제시되고 설명되는 경우가 많아 사실을 왜곡하고 조사에 대한 일반인의 신뢰를 떨어뜨리고 있다.
몇 가지 실례를 들어 보자. 위의 그림은 현대인들의 성욕이 크게 감퇴되어 이른바 'LSD(Low Sexual Desire: 低性慾) 신드롬'이라는 증상을 나타내고 있다는 만화의 일부다.
이러한 증상은 여러 가지 스트레스,급격히 부상한 여권에 따른 여성의 성적매력 저하 등이 주원인이라고 한다.
그런데 이러한 주장의 과학적인 근거로 제시되고 있는 실험이 재미있다.
이른바 극치감(orgasm)으로 묘사되는 사정(射精)의 순간에 측정한 뇌파지수가 지난 20여년 동안 190에서 170으로 떨어졌다고 한다.
과학적인 실험의 결과로서 신뢰성이 높을 것 같지만 과연 그럴까?
오르가슴이란 지극히 주관적인 느낌인데 뇌파지수로 이 느낌의 크기를 과연 측정할 수 있을까? 만일 그렇다고 해도 오르가슴의 정도는 섹스를 하는 대상에 따라 달라질 수도 있다.
더욱이 뇌파측정을 하기 위해 섹스를 하는 사람들의 머리에 (중환자실의 환자처럼) 여러 가닥의 전기선을 연결한 상태에서 섹스를(실험에서는 자위행위를 시켰으리라 추측됨) 한다는 것을 생각만 해도 LSD신드롬에 걸릴 것 같다.
이 실험에 참여했던 남자들은 극단적인 편의표본으로서 전체 남자들을 대표할 수는 당연히 없다.
또한 실험의 내용을 고려할 때 표본의 수(실험에 참가한 사람들의 수)도 충분하지 못했을 것이다.
과학적인 근거로 제시되는 실험 결과지만 조금만 생각해 보면 설득력이 약한 근거임을 알게 된다.
대부분의 사람들이 적어도 한 번쯤은 들은 적이 있는 킨제이보고서라는 것이 있다.
1950년대에 발표되어 세계를 깜짝 놀라게 한 보고서다.
이 보고서의 내용은 미국인들이 개방적인 성관계(free sex)를 즐기고 비정상적인 것까지도 포함하는 왕성한 성생활을 한다는 것이었다.
과연 그럴까? 성생활에 관한 질문은 가장 사적이고 음밀한 것이기 때문에 사람들이 거짓말을 할 수 있다는 사실을 반드시 고려해야 한다.
'일주일에 몇 번 SEX하느냐'는 질문에 진실되게 응답을 하는 사람이 몇이나 될까? 응답한 내용과 실제의 행동과는 전혀 다를 수도 있는 것이다.
따라서 응답의 결과를 그대로 해석한다면 잘못된 결론에 도달하기 쉽다.
킨제이 보고서의 문제점도 응답을 있는 그대로 해석한 잘못이 있다.
아래에 인용한 만화와 킨제이 보고서에 대한 한 통계학자의 비판이 이를 대변해 준다.
내가 처음에 그 (킨제이)보고서를 읽었을 때 나는 매우 긍정적이고 깊은 인상을 받았다.
그 때 나는 조사의 흥미로운 결과에 주로 초점을 두었고 조사방법에는 거의 주의를 기울이지 않았다.
내가 조사가 행해진 방법에 관심을 돌리자 조사의 결점들이 눈에 들어오기 시작했다.
그러나 그런 결점들은 사소한 기술적인 문제들로 생각했다.
마치 거대한 기념물의 표면에 난 흠집같은,전체적인 결론에는 영향이 없이 세부적으로 결과의 일부를 수정하기만 하면 되는 그런 결점으로 생각했다.
두세 개의 오류 요인을 감안한다고 하더라도 대부분의 결과는 여전히 중요하고 흥미로울 것이라고 생각한 것이다.
하지만 조사에 사용된 통계적 방법을 자세히 살펴보고는 보고서 안에 있는 사실들에 대해 신뢰를 가질 수 없었다.
사실 내가 보기로는 조사방법에 있어서의 결점이 너무 커서 그 보고서는 중요한 영역에 대해 새로운 접근을 시도했다는 역할 이상의 가치가 있는 것으로 평가하기가 불가능하다.(Wallis W(1949), "The Statistics of Kinsey Report," Journal of American Statistical association, Vol.44,p.466)
김진호 jhkim@kndu.ac.kr
[ 약력 ]
△서울대 경영대 졸업
△미국 펜실베이니아대 와튼스쿨 경영학 석·박사
△(전)KBS 선거예측조사 자문위원
△(현)국방대 경영학과 교수