응답률 얘기가 자꾸 나오고 길어지니 그 자체에 대한 이야기를 좀 더 해보도록 하지요.
이런 부분 길게 말해서 크게 좋을 거 같지 않은데 기왕 평소 안하던 이야기 시작했으니 덧붙이는 것도 좋겠습니다.
1.응답률이 조사 결과에 영향을 미칠까?
제 의견을 하나로 정리하면, '그것을 고려할만한 실익이 없다'라고 하겠습니다. 지난 글에 트랙백된 글에서 당신과 가는 길님이 다음과 같이 적으셨는데요, 같은 입장이라고 봅니다.
그 근거도 비슷한 부분이 많습니다만 제 생각을 간단히 정리하면,
일반적 가정, 곧 '응답 여부가 randomness에 영향을 줄 수 없다'는 것과 달리, 응답률이 낮은 집단이 동시에 특정한 정치적 견해를 가지고 있다면 고려할만한 bias가 발생한다. 그러나 현재 그 방향성을 파악할 수 없다. '한나라당 지지자들이 자신들의 선호를 밝히는 경향이 약하다'든가 하는 것은 조사결과와 실제 투표결과를 놓고 결과론적인 해석을 내린 것 뿐이며 그 차이가 반드시 응답률에서 온다는 근거는 없다. (이 해석대로라면 이명박 후보의 지지도는 50%를 넘는다는 말인가?) 따라서 현재 주어진 정보 내에서 가장 합리적인 선택은 가정을 바꾸지 않는 것이며, 다만 수치에서 행간의 의미를 파악하는 것은 각자의 역량이다.
이것은 통계이론적인 부분을 배제하는, 응답률에 대한 일반적인 의견입니다.
그렇다면 블로그 등지에서 말하듯이 현재 한국에서 이루어지는 전화조사는 낮은 응답률 탓에 언급의 가치도 없는 특정 후보를 밀어주기 위한 것일 뿐인지 생각해보지요.
2.현재 인터넷에 퍼져있는 응답률이라는 개념은 옳은가?
우선 그 소스가 어디인가 살펴봅니다.
여론조사에서 응답률의 문제를 제기한 곳은 리얼미터라는 조사업체라고 합니다. 그래서 리얼미터 조사결과를 보면 통화시도 횟수를 공개하고 있지요. 두 번째는 지난 번 링크했던 그만님의 글에 인용되어 있듯이 한국일보에서 지적한 것입니다. 그런데 응답률이 원론적으로 중요한 것이긴 하나 1000명 조사하는데 3000명만 시도하고 응답률이 30%가 안되면 폐기한다는 이야기는 누구의 말을 옮긴 것인지 알 수 없으나 별로 믿기지는 않습니다. 개인적으로는 미국 애들이라고 정치적 의식이 빵빵해서 답변을 술술해주는 것도 아니고, 그냥 상식적으로 생각해도 말이 안된다고 생각하는데요-_-;;; 그렇게 끝낼 수는 없으니, 응답률에 대해서 다음과 같은 것도 있다...그렇게 생각하시면 되겠습니다.
우선 현재 만연한 가장 큰 오해는 응답률이라는 개념 자체입니다. 전화를 이용한 Survey에서 사용하는 응답률, 그러니까 Response Rate라는 개념은 8000명 시도해서 500명 성공했으니 500/8000=6.25%...이렇게 간단하지 않습니다. 물론 1000명이라는 샘플을 최초에 정해놓고 시작해서 그 중에 300명만 응답했다면 응답률은 30%라고 해도 맞겠죠. 하지만 전화조사는 최초 샘플크기를 정해놓고 순차적으로 이루어진 것이고 목표하는 샘플크기가 확보되면 중단됩니다. 또한 조사 과정에서 동일하게 평가할 수 없는 다양한 상황이 발생합니다.
그래서 American Association for Public Opinion Research같은 협회에서는 Response Rate를 계산하기 위한 몇 가지 공식을 제시하고 있습니다. 그 공식들을 이용하기 위해서는 세부적인 조사결과가 필요합니다. 조사가 안됐으면 이게 하다 만건지, 조사대상이 거절한건지, 전화를 안 받은 건지, 받았는데 옆집에서 놀러온 사람이 받았는지 다 다르단 말이죠. 상식적으로도 8000명 안에 전화를 안 받은 사람과 답변을 거부한 사람이 섞여 있다면 다르게 취급하는 것이 옳다고 느끼실 겁니다. 그래서, 그런 공식을 통해 나온 Response Rate는 단순 계산보다 높게 나옵니다. 리얼미터라는 회사가 응답률이라는 개념을 끌어들여서 뭔가 해보려는 열정이 있다면, 8000명 시도해서 500명 응답했다는 식의 공개는 되려 사람들 더 헷갈리게 하는 겁니다. 계산방법에 따라 다르겠지만 실제 공식에 대입하면 리얼미터 조사의 응답률은 10~20% 이상이 아닐까 생각합니다.
3. 어쨌든 낮은 거 아니냐?
응답률은 해당 업계에서도 제법 이슈가 되는지라 다양한 연구가 이루어지고 있습니다. 그리고 많은 연구결과에서 공통적으로 지적하는 것은 조사의 정확도는 직관적인 상식 이상으로 낮은 응답률에 강한 모습을 보인다는 것입니다. 일례로 1000명의 모집단을 세팅하고 각 조사방법을 테스트한 결과에 따르면 전화조사의 경우 18~20% 정도의 응답률에서도 충분한 결과를 보여주었습니다. (링크하려고 찾았는데 구글에서 이리저리 검색해봐도 안나오는군요.) 또한 그보다 낮다고 해서 현실과 완전히 동떨어진 소설을 쓰고 있다고 할 수 있을까요? 차이가 있을 수도 있겠죠. 그렇다고 무의미하지 않습니다.
대선 조사의 모집단은 연구대상보다 몇만배나 큽니다, 또한 각 조사기관들은 샘플추출과정과 조사현실에서 발생하는 bias를 조정하기 위한 자신들만의 기법을 동원합니다. 그에 대한 최소한의 선의조차 가정할 수 없다면 TV에서 발표하는 투표결과도 못 믿겠습니다.
