"비호감 대선, 여론조사 쏟아져도 막판까지 민심 반영 못할 수도"

[김범수의 응시] 박종희 서울대 정치외교학부 교수 인터뷰

박종희 교수는 22일 서울대 연구실에서 한국일보와 만나 "국내 언론은 여론조사 결과를 그대로 전하고 마는 경우가 태반"이라며 "여론 추세를 파악해 해설하는 메타분석이 늘어나야 한다"고 말했다. 배우한 기자

주요 정당의 대선 후보가 확정되면서 후보 지지율을 보여주는 여론조사들이 쏟아져 나오고 있다. 중앙선거여론조사심의위원회는 관련 법규에 따라 선거여론조사기관의 등록과 조사 결과 공표를 의무로 하고 있다. 25일 현재 여론조사심의위에 등록된 기관은 모두 82곳이다. 이 제도가 시행된 2017년 이전 186곳보다 많이 줄었지만 시행 당시 60곳에 비해서는 37%가 늘었다. 여론조사도 따라서 증가 추세다. 여심위 홈페이지에 등록된 여론조사는 지난 대선 때 모두 594건이던 것이 이번에는 투표가 3개월 남았는데 벌써 650건에 이른다.

하루에 여러 건 나오는 조사 결과가 들쑥날쑥 차이 큰 것도 흔하지 않던 현상이다. 지난 15~17일 같은 기간에 실시된 여론조사인데도 전국지표조사(NBS)는 윤석열, 이재명 후보 지지율이 오차범위 내 박빙이었는데 알앤써치 결과는 윤 후보가 14%포인트 이상 앞서는 것으로 나왔다. 비슷한 기간 갤럽 조사도 윤 후보가 11%포인트 우위였다. 7, 8일 조사인 리얼미터와 엠브레인퍼블릭 결과도 각각 박빙과 윤 후보의 12%포인트 우세로 달랐다.

정치데이터분석가인 박종희 서울대 정치외교학부 교수를 22일 연구실에서 만나 이번 대선 여론조사에 문제는 없는지 들었다. 박 교수는 대선 예측 가능성을 높이기 위해 여러 여론조사 결과를 보정·종합해 보여주는 메타분석 작업을 MBC와 함께하고 있다.

-최근 들어 하루에만 두세 건의 대선 여론조사 결과가 발표된다. 이렇게 늘어난 이유는 무엇인가.

“여론조사 시장에 들어가는 진입 비용이 낮은 것이 한 가지 이유다. 예를 들어 자동응답시스템(ARS) 조사의 경우, 기계를 대여하고 최소 3명 정도의 인원으로 이 기계만 계속 돌리면 조사가 가능하다. 조사기관 등록에 기술적인 장벽도 거의 없다. 진입비용이 낮은 것은 바람직하나 숙련도나 전문성이 없어 조사의 정확성이 뒷전이 되는 것은 경계해야 한다.”

-최근 대선 여론조사에서 문제로 볼 만한 대목은.

“여론조사기관 자체조사와 정기조사에 비해 의뢰조사와 부정기조사가 급격히 늘어났다는 점을 주목할 수 있다. 한 의뢰기관이 특정 조사기관과만 지속적으로 거래하는 정황까지 나타난다. 또 의뢰기관의 종류가 언론사만이 아니라 유튜브 채널인 경우도 있다. 만약 이런 조사의 일부가 전체 조사와 큰 차이를 보인다면 그 결과를 신중하게 받아들일 필요가 있다.”

-여론조사의 양도 양이지만 결과에 차이가 커서 혼란스럽다. 같은 날 발표인데 우세한 두 후보 격차가 10%포인트 이상 벌어지거나 박빙인 엇갈리는 결과가 나온다. 왜 이런 현상이 생기나.

“1,000명 조사에서 오차범위가 ±3.1%라면 두 후보의 차이가 3.1%보다 작으면 차이에 큰 의미를 두지 말라는 뜻이다. 같은 날 두 조사가 10%포인트 차이라면 여론조사가 통상 보증하는 이런 오차의 서너 배가 된다. 이 경우 둘 중 하나는 틀렸든지, 둘 다 틀렸다고 볼 수 있다. 그런 상황이 여러 차례 나타나고 있다. 과거에는 아주 클 때가 3~5% 차이 정도였다. 경선처럼 후보가 많을 때는 변수가 많아 그렇다 하더라도 지금처럼 간단하고 비슷한 질문인데 차이가 많이 나는 것은 문제가 있다.”

-ARS 조사와 전화면접조사는 결과가 어떻게 다른가.

“ARS는 기계로 질문을 들려주고 진행하는 조사이고, 전화면접은 면접원이 직접 물어보는 조사다. ARS는 응답률(전화연결이 된 응답자 중에서 끝까지 설문을 마치는 비율)이 낮다. 그래서 ARS에 성실하게 응답하는 것은 특정 후보 지지가 분명하다든지 하는 특별한 이유가 있는 경우로 볼 수 있다. 경선 당시 여론조사를 보면 유독 윤석열 후보가 ARS 조사에서 8%포인트 정도 잘 나왔다. 다른 후보도 ARS 조사가 유리한 경우가 있지만 그래 봐야 2, 3% 정도다. 윤 후보의 경우 열성 지지자가 많은 결과로 볼 수도 있지만 그것만으로 이만한 차이가 날지 의문이다. 결국 ARS 효과가 전부가 아니라 다른 요인들이 복합적으로 영향을 미쳤다고 볼 수 있다.”

-영향을 주는 다른 요인들은 무엇인가.

“비용이 저렴해서 ARS 조사와 무작위번호추출(RDD)이 함께 이용되는 경우가 많은데, RDD는 없거나 안 받는 번호가 많다. 내일까지 응답자 1,000명을 채워야 하는데 연결이 잘 안 되면 어떻게 해야 할까. 연결이 잘 돼 응답을 받을 수 있는 특정한 번호를 활용한다는 이야기도 있다.

가중치 문제도 있다. 예를 들어 강원도 20대 여성 2명을 반드시 표집해야 한다고 치자. 그런데 아무리 해도 1명밖에 응답자를 찾지 못했다면 1명 곱하기 2로 결과를 낸다. 이를 셀 가중이라고 한다. 강원도 20대 여성을 한 명도 못 잡아 셀 가중이 불가능할 때는 강원도 특성, 여성 특성, 20대 특성을 가중치를 두어 계산하는 림 방식을 쓴다. 상대적으로 오차가 적은 것은 셀 가중이다.

조사 시간, 전화의 형태와 관련된 영향도 있다. 유선전화 비율이 높다거나 밤 시간이 배제된 조사에서 파악할 수 없는 성·연령 집단이 있다. 유선전화 조사는 지금도 2010년 전화번호부를 사용하는데 그해 서울시장 선거에서 한명숙 오세훈 투표 결과 예측에 이 전화번호부를 사용한 집 전화 조사는 낭패를 봤다. 투표 직전까지 20%포인트 이상 오세훈이 앞서는 걸로 나왔는데 실제 차이는 0.6%였다. 현재 활용되는 방식 중 가장 신뢰도가 높은 것은 전화면접과 휴대전화 안심번호를 이용하고 셀 가중으로 결과를 내는 조사라고 할 수 있다.”

-전화면접조사의 경우 면접원의 답변 유도 등 조작 가능성이 우려된다. 최근 이 문제로 선관위의 과태료 처분을 받은 여론조사기관도 있었다.

“조사원이 특정 답변을 유도한다든지 답변을 재촉한다든지 할 수 있다. 유도는 노골적인 잘못이고 할당 채우기 위한 응답 재촉은 무응답자를 적극 지지자로 만들 수 있다. 면접원의 부주의와 훈련 미숙이 직접 원인이다. 면접원 교육, 조사 프로토콜 준수, 할당된 전화를 리콜해서 끝까지 추적하는 인내심, 감독도 필요하다.”

-지난주 갤럽과 NBS 결과가 비슷한 시점에 같은 전화면접인데도 크게 달랐다. 이유가 무엇인가.

“둘 다 자체조사이자 정기조사이며 조사방법은 전화면접이다. 그래서 보통 차이가 크지 않은 경우가 많다. 그러나 몇 가지 다른 점이 있다. NBS는 무선전화 100%에 안심번호를 사용하는 반면 갤럽은 유선 15%에 무선 85%이고 그 번호를 무작위로 추출한다. 그리고 NBS는 조사 시간이 첫날은 오후 1시부터 밤 9시, 둘째 날은 오전 10시부터 오후 4시였다. 갤럽은 양일 모두 오전 10시에서 오후 6시까지 조사했다. 즉 밤시간 조사 여부의 차이가 눈에 띈다. NBS는 4개 조사기관이 번갈아 조사를 하는 반면 갤럽은 한 기관이 지속적으로 하는 점도 다르다. 이런 작은 차이들이 여론이 급변하는 국면과 만나면 큰 차이를 만들어 내기도 한다.”

-국내 여론조사는 전체적으로 얼마나 신뢰할 만한가.

“여론조사 격차가 국내만의 일은 아니다. 트럼프와 힐러리가 대결했던 2016년 미국 대선이나 브렉시트 여론조사도 실제 결과와 달라 논란이 됐다. 국내 여론조사는 선진국 어디와 비교해도 상당한 수준이다. 지난 총선에서 경합지역 여론조사 결과가 거의 적중했다. 여론조사심의위가 생겨 여론조사기관이 사전등록하고 결과를 투명하게 공개하도록 한 것이 신뢰도 향상에 큰 도움이 됐다. 조사에 무선전화 안심번호를 쓸 수 있어 더 정확한 표집이 가능해진 영향도 크다. 국내 휴대전화 보급률이 높은 덕분인데 코로나 대응에서처럼 정보화를 공공의 목적에 효과적으로 활용한 사례다.”

-여론조사 결과들을 종합하고 보정해 후보별 지지율을 재산출하는 메타 분석을 시도하고 있는데 어떤 방식이고 무엇을 기대할 수 있나.

“미국에서 개발해 널리 쓰고 있는 선거 예측 방법론을 한국에 맞게 변형한 것이다. 개별 선거여론조사에서 모르는 여론의 공통된 신호를 잡아내는 것으로 종합주가지수 같은 성격이다. 개별 주가는 들쑥날쑥하지만 전체적으로 한국 경제가 성장하는지 악화하는지 보여주는 신호가 종합주가지수다. 주식 분석에서 사용하는 임의보행이라는 분석 틀이 있는데 이를 응용한다. 마치 술 취한 사람이 어디로 갈지는 알 수 없지만 그가 데리고 다니는 개의 움직임은 그 사람의 움직임으로 파악할 수 있는 것과 비슷한 방식이다. 여론조사기관이나 조사방법의 개별 특성을 빼버리고 이런 신호를 뽑아내면 비교적 잘 맞아떨어진다.”

-여론조사기관별로 경향이 달라서 이를 감안해 결과를 수정 반영한다고 했는데.

“영화평을 보면 어떤 평론가는 점수를 짜게 주고 어떤 이는 후하게 준다. 장르에 따른 호오도 있어 점수에 차이가 날 수 있다. 마찬가지로 여론조사도 그런 특성을 알고 판단하면 좀더 정확한 해석을 할 수 있다는 의미다. 차이가 난다고 무조건 편향이 섞였다는 게 아니라 그런 특성을 알고 거기서 신호를 읽어내자는 것이다.

최근에 나오는 이재명, 윤석열 양자구도 조사만 놓고 보면 두 후보에게 각각 후한 결과가 나오는 조사기관이 있다. 이 후보 지지가 전체 여론조사 평균보다 높은 곳은 현대리서치연구소가 대표적인데 많으면 4%포인트 높다. 반대로 윤 후보 지지도가 평균보다 높은 곳은 여론조사공정으로 최대 4%포인트 차이가 난다. 업체가 사용하는 고유의 조사방법에 따라 그런 경향이 있다는 것을 감안하고 봐야 한다. 조사의 절대값을 보지 말고 추세를 보라는 이유다. 어느 후보가 악재가 생겨 떨어지면 어떻게 조사하든 내려가고 호재면 그 반대로 올라간다.”

-여론조사가 혼란을 부추기는 것은 제 각각인 조사 결과를 여과 없이 전하는 언론 탓도 있지 않나.

“미국 언론을 보면 지지율 조사만 전하고 끝내는 것이 아니라 여러 조사 결과를 종합해 해석하고 설명해준다. 주식뉴스도 종합주가지수부터 설명하고 개별종목으로 들어간다. 이런 메타분석이 많아져야 한다. 미국에는 이런 메타분석을 하는 평론가도 많다. 그런데 국내 언론은 쏟아지는 여론조사 결과를 그대로 전하고 마는 경우가 태반이다. 정치 평론도 그날그날 벌어지는 정치 행태에 관한 내용 일색이고 그것도 패널이 진보 보수로 딱 나뉘어 그다지 신뢰성이 없다. 메타분석이 적은 이유의 하나로 자료를 쉽게 가져와 분석할 환경(API)이 마련돼 있지 않은 점도 들 수 있다. 여론조사심의위 홈페이지에 조사 결과가 공개되지만 그 내용을 내려받거나 컴퓨터를 이용해 수집이 불가능해 일일이 수작업으로 다시 입력해야 한다. 자료 활용을 더 손쉽게 할 수 있는 환경이 갖추어진다면 메타분석이 더 늘어날 것이다.”

-여론조사기관이 조사를 조작해도 과태료 처분만 받을 뿐 여론조사를 계속할 수 있다. 형사 처벌, 법인 퇴출 등 처벌을 강화해야 한다는 목소리도 나온다.

“여론조사를 통해 경선 후보를 정하는 등 사회적 비중이 크기 때문에 그에 걸맞은 책임을 묻는 것은 당연하다. 하지만 여론조사는 속성상 객관성과 신뢰를 생명으로 하기 때문에 문제 소지가 있으면 자연스럽게 아무도 의뢰하지 않아 결국 시장에서 퇴출된다. 굳이 과태료 액수를 높인다거나 자격 박탈 등으로 현재 수준의 처벌을 더 강화하는 것보다는 일정 부분 시장을 통해 문제를 해결하는 것이 바람직하다. 무엇보다도 여론조사 기관이 정확성 경쟁을 하고 그 성적에 따라 시장에서 성과가 결정되는 구조를 만드는 것이 중요하다.”

-이번 대선의 유권자 표심을 어떻게 파악하나. 여론조사는 이런 흐름을 잘 잡아낼 수 있을까.

“이번 대선은 비호감도가 높은 후보들이 경선에서 이겼다는 게 큰 특징이다. 과거 대선에서 이번처럼 주요 후보들의 비호감도가 높았던 적이 없었다. 굳이 찾자면 2016년 미국 대선과 비슷하다. 이런 선거의 특징은 막판까지 표심 예측이 어렵다는 점이다. 즉 선거 막판까지 여론조사가 민심을 반영하지 못할 가능성이 어느 때보다 높다.

트럼프 당선, 힐러리 낙선을 거의 예측해내지 못한 건 선거 막판에 힐러리의 이메일 스캔들이 표심에 큰 영향을 줄 거라고 생각하지 못했기 때문이다. 그 사건으로 힐러리에 대한 미온적 지지자들은 투표를 포기했고 일부는 트럼프로 넘어갔다. 아주 작은 스캔들이나 사건이 비호감의 문턱을 움직여 막판에 역동적인 표 이동이 가능한 선거였다. 이는 제3지대 후보표의 확장성을 어느 때보다 크게 기대할 수 있다는 의미이기도 하다.

이번 대선은 비호감도가 높아 부동층, 미온적 지지층이 상당히 많다. 미온적 지지는 언제든 갈아탈 가능성이 높다. 예를 들어 홍준표, 이낙연 후보의 표가 아직 완전히 재구획, 재편성되지 않았고 당분간 이런 상황이 지속될 것이다.”

김범수 논설위원 bskim@hankookilbo.com