2022년 3월 대선 당시 등장해 이목을 끌었던 각 후보의 사이버 캐릭터 'AI 윤석열', 'AI 이재명'을 4월 10일 치러질 총선에서는 볼 수 없게 됐다. 출마자들이 인공지능(AI) 기술을 활용해 만든 ‘딥페이크(Deep fake)’를 선거운동에 사용하는 것이 전면 금지돼서다.
전문가들과 이해당사자인 AI 업계도 규제 필요성에 적극 공감했다. 'AI·딥페이크 퇴출'이라는 최후 수단을 써서라도, 이른바 가짜뉴스(허위조작정보) 유포로 인한 혼란과 부작용을 예방하자는 취지를 외면하기 어려웠다.
다방면에서 인간보다 뛰어난 능력을 보여줘 전 세계 최대 화두가 된 AI, 동시에 '가짜뉴스' 생산의 원흉으로 찍힌 AI를 어떻게 활용해야 할까? 선거 때마다 무조건 금지하는 것이 합리적일까?
'AI 윤석열' 'AI 이재명'을 금지한 공직선거법 개정안은 지난달 20일 국회를 통과했다. 선거일 90일 전부터 선거일까지 선거운동에 딥페이크 제작·편집·유포·상영 또는 게시를 금지하고, 이를 위반하면 7년 이하의 징역 또는 1,000만 원 이상 5,000만 원 이하의 벌금에 처하도록 하는 내용 등이 담겼다. 개정 법대로라면 90일 전인 11일부터 딥페이크 사용이 금지되나, "공포 후 한 달 뒤 시행한다"는 부칙에 따라 29일부터 적용된다. 개정 공직선거법은 지난달 28일 공포됐다.
새 공직선거법은 찬반 논란이 있었지만, 정치권이 공히 딥페이크가 악용돼 허위사실이나 '가짜뉴스'가 확산되면 돌이킬 수 없는 결과를 초래할 것을 우려했기 때문에 통과됐다. 실제로 지난해 5월 튀르키예 대선에서는 투표 직전 ‘테러 집단이 야당 후보를 지지한다’는 딥페이크 영상이 퍼졌고, 9월엔 슬로바키아 총선에서도 투표 이틀 전에 친미 성향의 야당 대표가 “우리 당이 선거에 이기려면 (소외 계층인) 로마족(집시)에게 돈을 줘야 한다”고 말한 딥페이크 음성파일이 공개돼 표심에 영향을 줬다. 조 바이든 미국 대통령도 지난해 10월 AI 규제 행정명령에 서명하는 등 해외에서도 규제가 잇따르고 있다.
윤명근 국민대 인공지능학부 교수는 "개정법이 과도한 규제인 측면이 없지는 않지만, 법 제정 취지는 이해한다"며 "선거 직전이나 당일에 AI기술을 이용한 허위 정보가 유포되면 뒤늦게 거짓임을 깨달아도 아무도 책임지지 못하는 사태만은 막자는 것"이라고 말했다. 'AI 윤석열'을 제작했던 스타트업 '딥브레인 AI'의 한종호 부대표도 "업체들도 '가짜뉴스'로 피해 보는 일이 있고 그 폐해가 워낙 크다는 점을 잘 알아 업계도 입법 취지에 동의한다"고 말했다.
딥페이크 등 AI 기술 악용은 막아야 하는 데는 대부분 동의하지만 무조건 '금지'가 아닌 정교한 대책이 필요하다는 목소리도 나온다. 한 부대표는 "AI 기술 활용을 통째로 막기보다는, AI를 악용하는 사람을 제재하는 게 더 바람직해 보인다"고 주장했다. 그는 최근 고학수 개인정보보호위원회 위원장이 주재한 업계 간담회에도 참석해 이 같은 의견을 전달하기도 했다. 딥브레인AI는 이번 총선 때 후보자들의 수요가 많을 거라 생각해 'AI 윤석열'처럼 휴먼 AI 제작 서비스(드림아바타)를 준비했지만, 새 규제가 생겨 무산됐다고 한다.
전문가들도 AI 활용 차단만이 능사가 아니라고 말한다. 무엇보다 포괄적 규제를 문제로 지적한다. 공직선거법에서는 딥페이크를 '인공지능 기술 등을 이용하여 만든 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등"이라고 규정했는데, 그 범위가 너무 넓다는 것이다.
최경진 인공지능법학회 회장(가천대 법학과 교수)은 "이미지를 보정 가공하는 프로그램인 포토샵에도 AI를 활용해 이미지를 생성하거나 확장하는 기능이 두루 사용되고 있다"며 "경기 성남시에 출마한 후보가 지역 대표 명소인 남한산성이나 스카이라인을 직접 촬영해 합성하지 않고, AI 기능이 있는 포토샵으로 다듬어 사용하는 것도 위법이 될 수 있다"고 꼬집었다. 이어 "(허위 사실 차단이라는) 개정 공직선거법의 입법 목적을 고려해, 해당 규정이 엄격하게 해석돼야 할 필요가 있다"고 덧붙였다.
정수환 숭실대 전자정보공학부(IT융합전공) 교수도 "일반적으로 '인공지능 심층학습(딥러닝)을 이용해 만든 가짜(페이크)'라는 뜻의 딥페이크가 '디스인포메이션(disinformation·의도적 허위 정보)'과 '미스인포메이션(misinformation·부정확한 정보)'만을 뜻하지 않는다"고 지적했다. 미스인포메이션은 의도 여부와 관계없이 잘못 전달되는 정보를, 디스인포메이션은 의도를 갖고 악의적으로 조작한 정보를 뜻한다. 그는 "후보 스스로가 동의해 AI로 만든 영상물은 유권자에게 공약을 보다 효율적이고 정확히 전달할 수도 있다"며 "딥페이크라고 해서 모두 혼란을 일으키는 디스인포메이션과 미스인포메이션이라고 볼 수 없다"고 포괄적 규제에 부정적 견해를 표시했다. 그는 "개정 법이 순기능은 제외하고, 상대 후보 낙선 등 악용하는 것만 규제해야 하지만, 그 의도를 판단하기 어렵고, 법으로 규정할 수도 없어 포괄적으로 규정한 것 같다"고 추측했다.
새 법률을 적용해야 할 중앙선거관리위원회는 법 시행 준비가 덜 된 것으로 나타났다. 선관위 관계자는 "11일부터 AI감별반을 조기 편성·운영하고, 시·도선관위는 AI모니터링 전담요원을 2~3명씩 확대해 운영한다"고 밝혔지만, "개정된 조항을 적용할 구체적인 가이드라인은 준비 중이다"고 말했다. 이어 "AI 관련 법률을 처음 적용하다 보니 따져봐야 할 점이 많다"며 "늦어도 다음 주쯤 내놓을 계획"이라고 했다.
AI기술은 이제 거스를 수 없는 시대 흐름이 됐다. 9일 미국 라스베이거스에서 개막한 세계 최대 가전·정보기술(IT) 박람회 'CES(소비자 전자제품 전시회) 2024'에서도 인공지능이 최대 화두다. 하루가 달리 진화하는 기술을, 부작용이 우려된다고 앞으로 선거에만 활용하지 않을 수 있을까.
전문가들은 이번 선거에서는 불가피하게 AI 사용을 금지했지만, 다음 선거부터는 AI를 제대로 감시하면서도 적절히 활용할 수 있는 방안을 모색해야 한다고 입을 모았다. 최경진 인공지능법학회장은 "2년 뒤 지방선거와 3년 후 대선 때는 AI의 엄청난 발전이 예상되는데 그때도 무조건 사용을 규제하기는 쉽지 않을 것"이라며 "선관위가 디지털 시대에 걸맞은 정밀한 AI 활용 기준을 만들어 선거운동의 질적 수준도 발전시켜야 한다"고 조언했다. 정수환 숭실대 교수는 "딥페이크의 진위 여부를 즉각 판단해 삭제하는 기술이 개발되는 게 가장 좋겠지만, 그 정도로 수준 높은 기술 개발이 아직 이뤄지지는 않았다"며 "영상이나 이미지가 플랫폼에 게시되면 가짜 확률이 몇 %인지 자동으로 표기되는 프로그램 개발 등 기술적 뒷받침이 필요하다"고 말했다.
한종호 딥브레인AI 부대표는 "딥페이크 사용 시 접속자의 로그기록이 자동으로 남도록 해, 변조 시 추적할 수 있게 했다"며 "딥페이크 악용 탐지솔루션 개발에도 힘을 쏟고 있다"고 말했다.