윤 대통령 겨냥한 가짜 AI 사진도?…"AI와 범죄 결합하면 끔찍한 결과 나올 것"

"AI 이미지에 가짜뉴스 결합해 여론 조작 가능해"
피싱, 몸캠 범죄에서도 AI 악용할 수 있어
저작권 보호, 음란물 제작 규제 없는 버전 이미 배포

엘리엇 히긴스라는 블로거가 인공지능(AI)으로 만든 가짜 이미지. 엘리엇 히긴스 트위터 캡처

이미지 생성 인공지능(AI)에서 비롯한 문제는 음란물에서 끝나지 않는다. 최근 미국에서 AI로 만들어 낸 트럼프 전 대통령 체포 사진이 논란이 됐는데 국내서도 충분히 가짜 이미지가 만들어질 수 있다는 우려가 나온다. 기존 가짜뉴스에 AI 생성 이미지가 결합되거나 피싱 범죄집단이 이를 활용할 경우 사회적으로 더 큰 문제가 발생할 수 있다는 지적이다.

12일 업계에 따르면 이미지 생성 AI에 공부시킬 사진 데이터를 공유하는 해외 커뮤니티에는 윤석열 대통령 관련 자료도 올라와 있는 것으로 확인됐다. 누군가 윤 대통령의 얼굴을 활용해 AI 이미지를 만들기 위한 시도를 했다는 것. 또 누구나 해당 파일을 내려받아 이미지 생성 AI에 넣으면 트럼프 대통령의 체포 사진 같은 가짜 AI 이미지를 만들 수 있는 셈이다.

"AI 생성 이미지에 가짜뉴스 붙여 여론 조작도 충분히 가능"

인공지능(AI) 학습용 데이터를 공유하는 한 커뮤니티에 윤석열 대통령 사진을 대상으로 한 AI 데이터가 올라왔다. 누군가가 이를 활용해 딥페이크 이미지 제작을 시도했다는 뜻이다. 웹페이지 캡처

전문가들은 AI를 통한 여론 조작이 활발해질 수 있을 것으로 걱정한다. 최병호 고려대 인공지능연구소 교수는 "이미지 생성 기술과 텍스트 생성 기술이 결합하면서 합성 이미지에 전혀 다른 텍스트까지 자동 생성을 무한히 할 수 있다"며 "가상으로 인터넷 언론사 100개를 만들고 AI로 분당 100개씩 찍어 내면 인터넷 여론 조작도 어렵지 않을 것"이라고 말했다.

특히 최 교수는 몸캠, 피싱 등 범죄조직이 AI 기술을 활용했을 때 파급력을 걱정했다. 그는 "사회 평판이 중요한 사람을 대상으로 이미지 생성 AI를 활용해서 접근하면 아주 복잡한 상황이 생길 것"이라고 우려했다. 가령 피싱 문자 등을 통해 범죄집단이 특정인의 스마트폰 사진 저장소에 접근하고 여기에 있는 사진을 바탕으로 부적절한 이미지를 만들어 협박할 수 있다는 것이다. 또 범죄에 쉽게 활용할 수 있는 AI 툴이 등장할 개연성도 충분하다.

이미 생성 AI를 통한 저작권 피해 사례도 생기고 있다. 이미지 생성 AI는 텍스트를 이미지로 바꿔 주는 것뿐 아니라 이미지를 이미지로 바꿔 주는 기술도 있는데, 이를 활용해 유명 작가들의 그림을 학습하고 그와 비슷하지만 새로운 그림을 만드는 시도도 이어진다. 한 일러스트레이터는 자신의 블로그에 '제 그림을 가져다가 AI에 학습시키지 마세요'라고 호소해 눈길을 끌었다. 그는 "10년 이상 노력 끝에 만든 화풍을 불과 몇 분만에 AI에 뺏기는 것을 목격하고 이 일을 계속해야 할지 고민"이라고 했다. 심지어 AI 그림 커뮤니티에선 "여러 작가의 그림을 섞어 학습하면 새로운 화풍을 만들 수 있다"는 정보가 돌아다니기도 한다.

규제 없는 생성 AI 이미 배포…해외서도 골치

게티이미지뱅크

문제는 이런 이미지 생성 AI를 제어할 방법이 없다는 점이다. 음란물, 딥페이크 등은 주로 '스테이블 디퓨전 웹UI' 라는 AI 프로그램을 통해 만들어지는데 이 프로그램은 특정 업체가 운영하는 것이 아니며 이미 무료로 누구나 사용할 수 있다.

'미드저니', '달리', 카카오의 '칼로' 등 다른 이미지 생성 AI는 여러 논란을 거치면서 프로그램 제작사가 스스로 초상권, 저작권 침해 및 음란물 합성을 규제하고 있다. 독일 뮌헨대 연구팀이 개발한 스테이블 디퓨전 역시 영국의 스타트업 스태빌리티AI(Stability AI)에 투자받은 이후부터 발표한 2.0 버전에서는 관련 규제를 도입했다. 문제는 과거 버전인 스테이블 디퓨전 웹UI가 규제 장치 없이 대중에게 배포됐다는 점이다. 이에 해당 프로그램을 차단할 방법조차 뚜렷이 없는 실정이다.

김명주 서울여대 정보보호학과 교수는 "스테이블 디퓨전이 처음 나왔을 때부터 음란물 학습이 가능해서 그 당시 논란이 있었지만, 당시 연구진들이 표현의 자유를 외치면서 문제가 시작됐다"며 "사용자 연령 기준 등 규제 장치 없이 아무나 쓰게 되면서 이미 우리 손을 떠나 버렸다"고 말했다.

해외에서도 스테이블 디퓨전 웹UI는 골칫덩이다. 지난해 말 스페인에서는 이 프로그램을 활용해 4테라바이트(TB) 규모의 아동 포르노 이미지를 만든 개발자가 체포돼 논란이었다. 영국 국가범죄수사국(NCA) 등 유럽 각국에서도 이미지 생성 AI를 대상으로 대책을 마련 중이다.

다만 현재 스테이블 디퓨전 운영사인 스태빌리티AI가 해당 프로그램에 대한 추가 기능 업데이트를 하고 있지는 않는 상황이다. 초기 버전에 머물러 있는 만큼 AI 성능이 크게 향상되지 않고 있다는 것이다. 그러나 일부 프로그래머들이 자체적으로 기능 업데이트를 시도하고 관련 자료를 공유하고 있는 것으로 전해진다.

"기존에 없던 AI 등장에 총체적 변화 필요"

게티이미지뱅크

전문가들은 음란물 유포죄(정보통신망 이용 촉진 및 정보보호 등에 관한 법률 위반) 등 범죄 소지가 명확한 부분은 현행법으로 처벌해 경각심을 주는 것이 필요하다고 지적한다.

박상오 법무법인 바른 변호사는 "현행 딥페이크 처벌법이 누군가 얼굴을 가져와 음란물을 제작한 것이 핵심인 만큼 AI 기술을 활용해 나온 결과물에도 학습 데이터에 특정인이 들어가 있고 그 인물이 연상될 경우 처벌이 가능하다"면서도 "다만 AI 기술이 나오면서 과거에 없던 범죄 유형이 생겨나는 만큼 관련 규정도 하루빨리 논의돼야 한다"고 말했다.

또한 AI 확산에 따라 기존에 없던 유형의 범죄가 발생할 수 있는 만큼 법 체계 전반을 정비해야 한다는 조언도 나왔다.

김 교수는 "미국에서는 AI 제작물을 구분할 수 있는 표시를 하도록 규정해 해당 이미지가 가짜라는 것을 알리고 있다"며 "피해자가 속출하는 상황에서 이런 규정만이라도 먼저 도입해 볼 필요가 있다"고 말했다.

최 교수도 "가령 음악에서 일정 구간값이 유사성을 띄게 되면 표절로 정의하는데 AI 기술을 활용해 이를 아주 교묘하게 피할 수 있는 기술도 충분히 개발될 수 있다"며 "결국 창작과 저작권의 개념부터 바뀌어야 하는 것처럼 AI 도입에 따라 우리 사회 전반의 앞날을 다시 따져봐야 하는 문제"라고 말했다.

안하늘 기자 ahn708@hankookilbo.com