버락 오바마 전 미국 대통령이 트럼프 전 대통령을 비난하는 가짜 영상을 본 적이 있는가? 그렇다면 당신은 이미 ‘딥페이크(Deepfake)’를 본 셈이다. 영상에서 오바마는 트럼프를 ‘머저리(dipshit)’라고 부르는데 이 영상 속 그 어떤 말도 오바마가 직접 한 말이 아니다. 이 영상은 딥페이크로 조작한 것인데, 오바마의 표정이나 억양이 매우 사실적이어서 가짜뉴스를 이렇게 생생하게 만들 수 있다는 점은 당시만 해도 큰 충격이었다. 사회적으로 영향력 있는 인물을 이용한 가짜뉴스는 정계뿐 아니라 국제사회에도 큰 혼란을 초래할 수 있고, 조작된 영상이 선거 결과에 영향을 미치거나 국가안보에 위협을 가할 수 있다. 이 때문에 딥페이크는 선거철마다 경계의 대상이 되고 있다.
과거에도 포토샵 등을 이용해 합성사진을 만들 수 있었는데 왜 딥페이크의 위험성은 근래에 더욱 대두되는 걸까? 답은 시간에 있다. 그동안 자연스럽게 사진을 합성하기 위해서는 전문가가 많은 시간을 할애해야 했다. 특히 동영상을 자연스럽게 합성하려면 전문인력이 필요하고 시간과 비용이 들기 때문에 일반인은 시도하기 어려웠다. 하지만 딥페이크의 등장으로 이제는 누구나 쉽게 가짜 영상을 생산하게 됐다. 딥페이크가 영상을 조작하는 원리는 무엇일까?
딥페이크는 인공지능(AI) 기술 중 하나인 딥러닝(Deep Learning)을 이용해 영상에 다른 영상을 중첩하고 이를 진짜처럼 합성하거나 조작하는 기술이다. 주로 사람의 얼굴을 정교하게 합성하는 것에 사용되는데, 기본적으로 특징 추출→정렬→생성의 3단계로 수행된다. 먼저 기계가 조작 대상의 얼굴 생김새를 학습해야 하기 때문에, 특정인의 얼굴 특징을 이해할 수 있도록 ‘얼굴 특징 추출’이 진행된다. 이후 얼굴인식 기술을 통해 얼굴 영역을 감지해 해당 부분을 잘라낸 뒤 합성하고자 하는 위치에 맞도록 ‘정렬’한다. 합성하고자 하는 두 영상이 잘 중첩되도록 정렬됐다면 이제는 조작하고자 하는 얼굴이 중첩된 영상과 피부톤, 안면윤곽 등이 자연스럽게 어우러질 수 있도록 ‘생성’할 단계다. 이때 특정인의 얼굴 데이터만 충분하다면 얼굴의 경계부를 자연스럽게 합성할 뿐 아니라 새로운 표정을 짓게 하거나, 말하는 것처럼 프레임별로 입모양을 변형하는 것도 가능하다.
딥러닝 방식의 특성상 자연스러운 조작을 위해서는 많은 얼굴 데이터가 필요하다. 그 때문에 주로 온라인에 공개된 영상이 많은 유명인들이 딥페이크의 대상이 되곤 했다. 그럼 당신은 딥페이크에서 안전할까? 인스타그램과 페이스북에 내 얼굴이 얼마나 많이 공개돼 있는지 확인해보자. 사진이 많으면 많을수록 더 자연스러운 결과물을 만들 수 있기 때문에 사회관계망서비스(SNS)에 내 사진이 많이 공개돼 있다면 딥페이크의 대상이 될 위험이 있다.
그렇다면 '이제 기술의 발전 때문에 SNS에 사진조차 못 올리는 무서운 세상이 되어버린 것일까?’ 하고 슬퍼하기에는 이르다. 다행히 페이스북 등 SNS 기업에서는 딥페이크를 탐지하는 경진대회를 여는 등 딥페이크 피해를 방지하기 위한 기술을 개발하기 위해 노력하고 있다. 딥페이크를 탐지하는 비법은 다름 아닌 눈 깜빡임에 있다. 우리는 온라인에 사진을 올릴 때 눈을 감은 사진보다 눈을 뜨고 있는 사진을 올린다. 딥러닝의 특성상 주어지지 않은 정보는 만들어내지 못한다. 따라서 딥페이크로 만든 가짜 영상은 눈을 잘 깜빡이지 않는다. 이 점에 착안해 눈 깜빡임 탐지로 딥페이크 영상인지 아닌지를 분별해 낼 수 있다. 아직 완벽하지는 않지만 이처럼 기술의 원리를 잘 이해한다면 악용을 방지하는 기술도 만들 수 있다.
딥페이크와 딥페이크 탐지. 우리는 자의든 타의든 멈출 수 없는 기술 발전의 열차에 탑승해 버렸다. 모두가 기술을 바르게 이해하고 악용되지 않도록 하는 기술을 함께 개발하는 것. 이것만이 이 열차가 전복되지 않는 유일한 길일 것이다.