얼굴 100만개·표정 1500장이 만든 가상인간..."Z세대 마음 얻어야 살아 남아"

가상인간 2D 딥페이크, 3D 디지털 더블 방식 개발
가상 얼굴 만들기 위해 100만 개 얼굴 AI로 생성
"디지털 더블로 15초 영상 만드는 데 9,000만 원"
팬덤 만들 기획력도 중요…"캐릭터 개발에 더 골몰"

가상인간 '재인'이 8월 24일 서울 강남구 코엑스에서 열린 CMS 2022에서 사회를 보는 장면. 가상인간의 대역이 말하는 것을 페이스 스와프 기술을 통해 재인의 얼굴로 바꿔 송출했다. 펄스나인

지난달 24일 콘텐츠 마케팅 전시회 'CMS 2022'가 열린 서울 강남구 코엑스 전시장에 가상인간 '재인'이 등장했다. 재인은 참석한 마케팅 업계 관계자들에게 "이 자리에 와주신 귀빈 여러분 감사합니다. 오늘 행사 진행을 맡은 재인이라고 합니다"라고 인사했다. 화면으로는 가상인간인지, 실제 사람인지 알아차리기 어려운 수준이었다. 재인은 무대 위에 서 있던 발언자에게 "오늘 컨디션 어때요?"라고 묻거나, 조금 전 발언을 정리해 주기도 했다.

한편 행사장 맞은편 회의실에는 텅 빈 무대에 한 여성이 마이크를 들고 말하고 있었다. 그 앞엔 여성을 찍는 카메라와 컴퓨터가 설치돼 있었다. 촬영 영상 속 얼굴이 '페이스 스와프(face swap)' 프로그램을 통해 실시간으로 재인의 얼굴로 바뀌는 모습을 볼 수 있었다. 그 여성은 재인의 대역이었던 것이다. 대역이 말을 하거나 웃으면 반대쪽 컨퍼런스장 화면 속 재인이 그대로 행동을 따라하는 식이다.

기본적으로 현재의 가상인간들은 대역이 따로 존재하고 이를 가상인간의 얼굴로 바꿔주는 페이스 스와프 방식으로 구현된다. 사실 이런 기술은 완전히 새로 개발된 기술은 아니다. 하지만 생방송이 가능할 정도의 빠른 변환 속도와 사람들이 실제와 구분하기 어려울 정도의 합성 기술이 더해지면서 가상인간이 컨퍼런스 사회를 보거나 뉴스 인터뷰에 나오는 장면이 가능해졌다.

100만 장 얼굴 생성하고, 1500개 가상인간 표정 만들어

가상인간 개발 과정. 그래픽=김문중 기자

가상인간을 구현하는 기술은 크게 2차원(2D) 딥페이크 기술로 구현하는 방식과 3D 디지털 더블 방식으로 나눌 수 있다. CMS 2022에서 사회를 본 재인은 딥페이크 방식으로 구현됐다. 재인을 개발한 그래픽 전문기업 펄스나인의 박지은 대표는 "2017년 '아이토냐'라는 영화에서 배우가 트리플 악셀을 돌아야 하는 3초짜리 짧은 장면을 만드는 데 대역이 뛴 장면을 배우 얼굴로 바꾸고 하면서 10명이 넘는 그래픽팀이 석 달 동안 작업했다"며 "현재는 그런 장면은 실시간으로 가능하다"고 말했다.

이는 인공지능(AI) 기술이 빠르게 성장한 덕분이다. 박 대표는 "기본적으로는 사진 이미지를 두고 눈, 코, 입 등 얼굴의 주요 포인트를 찍어 놓은 다음 가상의 얼굴을 대입하는 기술"이라며 "더 실제 같은 가상의 얼굴을 만들기 위해 수많은 데이터를 썼다"고 말했다.

일반적으로 알려진 딥페이크 기술은 사진 속 얼굴을 연예인이나 지인 등 실존 인물로 바꾸는 방식으로 활용되는 반면 펄스나인은 가상의 인물을 만들어 대입한다. 이를 위해 펄스나인은 가상 얼굴 100만 개를 AI로 생성했다. 이 얼굴들을 바탕으로 가상인간이 웃고, 찡그리고, 머쓱해하는 등의 다양한 표정 데이터도 1,500장을 만들었다. 이런 과정을 거쳐 AI가 대역이 보여주는 표정 변화를 알아차리고, 가장 비슷한 가상인간의 표정을 찾아 얼굴을 바꿔 줄 수 있게 됐다.

얼굴 주름·근육 움직임까지 가상으로 구현

로지 개발 과정. 싸이더스 스튜디오 엑스

반면 지난해 신한라이프의 TV 광고에 등장한 가상인간 '로지'는 디지털 더블 방식으로 구현됐다. 디지털 더블 방식은 수백 대의 3D 카메라로 실제 모델을 직접 촬영한 뒤 가상 얼굴을 생성하는 기술로, 딥페이크와 비교해 훨씬 자연스러운 얼굴을 만들 수 있다. 얼굴을 마이크로미터(100만 분의 1m) 단위로 나눠 분석해 얼굴 근육의 움직임까지 가상으로 제작이 가능하다. 다만 비용과 시간이 많이 들어 가상인간 업체들은 활용처에 따라 딥페이크 방식과 디지털 더블 방식을 섞어 쓰고 있다.

백승엽 싸이더스 스튜디오 엑스 대표는 "디지털 더블 방식으로 15초 영상을 만드는 데 5주가 걸리고 비용도 9,000만 원 이상 든다"며 "TV CF처럼 높은 사양을 필요로 하는 영상은 디지털 더블 기술로 만들지만 인스타그램용 사진은 2D 방식을 쓰고 있다"고 말했다.

"아무리 기술 좋아도 팬덤 생기려면 기획력·개성이 중요"

로지가 댓글을 통해 팬들과 소통하고 있다. 로지 인스타그램 캡처

두 대표 모두 가상인간을 실제 사람처럼 구현하는 기술력만큼이나 가상인간을 얼마나 매력 있게 그려 내는지를 결정하는 마케팅과 기획력이 중요하다고 입을 모았다. 기술적으로는 누구나 가상인간을 창조할 수 있다는 점 때문이다.

백 대표는 "로지 얼굴을 만드는 데 8주가 걸렸다면 어떤 얼굴을 하고 어떤 캐릭터를 줄지 기획하는 데 6개월 이상 걸렸다"며 "수많은 셀럽이나 인플루언서를 분석하고 전형적인 아름다움보다는 개성 있는 얼굴을 만들기 위해 신경을 썼다"고 말했다.

박지은 펄스나인 대표 역시 "엔터 회사에서 신인을 어떻게 스타로 만드는지 고민하는 것과 똑같다"며 "세계관이 독특하거나 외모가 특징이 있거나 성격이 매력적으로 기획하는 게 중요하다"고 말했다. 이에 펄스나인은 재인의 얼굴을 네티즌 투표로 뽑기도 했다.

팬들과의 소통도 중요하다. 아직까진 직원들이 로지나 재인에 빙의해 Z세대(1990년대 중반 이후 출생) 팬들과 소통하고 있다. AI 챗봇 기술을 도입했다가 성희롱·혐오 논란을 빚은 '이루다'처럼 사회적 문제가 생길 수 있기 때문이다. 가상인간 업체들은 캐릭터의 성격, 가정 환경, 생각 등을 반영해 세계관을 만들기도 한다.

"메타버스 시대, 가상인간 더 주목…관련 일자리도 생길 것"

가상인간이 빠르게 영향력을 확장하고 있는 글로벌 인플루언서 시장 규모. 그래픽=김문중 기자

지금 불고 있는 가상인간 붐이 25년 전 아담처럼 금방 사그라지지는 않을까? 오히려 메타버스 시대에는 가상인간의 활동 영역이 더 커질 것이라고 백 대표는 설명한다. 어차피 모든 캐릭터가 가상으로 구현되는 만큼 실제 인간이나 가상인간이나 차이가 없어진다는 것이다. 블룸버그는 가상 인플루언서 시장 규모가 2025년 14조 원까지 성장하면서 인간 인플루언서 시장(13조 원)보다 커질 것으로 내다봤다.

가상인간이 활동하는 영역이 넓어짐에 따라 인간의 일자리가 가상인간으로 대체될 수 있다는 지적도 나온다. 하지만 박지은 대표는 가상인간 때문에 새로운 일자리가 만들어지고 있다고 주장한다. 박 대표는 "가상인간의 대역뿐 아니라 대본을 쓰는 작가와 스타일리스트 등 그를 지원하는 인력이 필요할 수밖에 없다"며 "노래는 잘하지만 여러 이유로 가수로 데뷔할 수 없는 사람도 가상인간을 내걸고 자신의 '부캐'로 활동할 수 있는 시대가 열릴 것"이라고 말했다.

▶'우리 곁의 가상인간' 몰아보기

(☞링크가 열리지 않으면, 주소창에 URL을 넣으시면 됩니다.)

①"사실 저 가상인간이에요" 그녀의 깜짝 고백에도 Z세대는 더 열광했다

https://www.hankookilbo.com/News/Read/A2022082310450004138

②얼굴 100만개·표정 1500장이 만든 가상인간..."Z세대 마음 얻어야 살아 남아"

https://www.hankookilbo.com/News/Read/A2022082520280002989

③가상 인간이 일자리 빼앗는다? 즐거운 만큼 갈등도 커진다

https://www.hankookilbo.com/News/Read/A2022082516050005407

안하늘 기자 ahn708@hankookilbo.com