'사이버 윤석열' 만든 딥브레인AI의 장세영 대표

음성과 표정까지 재현하는 AI 휴먼 개발
메타버스와 NFT, 가상인간 사업도 진출 예정

지난달 치른 제20대 대통령 선거는 역대 대통령 선거와 달리 새로운 존재가 등장한 이색 선거였다. 바로 사이버 캐릭터다. 이재명, 윤석열 등 각 당의 대선 후보들이 인터넷에서 대신 활약할 가상의 존재를 만들어 사이버 공간에서도 치열한 선거전을 치렀다.

덕분에 주목을 받은 신생기업(스타트업)이 장세영(43) 대표가 2016년 창업한 딥브레인AI다. 이곳은 윤석열 당선인을 꼭 닮은 사이버 캐릭터를 만들어 화제가 됐다. 대선 기간 활약한 사이버 캐릭터는 실물과 구분이 가지 않는 외모와 음성, 입 모양 까지 그대로 재현해 사람들을 놀라게 했다.

윤석열 당선인뿐 아니라 문재인 대통령, 이준석 국민의힘 당 대표, 박영선 전 중소벤처기업부 장관, 김현욱 이지혜 아나운서와 아이돌 그룹 샤이니의 민호 등 유명인들의 사이버 캐릭터도 모두 딥브레인AI에서 만들었다. 장 대표는 이를 인공지능(AI)으로 만든 인간, ‘AI 휴먼’이라고 부른다. 서울 역삼동 딥브레인AI 사무실에서 AI 휴먼을 창조한 장 대표를 만났다.

장세영 딥브레인AI 대표가 서울 역삼동 사무실에서 윤석열 대통령 당선인을 모델로 개발한 AI 휴먼에 대해 설명하고 있다. 윤 당선인은 이를 사이버 선거전에 활용했다. 홍인기 기자 2022.03.16

3주면 습관과 피부까지 흉내 낸 AI 휴먼 완성

딥브레인AI는 AI로 영상과 음성까지 실제 사람을 닮은 AI 휴먼을 만드는 스타트업이다. “얼굴만 닮은 것이 아니라 음성에 맞춰 변하는 입 모양과 표정까지 흉내 내요. 심지어 습관과 피부 상태까지 그대로 재현하죠.”

기존에도 영화에서는 컴퓨터그래픽의 모핑 기술을 이용해 외모를 똑같이 만든 사이버 배우들이 있었다. 모핑은 실제 배우의 외모를 복사해 컴퓨터그래픽으로 가상 인간에 덧입히는 기술이다. 하지만 사이버 배우와 AI 휴먼은 근본적 차이가 있다. "모핑으로 만든 사이버 배우는 대역 배우의 연기를 촬영한 뒤 모핑으로 얼굴만 바꾸죠. 하지만 AI 휴먼은 대역 배우가 필요 없어요. 말과 행동을 입력하면 알아서 연기해요."

이를 위해 필요한 것이 고도의 데이터 학습, 딥 러닝이다. "AI가 사람의 얼굴 표정과 음성, 행동 등 갖가지 자료로 학습한 뒤 배우지 않은 행동과 대화까지 스스로 알아서 표현하죠."

AI 휴먼 제작은 딥 러닝에서 시작된다. "사내 스튜디오에 실제 인물이 와서 영상을 찍어요. 윤석열 당선인과 이준석 국민의힘 당 대표도 스튜디오에 와서 AI학습에 필요한 영상을 촬영했어요. 이후 컴퓨터가 영상을 분석해 목소리, 어투, 표정, 행동 습관, 피부 상태 등 다양한 데이터를 수집하죠. 이를 AI가 이해할 수 있는 디지털 자료로 다시 가공해요. 이렇게 가공된 자료로 AI를 학습시키죠."

AI 휴먼의 개발 기간은 2, 3주로 생각보다 짧다. "AI 알고리즘이 개선돼 개발 기간이 단축됐죠. 예전에는 실물 촬영만 5일이 걸리는 등 AI 휴먼이 탄생하기까지 두세 달 걸렸어요. 지금은 촬영도 하루 안에 끝나요."

문 대통령, 도티, 샤이니 민호 등 유명 AI 휴먼 줄줄이 개발

장 대표는 AI 휴먼 기술 개발에 꼬박 6년이 걸렸다. "처음에는 글로 묻고 답하는 챗봇을 만들었어요. 이를 토대로 음성과 영상까지 재현하도록 발전시켰죠."

실력을 널리 알린 것은 2019년 5월 등장한 문 대통령의 AI 휴먼이다. "문 대통령의 AI 휴먼 영상을 유튜브에 공개하자 반응이 뜨거웠죠. 많은 사람들이 진짜 만든 것인지, 기존 영상을 편집해 올려 놓은 것인지 헷갈릴 정도로 정교했어요."

여기에 자신을 얻은 장 대표는 2019년 10월 종합편성채널 MBN의 김주하 앵커를 모델로 최초의 상품화한 AI 휴먼을 내놓았다. "MBN과 계약해서 AI 앵커를 개발했어요. 실제 김 앵커와 AI 앵커가 같은 화면에 동시에 나와 유명해졌죠."

이후 유명인들의 AI 휴먼이 줄줄이 등장했다. 김현욱 아나운서와 샘 해밍턴을 모델로 만든 AI 캐릭터는 영어교육 프로그램에 등장했고 AI로 만든 이지혜 아나운서는 LG헬로비전 방송에서 활약한다. 아이들 사이에 유명한 유튜버 도티의 AI 휴먼은 교원그룹에서 AI 교사로 활동하고 있다. 아이돌 그룹 샤이니의 민호 AI 휴먼은 문화체육관광부가 외국인 관광객들을 위해 서울 광화문에 설치한 무인 안내기에 ‘광화인’으로 등장했다.

장세영 딥브레인AI 대표는 AI 휴먼이 화면에 나타나 안내하는 무인 안내기(키오스크)까지 개발했다. 이를 구입한 기업들은 AI 휴먼의 모습과 대화 내용, 배경 등을 바꿀 수 있다. 홍인기 기자

AI 은행원과 AI 교사, AI 쇼호스트로도 활약

AI 휴먼의 쓰임새는 무궁무진하다. 최근 AI 휴먼의 수요가 늘어난 곳이 은행이다. 은행 입구에서 번호표를 발급하고 방문객을 안내하거나 창구에서 상담도 한다. "KB국민은행이 AI 휴먼을 도입했고 다른 은행들도 AI 휴먼을 준비 중이에요."

보험사와 증권사들도 AI 휴먼에 관심이 많다. "AI 휴먼이 영상에 등장해 보험사의 다양한 상품과 복잡한 약관을 설명하죠. 증권사에서도 AI 휴먼이 영상을 통해 시황을 설명해요." 교육, 쇼핑에서도 AI 휴먼이 AI 교사와 AI 쇼호스트로 활동한다.

장 대표는 이런 상황에 맞춰 AI 휴먼이 내장된 무인안내기(키오스크)도 개발했다. "이용자가 기기 앞에 서면 동작과 목소리를 인식해 대형 화면에 AI 휴먼이 나타나 대화로 필요한 내용을 안내하죠. 관리도구용 소프트웨어까지 제공하기 때문에 구입한 기업에서 AI 휴먼의 모습과 대화 내용, 배경 화면, 의상 등을 바꿀 수 있어요. 가격은 몇백만 원에서 수천 만 원까지 다양해요."

6월 지방선거와 해외 유명스타들 겨냥한 AI 휴먼 개발 예정

6월 1일 실시하는 지방자치단체 선거에도 새로운 AI 휴먼이 등장할 수 있다. "일부 지자체장 등 지방선거를 준비하는 사람들이 AI 휴먼 개발 문의를 많이 해요."

해외 유명인들의 AI 휴먼 개발도 진행 중이다. "할리우드 스타와 운동선수 등 다양한 유명인들을 접촉 중입니다. 하반기 전에 해외 스타들의 AI 휴먼이 나올 겁니다."

여기 맞춰 장 대표는 올해 미국과 중국에 법인을 만들고 해외 사업을 적극 확대한다. 신종 코로나바이러스 감염증(코로나19) 이후 비대면 서비스가 확산되며 AI 휴먼의 성장 가능성이 높기 때문이다. "지난 1월 미국 법인을 만들어 AI 휴먼으로 개발할 현지 유명인들과 기업들을 접촉 중입니다. 올해 미국에서 200만 달러의 매출을 올리는 것이 목표죠. AI 휴먼으로 개발하는 해외 유명인들과 수익을 나누는 방식도 고려 중입니다."

장 대표에 따르면 전 세계에서 AI 휴먼을 개발하는 업체들은 많지만 두각을 나타내는 곳은 딥브레인AI와 영국 신디시아, 미국 소울머신, 중국 아이플라이텍 정도다. 이 가운데 음성과 영상 합성이 모두 가능한 AI 휴먼을 만든 곳은 딥브레인AI와 아이플라이텍뿐이다. 중국의 선전 증시에 상장된 아이플라이텍은 시총 규모 17조 원의 거대 AI 기업이지만 미중 무역 갈등으로 미국의 블랙리스트에 올라 해외 사업이 어려운 상황이다. 따라서 해외 시장에서 딥브레인AI의 경쟁력이 높다.

딥브레인AI는 이를 인정받아 지금까지 KDB산업은행, 포스코기술투자, 산은캐피탈 등으로부터 누적으로 591억 원을 투자받았다. 이 과정에서 약 2,000억 원의 기업 가치를 인정받았다.

“누구나 AI 아바타 갖는 세상 목표” 메타버스와 NFT, 가상인간 사업 준비 중

여기 그치지 않고 장 대표는 신사업으로 가상 공간인 메타버스와 대체불가토큰(NFT), 가상인간 사업을 준비한다. 이를 위해 누구나 자신의 분신인 AI 아바타를 만들 수 있는 서비스를 개발하고 있다. "메타버스에서 활동하는 AI 아바타를 개발 중입니다. 3차원 캐릭터보다 훨씬 정교해 사람처럼 말하고 표정을 보여주죠. 누구나 AI 아바타를 갖는 세상을 만드는 것이 목표입니다. 이를 위해 메타버스 플랫폼 사업도 고려 중이죠."

AI 휴먼의 수익을 NFT 조각상품으로 만들어 판매하는 사업도 상반기 중 한국과 미국에서 추진한다. "유명인의 AI 휴먼이 활동하며 벌어들인 수익 일부를 NFT 조각상품 구매자들이 나눠 갖는 방식이죠. 유명인은 초상권 비용을 가져가고, 딥브레인AI 수익 중 일부를 NFT 조각상품으로 개발할 예정입니다."

오래 준비한 가상 인간은 AI가 현실에 존재하지 않는 완전 가공 인물을 창조하는 것이다. "사진이나 광고 영상 등에서 활동하는 기존 가상인간들은 배경을 포함해 사진 및 영상 전체를 영화의 한 장면처럼 통째로 컴퓨터그래픽을 이용해 만들어요. 따라서 가상 인간이 독립적으로 활동하지 못해요. 반면 준비 중인 가상 인간은 AI가 접목돼 사람처럼 말하고 행동하는 독자 활동이 가능하죠."

장 대표는 가상 인간을 상반기 중 만 명 단위로 만들어 메타버스 등에서 활용할 생각이다. "그동안 축적한 데이터를 바탕으로 AI가 한꺼번에 수많은 가상 인간을 만들 수 있어요."

장세영 딥브레인AI 대표는 누구나 AI 아바타를 갖는 세상을 꿈꾸며 AI 휴먼을 개발하고 있다. 그는 AI 개발에 직접 참여했다. 홍인기 기자

AI 직접 개발하며 창업, “AI 유니콘으로 키울 것”

서울대에서 전기공학을 전공한 장 대표는 창업 동아리에서 활동하며 졸업 전에 첫 창업을 했다. "2005년 스타모바일이라는 회사를 처음 창업했죠. 연예인 콘텐츠를 제공하는 모바일 팬클럽 사업을 했어요."

이후 그는 SK그룹의 시스템통합(SI) 업체 SK C&C 솔루션 개발팀을 거쳐 2010년 모바일 플랫폼을 만드는 핑거를 두 번째로 창업했다. "앱을 만들면 다양한 모바일 운용체제에 맞춰 자동 적용되는 기술을 개발한 곳이죠. KB국민은행, 신한은행, 농협 등 은행권에서 이 기술을 사용해요. 핑거는 신한은행에 인수된 뒤 증시에 상장됐어요."

핑거 이후 페이지온을 거쳐 네 번째로 창업한 곳이 지금의 회사다. "처음부터 사람처럼 정교한 AI휴먼 개발을 목표로 창업해 직접 AI 개발에 참여했어요."

딥브레인AI의 직원은 100명이 넘는다. 이 가운데 연구소를 포함해 개발자가 70%에 이른다. 개발자들 사이에 네이버, 카카오보다 연봉을 더 주는 곳으로 소문 나면서 6개월 사이에 직원이 두 배 이상 늘었다.

그만큼 회사는 계속 성장 추세다. "지난해 매출은 35억 원, 올해 100억 원 이상을 목표로 하고 있어요. 아직 투자 단계여서 적자이지만 적자 탈피보다 성장시키는 것이 목표입니다."

장 대표의 장기적 목표는 세계에서 가장 뛰어난 AI 기업이 되는 것이다. "국내 스타트업 중에 처음으로 전 세계에서 AI 기술로 인정받는 유니콘(기업가치 1조 원 이상 기업)이 되고 싶어요. 그만큼 AI를 더 똑똑하게 발전시켜야죠. AI가 사람들의 일자리를 빼앗을까봐 걱정하는 사람도 많지만 데이터 가공 등 AI 발전에 맞춰 새로운 일자리가 늘어나며 사람들이 이동할 겁니다."

그는 예비 창업가들에게 끈기를 갖고 버티는 것이 중요하다고 조언했다. "사업하려면 쉽게 포기하지 않는 끈기와 열정이 필요해요. 아울러 스타트업의 가장 기본적인 덕목은 성장입니다. 빠른 성장이 기대되는 사업군에 들어가는 것이 중요해요. 그래야 적자가 나도 성장하며 줄일 수 있죠."

최연진 IT전문기자 wolfpack@hankookilbo.com