"누구나 영화감독으로 만들어준다" 개인이 영화 만드는 AI 도구 개발한 홍두선 시나몬 대표

배경, 조명, 촬영, 편집, 가상 배우의 연기까지 AI가 만들어줘
120조 원 규모의 전 세계 영상 시장 겨냥

영화나 드라마 제작은 배우부터 촬영, 조명, 녹음, 편집 등 수많은 인력과 비용이 필요하다. 그만큼 개인이 혼자서 영화나 드라마를 만드는 것은 상상도 할 수 없는 일이다. 그런데 앞으로는 이런 영상 제작의 현실이 달라질 수 있다.

2020년 등장한 신생기업(스타트업) 시나몬의 홍두선(42) 대표는 누구나 혼자서 영화를 만들 수 있는 인공지능(AI) 프로그램 '시네브이'를 개발했다. 사람이 시나리오만 만들면 연기, 촬영, 편집, 녹음 등 나머지 작업을 AI가 한다. 따라서 누구나 영화감독이 될 수 있다. AI로 영화와 드라마 제작에 혁신을 꾀하는 홍 대표를 서울 세종대로 한국일보사에서 만나봤다.

홍두선 시나몬 대표가 서울 세종대로 한국일보사에서 인터뷰를 하며 영화를 만들어주는 AI '시네브이'에 대해 설명하고 있다. 임은재 인턴기자

릴쇼츠가 보여준 가능성

홍 감독이 시네브이의 성공 가능성을 본 것은 지난해부터 유행한 릴쇼츠(reelshorts) 영상이다. 중국에서 영상 소설(비주얼 노블)을 만들던 회사가 개발한 릴쇼츠는 길이가 1, 2분에 불과한 짧은 인터넷 드라마다. "짧은 영상을 선호하는 요즘 사람들 사이에 이 영상이 크게 유행하며 이 업체가 올해 1분기 앱 하나로 700억 원 매출을 올렸어요."

릴쇼츠는 웹툰과 비슷한 방식으로 돈을 번다. 미끼에 해당하는 1~5편을 공짜로 보여주고 6편부터 편당 과금한다. "짧은 영상으로 돈을 벌 수 있다는 것을 보여준 것이 릴쇼츠죠. 이용자의 70%가 여성이고 30대 이상이 많아요. 그러면서 중국과 한국에서 릴쇼츠 영상을 찍는 사람들이 늘었어요. 기업들도 사업 준비를 하면서 경쟁이 치열한 시장(레드오션)이 되고 있죠."

그런데 릴쇼츠는 한계가 있다. 소규모 인원이 빠르게 찍다 보니 품질이 떨어지는 경우가 있다. "사람들은 이야기에 빠져들어요. 그래서 막장 드라마 같은 내용이 많죠. 품질을 좋게 만들려면 50편 제작에 5,000만~1억 원이 들어가 개인으로서는 엄두가 나지 않죠."

이런 한계를 눈여겨보고 차별화한 것이 AI 프로그램 시네브이다. 시네브이는 품질이 좋은 짧은 영상을 빠르게 만들어 준다. "연출, 촬영, 연기 등 영상 구성 요소를 완전 자동화한 것이 특징이죠. 완성된 장면이 마음에 들지 않으면 얼마든지 수정할 수 있어요."

AI가 가상 배우의 동작 만들어 줘

제작 방법은 간단하다. 이용자가 줄거리를 입력하면 AI가 이를 해석해 3차원 가상공간으로 배경을 만든 뒤 여기에 가상 배우, 조명, 카메라 위치 등 필요한 요소를 설정해 촬영한다. 이때 가상 배우는 이용자가 만든 캐릭터를 활용하거나 시네브이에 포함된 캐릭터 생성 도구를 사용해 만들어도 된다. 이용자는 이렇게 촬영한 영상을 보고 웹페이지에서 배우와 동작, 카메라 위치, 조명 등을 자유롭게 수정할 수 있다. "컴퓨터를 켜고 인터넷에 접속하면 영화를 혼자서 만들 수 있는 시대가 된 것이죠."

시네브이의 핵심은 가상 배우의 동작을 만드는 모션AI다. 행위를 정해주면 AI가 해당 동작을 만든다. 예를 들어 '앉아 있다가 천천히 일어선다'라고 대본을 쓰면 AI가 인물의 동작을 만드는 것이다. "모션AI는 아직 다른 업체들이 갖지 못한 기술이죠. 관련 논문을 쓴 개발자를 영입해 2년 동안 개발했어요. 지금도 계속 기술을 발전시키고 있죠. 또 내부의 모션캡처 스튜디오에서 사람의 동작을 촬영해 AI를 학습시켜요. 그래서 저작권 문제도 비켜 갔죠."

대사는 나중에 덧붙인다. "소리를 연구하는 다른 AI 업체의 서비스를 덧붙였어요. 영상 제작이 끝난 뒤 대사를 입히면 됩니다."

영상 분량은 제한이 없지만 릴쇼츠처럼 짧은 영상을 주력 대상으로 꼽는다. "60분짜리 영상도 만들 수 있는데 그러려면 대본을 정교하게 써야죠. 결국 여기서도 다른 생성형AI처럼 지시(프롬프트)가 중요해요."

이렇게 제작된 영상을 실사 영화나 애니메이션 등 다양한 형태로 바꿀 수도 있다. "컴퓨터 그래픽 영상을 비디오 투 비디오(video to video) 기술을 이용해서 실물 영상에 가깝게 바꿀 수 있어요. 또 만화 같은 느낌을 살려 애니메이션으로 만들 수도 있죠. AI가 발전할수록 영상은 더 정교해지죠."

그래서 게임개발업체들이 시네브이에 관심이 많다. 게임 캐릭터만 넣으면 바로 영화나 드라마를 만들어 수익을 확대할 수 있기 때문이다.

시나몬이 개발한 '시네브이' AI로 만든 영상. 시나몬 제공

미국 런웨이 누른다

시네브이는 개발이 끝났지만 아직 정식으로 선보이지 않았다. 하반기 시험 서비스를 거쳐 내년 1분기 정식 서비스를 시작할 예정이다. 그전에 기업간거래(B2B) 형태로 사업을 하며 미비점을 보완할 계획이다. "웹소설이나 웹툰업체들과 B2B 사업을 얘기하고 있어요."

가상 캐릭터를 활용하는 업체들도 시네브이에 관심을 보이고 있다. "요즘 가상 캐릭터를 활용해 유튜브 영상을 제작하는 버추얼유튜버(버튜버)들이 있어요. 버튜버들이 시네브이를 활용해 영상을 만들고 싶어하죠."

비용은 영상 길이만큼 받을 생각이다. "B2B와 개인 이용자를 구분해 요금을 받으려고 해요. 1분 영상의 경우 평균 4만~5만 원을 받을 생각이에요."

처음부터 홍 대표는 시네브이를 약 120조 원에 이르는 전 세계 영상제작 시장을 겨냥해 만들었다. 그래서 AI 학습도 주로 영어를 이용했다. "영어 대본을 줬을 때 영상을 더 잘 만들어요."

문제는 해외 경쟁업체들이다. 해외에는 미국 런웨이, 루마AI, 중국의 클링 등 여러 경쟁 서비스가 나와 있다. 그중 런웨이는 기업가치가 1조6,000억 원에 이르는 막강한 경쟁자다. "런웨이는 월 15달러를 내면 60초 분량의 영상을 만들어주는 AI 서비스를 하고 있어요."

그렇지만 홍 대표는 런웨이에서 못하는 것들을 시네브이로 할 수 있어 경쟁 우위를 자신한다. "런웨이는 AI 생성 방식이 까다로워 일반인이 쓰기 어려워요. 또 편집 기능도 떨어지죠."

여기에 경쟁업체의 장점까지 흡수할 방침이다. "런웨이나 소라는 용 같은 상상 속 캐릭터를 영상으로 만들어줘요. 반면 시네브이는 관련 도구를 이용해 용을 만들어 넣어야죠. 그래서 런웨이나 소라가 발전하면 캐릭터 생성 기능을 시네브이에 결합해 완성도를 높일 생각이에요. 캐릭터까지 자동 생성하는 AI를 만들려면 막대한 비용이 들어 외부 AI 기술을 적극 활용하는 것이 낫죠."

딥페이크와 음란물은 원천 차단

홍 대표는 시네브이가 활성화되면 5년 이내 영화계가 크게 바뀔 것이라고 본다. "5년 내 영상 AI 도구가 고도로 발달해 영상 시장이 많이 바뀔 겁니다. 영상 제작 비용이 크게 떨어져 영화나 드라마 제작에 혁신을 일으킬 수 있어요."

그렇다 보니 영화계 일자리가 줄어드는 것 아니냐는 우려가 나온다. "전문적이고 고도화된 영상은 전문가들이 만들고 가볍고 편한 영상을 시네브이로 이용하면 시장이 커질 수 있어요. 하지만 일부 분야에서 일자리 대체 현상은 불가피하죠. 대신 영화를 만들 수 없어 포기했던 사람들에게 기회가 열려요. 또 프롬프터 디자이너처럼 AI에게 지시를 정교하게 내릴 수 있는 새로운 직업이 부상할 수 있어요."

AI가 영상을 손쉽게 만들어 주는 만큼 최근 문제가 심각한 가짜 합성영상(딥페이크)이나 음란물 제작 걱정도 있다. 이에 대해 홍 대표는 시네브이로 딥페이크 제작을 할 수 없다고 단언했다. "시네브이는 실물 합성 기능이 없어 딥페이크 제작이 불가능해요. 또 이용자 약관에도 실제 인물로 캐릭터를 만들 수 없다고 초상권 지침을 명기할 계획입니다."

음란물도 마찬가지다. "AI는 음란물에 필요한 동작들을 학습하지 않으면 아예 생성할 수 없어요. 내부적으로 동작 행위의 기준을 정해서 문제 영상들을 원천 차단합니다."

홍두선 시나몬 대표가 노트북을 이용해 시네브이 AI로 영상을 만드는 과정을 설명하고 있다. 시네브이는 이용자가 대본을 입력하면 여기 맞춰 배경, 가상 배우와 동작, 촬영, 조명까지 모든 것을 AI가 만들어 준다. 임은재 인턴기자

"K-AI 바람 기대"

어려서부터 게임을 좋아한 홍 대표는 고교 졸업 후 바로 게임 개발에 뛰어들었다. "독학으로 프로그래밍을 배워 휴대폰용 자동차 경주게임을 개발했어요. 이 게임이 잘돼서 넥슨 출신들이 만든 게임개발사 제이투엠에 취직했죠. 거기서 많이 배웠어요."

제이투엠에서 자동차 경주 게임을 개발하던 그는 회사가 세계적 게임회사 EA에 팔려 축구게임 피파를 개발하게 됐을 때 그만두고 2009년 블루윈드라는 휴대기기용 게임 회사를 창업했다. "퀴즈킹, 루팡몽 등 가벼운 게임을 만들었는데 1,000만 건 이상의 내려받기 횟수를 기록하는 등 잘돼서 8년간 운영했어요."

덕분에 그는 2018년 콘텐츠 마케팅 업체 봉봉과 네이버웹툰이 합작해 만든 시나몬게임즈의 대표로 영입됐다. 이후 봉봉의 자회사였던 시나몬게임즈가 봉봉과 합치면서 2020년 합병법인 시나몬의 대표가 됐다. "봉봉의 사업이 어려워져 합병 제의를 받았죠. 시나몬게임즈에서 영상 소설게임 '메이비'를 만들었는데 감정이나 장면 표현에 아쉬웠던 부분을 보완하기 위해 시네브이를 구상했죠."

매출은 아직까지 시네브이 개발에 많은 돈이 들어가 크지 않다. 총인원 60명 가운데 절반이 개발자다. 투자는 크래프톤, 네이버웹툰, 네이버제트, 스노우 등에서 누적으로 140억 원을 받았다. "네이버는 전략적 투자자여서 여러 가지 영상 협업 방안을 논의 중이에요."

앞으로 그는 해외 진출에 주력할 계획이다. "미국을 1차 공략 대상으로 보고 영어 서비스를 먼저 내놓을 예정입니다. 이를 위해 미국에 현지 법인 설립을 검토 중이에요. 미국에서 성공하면 한국어 서비스를 해야죠. 잘되면 한국형 AI, 즉 K-AI 바람이 불기를 기대해요."

최연진 IT전문기자 wolfpack@hankookilbo.com