[장인철의 버추얼호라이즌] “가상현실 ‘3D 오브제’ AI로 외형·색채·재질 자동생성 신기술”

AI 기반 3D 오브제 텍스처링 자동생성 소프트웨어 ‘3D 프레소’ 출시
‘리콘랩스’ 반성훈 CEO

"가상현실 속 캐릭터나 사물의 형상·색채·표면질감(텍스처) 등 AI 지시로 자동생성"

기독교 성경에서는 “빛이 있으라”로 시작되는 하나님의 말씀으로 세상이 창조됐다고 한다. 앞으론 사람이 말만 하면 마법처럼 현실과 유사한 가상현실 세계가 창조되는 시대가 올 가능성이 커지고 있다. 가상현실 속 공간과 사물을 디자인하는 기술의 눈부신 진보 덕분이다.

글로벌 리더 기업인 마크 저커버그의 메타(구 페이스북)가 실적 부진에 빠지면서 가상현실 산업은 최근 2년여 동안 소강기를 보냈다. 하지만 유장하게 흐르는 강물 속의 급류처럼, 가상현실 산업에서도 기기와 통신망, 콘텐츠 제작기술 등 전 분야에 걸쳐 끊임없이 다양한 모색과 발전이 빠르게 진행되고 있다.

애플과 삼성이 각각 가상현실 체험의 새로운 지평을 열 것으로 주목되는 확장현실(XR) 체험기기(헤드셋, 글래스) 출시를 목전에 두고 있는가 하면, 가상현실 콘텐츠 유통을 훨씬 원활하게 할 ‘6G’ 추진도 국내외 경쟁이 속도를 내고 있다.

국내 기업 ‘리콘랩스(RECON Labs)’는 가상현실 콘텐츠 제작기술에서 새로운 도약의 가능성을 선보이며 국내외에서 주목받는 스타트업이다. 리콘랩스가 최근 베타버전으로 출시한 소프트웨어 ‘3D 프레소’는 캐릭터부터 각종 소품에 이르기까지 가상현실이나 영화 특수효과(VFX) 영상을 채우는 수많은 3D 오브제들의 형상과 표면재질 및 색채(텍스처)를 생성형 인공지능(AI) 기술을 활용해 자동생성시키는 제작툴이다.

‘3D 프레소’는 최근 미국 샌프란시스코에서 열린 ‘2023 게임 개발자 콘퍼런스(GDC)’에서 가상현실 오브제 3D 모델링에 소요되는 시간과 비용을 획기적으로 줄일 수 있는 기술로 큰 관심을 모았다. 특히 유명 3D 전문 크리에이터 코리 윌리엄스(Cory Williams)가 유튜브에서 ‘3D 프레소’를 활용한 3D 오브제 텍스처링을 시연하면서 국내외 가상현실 기업과 디자이너들의 관심이 급증하고 있다.

반성훈 리콘랩스 최고경영자(CEO)는 “‘3D 프레소’는 앞으로 컴퓨터그래픽 분야에서 AI 기술을 기반으로 개발될 다양한 3D 모델링 제작 소프트웨어 툴 중 하나”라면서도 “성공적으로 계속 업그레이드된다면 마법처럼 가상현실을 만들어낼 수 있는 수준까지 갈 수 있을 것”이라고 기대했다. 반 대표로부터 ‘3D 프레소’의 내용과 개발 의의, AI 기술을 활용한 가상현실 콘텐츠 개발 발전 가능성 등을 듣는다.

반성훈 리콘랩스 대표는 지난 24일 서울 강남구 리콘랩스 사무실에서 진행한 한국일보 '버추얼호라이즌' 인터뷰에서 "가상현실 산업의 발전은 기기나 통신망 외에 무엇보다 콘텐츠가 뒷받침해야 한다"며 "'3D 프레소'는 콘텐츠 제작에서 중요한 3D 오브제 텍스처를 AI를 통한 알고리즘으로 자동생성케 함으로써 시간과 비용을 획기적으로 줄이는 계기가 될 것"이라고 말했다. 안다은 인턴기자

“한 달 걸릴 수작업 하루에 마무리…시간ㆍ비용 획기적 절감”

-‘3D 프레소’는 가상현실 콘텐츠의 3D 오브제 제작에 드는 시간과 비용을 크게 줄일 수 있는 소프트웨어 툴이라고 알려졌다. 우선 가상현실 콘텐츠에 쓰이는 3D 오브제는 무엇을 말하는가.

“게임콘텐츠에서 배경공간 외에 괴물이나 총기, 나무나 탱크 등 일체의 사물을 가리킨다고 할 수 있다. 이것들이 모두 3D 모델링 그래픽 작업을 통해 하나하나 제작돼 배경공간에 배치되는 것이다. 영화의 VFX 영상에도 3D 오브제가 널리 쓰인다. 예컨대 자동차가 산더미처럼 쌓여 있는 상자 더미를 들이받으면서 전복되는 영상을 제작할 때 자동차든 상자 더미든 모두 3D 그래픽 오브제로 제작되는 식이다.”

-3D 오브제 제작에 시간과 비용이 그렇게 많이 투입되는가.

“콘텐츠마다 차이가 있기 때문에 일률적으로 말하긴 어렵다. 3D 게임콘텐츠나 VFX 활용이 많은 재난영화 같은 경우, 제작비의 최소 50% 이상이 3D 오브제 제작에 투입되고, 제작기간 역시 3D 오브제 제작에 드는 시간에 좌우될 정도다. 대형 게임 콘텐츠의 경우, 수백 명의 3D 모델러(디자이너)들이 투입돼 2년 이상 작업을 해야 할 만큼 공임이 많이 들어간다.”

"대형 게임콘텐츠 만들려면 3D 모델링에만 수백 명의 디자이너가 2년 이상 작업해야"

-‘3D 프레소’는 3D 오브제 제작에 어떻게 기여하는가.

“컴퓨터그래픽에서 3D 오브제는 통상 먼저 외형 형상을 만들고, 그 외형에 색채와 질감을 입힌다. 이후 명암을 주는 라이트닝과 입체감을 보강하는 렌더링 등의 과정을 거쳐 완성된다. 지금의 ‘3D 프레소’는 외형을 만들고 거기에 색채와 질감을 입히는 텍스처링, 그리고 텍스처에 맞춘 외형의 변화 등을 자동으로 생성할 수 있도록 하는 수준이다. 예컨대 사람 전신 형태의 3D 외형 그래픽 소스가 있을 경우, ‘3D 프레소’에 “스파이더맨 스타일의 슈퍼히어로 텍스처를 생성해줘”라는 텍스트 지시문을 입력하면 외형에 저절로 스파이더맨 외장이 씌워지면서 스파이더맨 캐릭터가 생성되는 식이다. 3D 모델링에서 텍스처링이 차지하는 공임은 줄잡아 60% 이상 차지하는데, 이 과정의 대부분을 ‘3D 프레소’가 대신할 수 있는 셈이다.”

-그래픽디자이너들이 3D 오브제 외형을 만들고 텍스처를 입히는 게 어렵나. 그 일도 붓을 들고 직접 칠하는 게 아니고 해당 소프트웨어 툴이 있을 것 아닌가.

“먼저, 촬영소스를 이용해 외형을 자동으로 만드는 툴은 엔비디아나 언리얼 소프트웨어에도 툴이 있다. 하지만 만들어진 외형에 텍스처를 입히거나 변형을 하려면 지금까지는 디자이너들이 일일이 수작업을 해야 했다. 텍스처를 입히는 소프트웨어 툴을 사용하더라도 오브제를 입체 각도에 맞춰 돌려가며 붓으로 칠하듯 하는 작업이라 매우 노동집약적인 일이고 시간도 많이 걸릴 수밖에 없었다.”

"카이스트 박사 마치고 한예종서 VR, AR 콘텐츠 제작 수업하면서 3D 모델링 툴 관심"

-컴퓨터그래픽의 3D 모델링과 텍스처를 입히는 과정의 어려움을 모르면 개발에 착수하기조차 쉽지 않은 소프트웨어 툴인 것 같다. 개발을 시도하게 된 특별한 동기가 있나.

“카이스트 학부 땐 신소재공학을 전공했는데, 문화기술대학원 박사를 마치고 한국예술종합학교에서 가상현실(VR), 증강현실(AR) 관련 콘텐츠 기획·제작 수업을 진행했다. 그때 간단한 콘텐츠를 만드는 데도 3D 모델링 작업 때문에 수개월이 걸리는 상황을 체험했다. 가상현실 산업이 커지려면 결국 콘텐츠가 뒷받침돼야 하는데, 그 체험 덕에 콘텐츠 제작을 보다 쉽게 할 수 있는 소프트웨어 툴 개발에 눈을 뜨게 된 것 같다.”

-생성형 AI를 활용한 가상현실 콘텐츠 제작 툴은 ‘3D 프레소’가 유일한가.

“2년 전에 2D 이미지로부터 다양한 각도에서 이미지를 출원해내는 딥러닝 알고리즘 방식의 AI 기술을 적용해 AR 3D 이미지를 생성하는 툴인 ‘플리카’ 서비스를 출시한 적이 있다. 온라인쇼핑몰 등에서 판매 상품 이미지를 AR 3D 이미지로 구현하는 데 적용됐는데, 그 기술 덕에 카카오벤처스 등으로부터 55억 원의 시리즈A 투자를 유치했다. 당시 기술을 발전시킨 게 ‘3D 프레소’가 된 셈이다. 생성형 AI 기반 3D 오브제 형성 및 텍스처 자동생성 툴을 베타서비스한 건 세계적으로도 우리가 처음인 것 같다.”

"'3D 프레소'는 쓰는 만큼 발전해 수십만 개의 3D 오브제 라이브러리로 발전할 수 있을 것"

-‘3D 프레소’ 업그레이드를 언급했는데, 이 소프트웨어는 앞으로도 계속 진화하는가. 한다면 어떤 방향으로의 진화를 기대하는가.

“’3D 프레소’를 쓰면 쓸수록 AI를 통해 데이터가 누적되고, 생성된 3D 오브제도 점점 더 많이 축적될 것이다. 슈퍼히어로 캐릭터부터 3D 역사인물에 이르기까지 수만 종, 수십만 개의 3D 오브제가 축적되면 거대한 라이브러리가 구축될 수 있다. 그렇게 되면 가상현실 그래픽디자이너들이 거기서 필요한 오브제를 그대로, 또는 변형해서 쓸 수 있게 된다. 요컨대 이용할수록 활용도가 높아지는 방식으로 발전을 기대하고 있다. 또 지금은 텍스트로 AI 작업을 지시하지만, 앞으론 말을 하거나 그림 등을 제시하면 텍스처링이 진행될 수 있게 업그레이드도 조만간 이루어질 것으로 예상한다.”

반성훈(왼쪽) 리콘랩스 대표는 장인철 한국일보 논설위원과의 인터뷰에서 "생성형 AI 기반 3D 오브제 모델링 기술이 발전하면 말, 텍스트, 그림 등으로 지시만 하면 가상현실 공간과 캐릭터, 사물 등이 자동생성되는 수준까지 발전할 수 있을 것"이라고 전망했다. 안다은 인턴기자

-하나의 오브제를 넘어 공간을 자동생성하는 것도 가능하겠는가. 예컨대 중세의 고문실을 3D로 만들라고 지시하면 음습한 공간과 각종 고문도구 등이 갖춰진 3D 공간 생성이 가능할지 궁금하다.

“광대한 배경공간을 소프트웨어 툴을 써서 말만 하면 3D로 자동생성하는 건 당분간은 어려울 것이다. ‘3D 프레소’도 밖에서 오브제를 360도로 촬영하고 그 형태를 3D로 복원하고 텍스처를 입히는 방식이라, 중심점에서 360도로 바깥을 촬영해서 공간소스를 3D로 하는 것과는 다르다. 다만 중세 고문실처럼 제한된 공간 정도라면 한 3년 정도면 가능해지지 않을까 기대해 본다. 섹터를 나눠 촬영소스를 3D로 복원하고 텍스처링을 한 다음, 그걸 붙이는 식의 작업을 생각해 볼 수 있을 것이다.”

"3D 모델링 글로벌 시장은 지금도 연간 20조 원 규모, 필연적으로 더 성장할 것"

-다소 소강기를 맞고 있는 가상현실 산업의 미래를 전망한다면.

“VR 헤드셋을 쓰고 상호작용을 하면서 체험하는 방식의 콘텐츠산업이 소강기를 맞은 건 사실이다. 하지만 웹VR이나 게임, VFX 영화 등을 통한 가상현실 콘텐츠 수요는 꾸준히 유지돼왔다. 따라서 3D 오브제 제작 수요는 지금도 매우 강력하다고 본다. 다만 보다 진전된 가상현실 산업은 아무래도 체험기기나 모바일을 통한 콘텐츠 유통이 보다 원활해지는 통신망이 구축되는 것에 맞춰 점진적인 발전과정을 거칠 것이라고 본다. 당장은 오는 6월 출시될 애플의 혼합현실(MR) 헤드셋이나 삼성에서 준비 중이라는 AR 글래스 같은 기기들이 가상현실 산업의 새로운 분수령으로 작용할 수 있을지 주목하고 있다. 향후 ‘6G’ 통신 인프라 구축도 산업 발전의 관건이 될 것이다.”

-가상현실 산업에서 3D 모델링 시장 규모와 ‘3D 프레소’ 같은 툴이 차지할 시장 점유율에 대한 분석이 있나.

“3D 모델링이 활용되는 분야가 워낙 다양해서 정확한 산출은 어려운 것으로 알고 있다. 게임, 영화 VFX, 웹VR 등에 걸쳐 연간 글로벌 시장이 20조 원 정도라는 이야기들을 한다. ‘3D 프레소’는 전체 3D 모델링 과정에서 시간과 비용이 가장 많이 투입되는 텍스처링에 특화된 툴이다. 따라서 전체 시장의 10% 정도까지는 접근할 수 있지 않을까 기대하고 있다.”

장인철 수석논설위원 icjang@hankookilbo.com