애플 첨단 헤드셋, 가상현실(VR)산업의 새로운 ‘전환점’ 될 수 있을까?

김주호 카이스트 전산학부 교수

애플, 첫 혼합현실(MR) 헤드셋 ‘비전프로’ 공개
메타ㆍ애플ㆍ삼성 등 ‘빅3’ 첨단기기 경쟁 본격화

아이폰의 애플이 5일(현지시간) 처음으로 혼합현실(MR) 헤드셋 ‘비전프로’를 공개했다. 지금까지 가상현실(VR)산업에서의 글로벌 리더 기업은 과거 페이스북에서 사명까지 아예 VR를 겨냥해 바꾼 마크 저커버그의 메타였다. 메타는 극심한 실적 부진 속에서도 최근 ‘메타 퀘스트3’ 같은 첨단 헤드셋을 발표하는 등 의욕적 도전을 이어가고 있다.

그럼에도 애플의 새 헤드셋에 세계적 관심이 집중된 건 스티브 잡스 이래 혁신 프런티어 기업으로서 애플에 대한 기대 때문일 것이다. ‘아이폰’ 이래 혁신을 이어온 애플의 최근 혁신제품은 2014년 선보인 ‘애플워치’였다. 팀 쿡 애플 최고경영자(CEO)는 미국 캘리포니아주 쿠퍼티노 애플 파크에서 열린 연례 세계 개발자 회의(WWDC)에서 ‘비전프로’를 “또 한 번의 혁신(one more thing)”으로 소개했다. ‘애플워치’ 이후 9년 만에 새로운 혁신의 등장이라는 선언이었다.

애플의 ‘비전프로’가 궁극적으로 어떤 혁신을 이룰지는 아직 미지수다. 하지만 메타의 ‘메타 퀘스트3’에 이은 ‘비전프로’의 등장에, 올해 하반기엔 삼성전자의 야심적 첨단 MR 헤드셋까지 공개될 것으로 알려지면서 VR기기, 나아가 VR 생태계까지 또 한 번의 도약기가 도래할 수도 있을 것으로 예상된다. 특히 애플은 ‘비전프로’를 컴퓨터와 모바일에서 한발 더 나아간 ‘공간 컴퓨팅 플랫폼’으로 규정하면서 VR산업 패러다임에도 큰 변화를 일으킬 것임을 예고한다.

김주호 카이스트 전산학부 교수는 사람과 컴퓨팅 기술(가상현실, 인공지능 등 포함)이 어떻게 상호작용하는가를 이해하고 더 나은 상호작용을 위한 기술을 만드는 ‘인간-컴퓨터 상호작용(HCI:Human-Computer Interaction)’ 분야 전문가다. 애플 ‘비전프로’에 대한 평가와, 첨단 헤드셋 등장이 VR산업 활성화에 미칠 영향 등을 물었다.

(*편집자주: 기사 용어 중 ‘가상현실(VR)산업’은 컴퓨터그래픽(CG) 등을 통해 만들어진 가공의 형상을 활용하는 산업이라는 포괄적 의미에서 VR을 포함해 증강현실(AR), 혼합현실(MR), 확장현실(XR) 등의 기술 및 비즈니스를 통칭하는 개념으로 사용함.)

김주호 카이스트 전산학부 교수는 애플 '비전프로' 공개와 관련해 "기기 자체의 첨단기능도 주목할 만하지만, 가상현실(VR)산업엔 '비전프로' 운영체제인 '비전OS'를 통해 VR생태계가 활성화할 수 있다는 게 기대가 큰 부분"이라고 말한다. 김 교수는 "'비전OS'를 통해 개발자들이 헤드셋 콘텐츠를 개발할 수 있는 토대가 마련되면 아이폰의 '앱스토어'가 스마트폰 시대를 본격화했듯, 첨단 헤드셋이 새로운 '공간 컴퓨팅 플랫폼'으로 나아갈 수 있을 것"이라고 말했다. 대전=왕태석 선임기자

“손과 시선, 음성을 이용한 '비전프로' 인터랙션 방식은 현명한 기술적 진전”

-디지털 및 가상현실 업계가 주목해온 애플의 MR 헤드셋 ‘비전프로’가 공개됐다. 지금까지 최신 제품으로 꼽혔던 메타의 ‘메타 퀘스트3’ 등과 비교해 무엇이 발전했나.

“애플 ‘비전프로’는 시장의 기존 제품들을 뛰어넘는 고사양의 하드웨어, 고급스러운 디자인, 별도의 컨트롤러 없이 손과 눈과 음성을 통한 입력, 기존 애플 앱 생태계의 확장 등이 주요 특징이라 할 수 있다. 특히 메타버스나 VR 용어의 사용은 피하고 ‘비전프로’라는 제품명을 쓰고, 운영체제인 ‘비전OS’를 통한 ‘착용형 공간 컴퓨팅(Spatial Computing)’ 개념을 제시한 건 기존 VR헤드셋을 넘는 새로운 패러다임을 제시한 것으로 볼 수 있다. 헤드셋을 VR콘텐츠 체험을 위한 보조기기에서 애플의 기존 컴퓨팅 기기, 즉 데스크톱 노트북 태블릿 애플워치 모바일과의 연계를 통한 컴퓨팅 플랫폼을 추구하는 것으로 보인다.

애플의 혁신은 새로운 발명보다는 기존 기술들을 수억 명이 쓸 수 있는 형태로 표준화하고 상용화하고 패키징하는 데에서 수많은 성공사례를 남겨왔다. ‘비전프로’에서도 별도 컨트롤러 없이 손과 눈과 음성을 이용하는 상호작용방식을 적극 도입하고, 헤드셋을 쓴 상태에서 외부환경을 인지할 수 있게 한 ‘아이싸이트’ 같은 기술을 개발한 건 현명한 선택이다. 관건은 실제 출시 제품에서 얼마나 정확히 손과 눈과 음성을 통한 사용자의 의도를 읽어낼 수 있느냐다. 신체는 입력만을 목적으로 하는 기기가 아니고 지속적으로 다른 의도를 위해 사용되기 때문에 사용자의 정확한 의도를 파악하고 인식하는 것이 무엇보다 중요하다.”

-애플 ‘비전프로’ 외에, 삼성전자도 연내 첨단 헤드셋을 내놓을 것으로 알려졌다. 이런 기기들의 등장이 메타버스를 포함한 가상현실(VR)산업의 활성화 계기가 될 수 있을까.

“애플, 메타, 삼성전자의 새로운 헤드셋 하드웨어들은 VR산업의 수많은 기술적 장벽을 극복해가는 과정에서 의미가 있다고 생각한다. 물론 헤드셋에서도 무게, 발열, 연산 파워, 디스플레이 문제 등 해소해야 할 기술적 난제가 남아 있지만, 메타와 애플, 삼성전자 등 글로벌 빅플레이어들의 경쟁구도가 전개되면 빠른 기술적 진전이 이루어질 수 있다고 기대한다. 다만 VR산업의 전반적 활성화는 하드웨어만으로 이루어지는 것은 아니다. 관련된 소프트웨어 기술, 콘텐츠, 생태계, 비용 등의 문제가 복합적으로 풀려야 한다. 애플에 기대하는 것이 바로 이런 분야의 진화를 촉매할 수 있다는 것 아닐까.”

"가상현실산업 활성화하려면 첨단 헤드셋뿐만 아니라 콘텐츠와 소프트웨어 개발 병행돼야"

-애플 ‘비전프로’가 VR산업 생태계 활성화를 자극할 수 있다면 어떤 경로를 통해서인가.

“애플이 아이폰을 출시하면서 개발자들에게 운영체제를 공개하고 개발자용 키트를 제공하면서 ‘애플 앱스토어’를 개설한 것과 같은 방식이 될 것이다. 아이폰은 물론, 안드로이드폰에서도 구축된 구글플레이스토어는 수많은 개발자들에게 스마트폰에서 구동 가능한 대중적 콘텐츠를 개발해 상용화하는 데 절대적인 역할을 했다. 마찬가지로 ‘비전OS’는 전 세계 개발자들이 ‘비전프로’를 통해 이용할 수 있는 소프트웨어와 콘텐츠를 개발하는 핵심 인프라가 될 것이다. 게임은 물론, 온라인 상거래, 교육, 여행 등의 콘텐츠 개발이 활성화할 수 있다는 얘기다.”

-글로벌 VR산업은 선두주자였던 미국 메타의 실적 부진 등이 나타나면서 다소 정체국면을 맞고 있다. VR산업 정체의 원인이 뭐라고 보는가.

“헤드셋의 불편함과 유용한 기능의 부족 등 하드웨어의 기술적 미흡, 콘텐츠 제작기술의 한계에 따른 이용하고 즐길 만한 콘텐츠 부족 등이 부정할 수 없는 장애로 작용했다. 하지만 근본적인 문제는 결국 가상현실 콘텐츠를 왜 해야 하는가에 대한 명확한 답을 사용자에게 제시하지 못한 면이 크다고 생각한다. 일례로 많은 메타버스 콘텐츠에 들어가 보면 대부분 겉은 그럴듯하게 현실을 모사했지만, ‘현실처럼 보이는(look real)’ 것만 있고 ‘그래서 어쩌자는 얘기냐’ 부분이 부족하다. 이래서는 5분이 지나면 더 이상 할 게 없다. 물리적인 공간이나 2D에서도 할 수 있는 것을 더 비싸고 복잡하고 불편하게 구현하는 경우가 많았다는 얘기다.

무엇보다 기존 환경에서 유독 불편하거나 잘 안 되거나 비효율적으로 할 수밖에 없던 것들을 획기적으로 풀어주는 그림이 나와야 한다고 생각한다. VR산업의 일종이지만 스크린골프의 경우, 실제 필드에 나가는 것에 비해 시간과 비용 효율에서 나름 명확한 비교우위가 있었기 때문에 자리를 잡을 수 있었다고 생각한다. 요컨대 VR 기술 자체도 중요하지만 사용자 중심으로 니즈를 탐색하고 킬러콘텐츠를 만들어내는 과정이 보다 강조되어야 한다.”

가상현실 헤드셋(HMD) 개발경과

"'VR산업 생태계' 활성화 통해 VR, AR, MR 등에 최적화한 실용적 '킬러콘텐츠' 나와야"

"콘텐츠 개발에서 생성형 AI 기술 등 활용한 혁신 필수, VR 진입장벽 허물고 흥미 높일 것"

-말씀대로 메타버스나 VR산업이 활성화하려면 킬러콘텐츠 등장이 절실하다. 킬러콘텐츠 개발을 위한 방안은.

“’비전프로’ 같은 개량된 기기와 전용 운영체제 ‘비전OS’의 등장은 콘텐츠 개발의 많은 장애요소를 제거할 수 있을 것이다. 예컨대, 사용자가 VR콘텐츠를 작동하기 위한 상호작용 과정에 별도 기기인 컨트롤러를 사용해야 하는 지금까지의 방식은 매우 불편하고 어려웠다. VR콘텐츠 활용의 진입장벽으로 작용한 셈이다. 그런데 이제 컨트롤러 없이 손과 시선, 음성만으로 상호작용을 할 수 있는 헤드셋이 애플뿐만 아니라 메타나 삼성에서도 잇달아 나오게 된다. 이런 상황은 이전에 컨트롤러의 불편 때문에 포기했던 많은 콘텐츠 개발을 다시 자극할 것이다. 생성형 AI의 등장도 VR콘텐츠 개발의 장애를 많은 부분 제거할 수 있는 수단이 될 것이다. 관건은 사용자 니즈에 주목하면서 기술발전과 편의성 간의 현실적 균형을 찾는 노력과 투자가 꾸준히 가동돼야 한다는 것이다. 그러다 보면 자연스러운 타이밍에 킬러콘텐츠가 개발될 수 있다고 본다.”

-생성형 AI기술이 VR산업에도 빠르게 적용되고 있다. AI기술이 VR산업에도 기여할까.

“물론이다. 생성형 AI와 VRㆍ메타버스는 좋은 시너지를 낼 가능성이 있다. 최근 생성형 AI기술을 활용해 3D 모델링에서 오브제 텍스처링을 보다 효율적이고 경제적으로 할 수 있는 방식이 소개된 바 있다. 보다 고도화하면 3D 모델링 시간과 비용을 획기적으로 줄일 수 있을 것이다. 또 생성형 AI기술을 활용하면 VR콘텐츠 내 아바타나 캐릭터에 성격과 대화능력을 형성시킬 수 있다. KT나 네이버 메타버스 공간에는 운영사들이 방문자들과의 대화 등을 위해 미리 배치해 놓은 ‘상설캐릭터(NPC)’들이 있다. 하지만 “안녕!” “굿바이!” 등 극히 제한된 응대나 동작만 하고 멀뚱히 있는 경우가 많다. 생성형 AI기술을 적용해 NPC들이 진짜 대화나 반응형 동작을 할 수 있다면 메타버스에도 생기가 돌 것이다. 최근 KT와 생성형 AI기술을 활용한 메타버스 활성화 프로젝트를 진행하고 있다.”

"애플의 '공간 컴퓨팅' 개념은 VR 헤드셋을 컴퓨팅 플랫폼으로 진화시키겠다는 선언"

-‘비전프로’ 같은 첨단 헤드셋이 컴퓨터와 모바일에 이어 차세대 컴퓨팅 플랫폼으로 발전할 가능성을 어떻게 보는가.

“컴퓨팅 플랫폼이 PC에서 모바일로 진화할 때 혁명적 변화를 추동한 게 애플의 스마트폰 아이폰이었다. 아이폰이 새로운 컴퓨팅 플랫폼으로 정착하게 된 가장 큰 동력은 앱스토어였다. 앱스토어를 통해 오락, 실용, 동영상 등 수많은 콘텐츠를 보다 쉽게 경험할 수 있는 토대가 구축되면서 컴퓨팅 플랫폼의 모바일 시대를 연 셈이다. 그 과정에서 아이폰에 맞서 삼성의 갤럭시 등 스마트폰 기기 개발 경쟁이 전개되면서 기능의 고도화도 모바일 컴퓨팅 플랫폼 정착에 크게 기여했다.

첨단 헤드셋이 차세대 컴퓨팅 플랫폼으로 발전할 수 있을지는 속단하기 어렵다. 다만 헤드셋 기기 경쟁은 AI프로세서 등 반도체 고도화를 비롯한 하드웨어는 물론, 다양하고 진보된 HCI 기술을 진전시킬 것이다. 아이폰 때처럼 첨단 헤드셋이 그 안에서 구현하고 작동할 실용적인 콘텐츠를 확보할 수 있다면 충분히 자생할 수 있을 정도의 컴퓨팅 플랫폼으로 나아갈 수 있다고 본다. 일례로 지금 아이폰 ‘페이스타임’ 같은 화상회의 체제는 향후 ‘비전프로’에선 상대가 가상공간에 실제처럼 나타나고, 눈짓 어조 등으로 실시간 반응하는 보다 역동적이고 생생한 미팅 이벤트로 발전하게 된다. 궁극적으로 쓰지 않을 이유가 없는 것이다. 다만 헤드셋 기기나 콘텐츠 개발이 모종의 ‘전환점(tipping point)’에 이르지는 못했다고 본다. 특정 콘텐츠는 조만간 상용화할 수 있겠지만, 전반적인 컴퓨팅 플랫폼으로 정착하려면 여전히 막대한 투자와 시간이 필요할 것이다.”

■생성형 AI 적용 KT 메타버스 ‘지니버스’ 활성화 프로젝트

생성형 AI기술을 통해 메타버스 공간 내 NPC는 대화 시 감정과 몸짓을 표현할 수 있다.

KT는 지난 3월부터 구글 플레이스토어와 애플 앱스토어를 통해 메타버스 플랫폼 ‘지니버스’를 베타버전으로 서비스하고 있다. 김주호 교수는 KT와 함께 이번에 출시된 애플의 ‘비전프로’ 등 첨단 헤드셋의 기능 진화를 감안해 생성형 AI기술을 활용한 ‘지니버스’ 활성화 프로젝트를 추진 중이다.

KT 활성화 방안의 골자는 생성형 AI기술을 활용해 현실공간을 메타버스 공간에 쉽게 재현하는 ‘디지털 트윈’이다. 그중 하나인 ‘AI 홈트윈’의 경우 이용자가 실제 아파트 주소를 입력하면 지니버스에 현실공간의 도면을 바탕으로 한 ‘지니홈’이 생성된다. 생성된 지니홈에서 사용자는 1,000여 개의 아이템을 활용해 자신의 개성에 맞는 공간으로 인테리어 할 수 있다. 사용자가 콘텐츠를 직접 만들고 소비하게 하려는 시도 중의 하나인 셈이다.

올해 하반기엔 지니버스 내의 NPC들을 생성형 AI기술을 활용해 개성을 갖춘 응대자이자 튜터(안내자)로 활성화할 계획이다. 이미 등장한 챗봇들처럼 사용자의 음성, 또는 텍스트 대화에 응해 일상적 대화는 물론, 메타버스 콘텐츠 안내 등을 맡게 된다. 단순한 대화뿐만 아니다. AI NPC는 딥러닝 과정을 통해 대화 내용에 따라 감정을 담아 반응(사진)할 수 있는 수준까지 진화할 수 있도록 개발될 예정이다.

장인철 수석논설위원 icjang@hankookilbo.com