[인물 360°] 알함브라 궁전의 증강현실, 반세기전 고안해 낸 과학자

 가상현실(VR)ㆍ증강현실(AR)의 아버지 이반 서덜랜드 

tvN 드라마 ‘알함브라 궁전의 추억’ 중 한 장면. tvN 제공

여행객의 발길이 끊이지 않는 유적도시 그라나다, 고색창연한 광장 위로 500년 전 멸망한 왕국의 전사들이 쏟아져 나온다. 사방에서 날아드는 검과 화살은 거리를 오가는 수 많은 사람들 중 오직 단 ‘한 사람’만을 향한다. 넘어지고, 뒹굴고, 찔리고, 쓰러지며 이들과 맞선 피의 사투를 벌이는 것도 오직 ‘한 사람’. AR 게임 ‘알함브라 궁전의 추억’에 접속한 주인공이다. 지난 1일 첫 방영 이후 꾸준히 높은 시청률을 이어가고 있는 tvN 드라마 ‘알함브라 궁전의 추억’은 한국 콘텐츠에선 처음으로 AR(증강현실) 게임을 주소재로 다루며 드라마 전반에 AR 그래픽을 접목시켰다. 극 중 주인공이 ‘스마트 렌즈’를 착용하고 게임에 로그인하는 순간, 광장을 지키던 동상은 대검을 든 장군이 되어 살아 움직이고 골동품 가게는 아이템 상점으로 변신한다.

여행 따위는 안중에도 없이, 오로지 ‘게임’에만 매료돼 버린 이 드라마 주인공의 모습에선 어딘가 기시감이 느껴진다. 2년 전 여름, ‘만땅’ 충전된 보조배터리들을 전투식량 마냥 두둑이 챙겨 속초행 버스에 몸을 실어 본 적 있는 이들이라면 아마 기억할 것이다. 조용한 바닷가 마을을 한바탕 뒤집어 놓았던 모바일용 증강현실(AR) 게임 ‘포켓몬GO’의 뜨거웠던 몰입을 말이다. 당시 속초를 찾았던 이들의 목적은 오로지 하나, ‘포켓몬GO’를 플레이하기 위함이었다.

드라마 속 AR 게임 세계에선 ‘실제로 존재하는 공간’ 위에 가상 공간의 이미지가 씌워진다. 사진 속 공간은 게임 세계 밖에선 그저 평범한 카페지만, 게임 세계 안에선 유저들이 쉼터가 된다. tvN 제공

드라마 ‘알함브라 궁전의 추억’을 집필한 송재정 작가가 출발한 지점도 바로 거기였다. 송 작가는 드라마 준비과정에 대해 언급하며 “몇 년 전, 대한민국을 뜨겁게 휩쓴 AR 게임 열풍을 지켜보면서 이를 소재로 한 작품을 써야겠다는 생각을 했다”고 밝혔다. 포켓몬GO의 전세계적 열풍은 신드롬에 가까운 일시적 현상이긴 했지만, ‘증강 현실 기술’(Augumented Reality, 현실 세계의 이미지나 배경에 가상의 이미지를 추가하여 보여주는 발전된 가상현실 기술)이 가진 폭발적 잠재력을 톡톡히 보여주었다. 그래서 드라마 속 대사는 사뭇 의미심장하다. “이제 전세계인들은, 알함브라 궁전을 보기 위해서가 아니라, ‘다른 걸’ 하기 위해 이곳 그라나다를 찾을 겁니다.” 피서를 즐기기 위해서가 아니라 ‘포켓몬GO’를 하기 위해 너도나도 속초를 찾았던 2016년 여름을 떠올려본다면, 드라마 속 장면 ‘예견된 미래’다.

2016년 7월 출시와 동시에 전세계적인 인기를 끌었던 증강현실(AR)게임 ‘포켓몬GO’. 2016년 7월, 속초를 찾았던 이들은 휴대폰 화면만을 뚫어져라 쫓았다. 허기짐을 달래려 들어간 편의점 한 구석에서도, 길을 건너기 위해 멈춰 선 횡단보도 저 건너편에서도, 해변 한복판에서도, 막다른 골목에서도 포켓몬들은 시도 때도 없이 출몰했다. 사람들은 열광했다. ‘그 시절 우리가 사랑했던 포켓몬들’이 바로 지금, 자신의 눈 앞에서 살아 움직이고 있었으니까. 포켓몬GO 공식 트레일러 캡처

증강현실(AR)은 모든 것이 디지털로 연결된 이 시대에도 아직은 낯선 기술이지만, 이미 50년 전에 싹튼 아이디어다. 1968년, 사용자의 움직임과 시선의 동선을 감지할 수 있는 ‘거대 헬멧’을 발명해 낸 괴짜 과학자가 있었으니, 그의 이름은 ‘이반 서덜랜드’(Ivan Edward Sutherland, 1938~)다. 가상현실(VR)ㆍ증강현실(AR)의 아버지로 불리는 서덜랜드는 당시 개발했던 이 ‘거대 헬멧’을 이용해 사용자가 바라보고 있는 연구실 풍경 위로 직육면체 형태로 ‘최초의 AR 이미지’를 띄워냈다. 시대의 상식을 초월한 기술이었던 탓에 당대엔 별다른 주목을 받지 못했지만, 그가 발명한 이 ‘거대 헬멧’을 원형으로 삼아 오늘날 가장 대표적인 VR 디스플레이 기기가 된 ‘HMD’(Head-Mounted Display, 머리에 쓰는 형태의 투구형 디스플레이)가 탄생했다. 이반 서덜랜드는 어떻게 반세기를 훌쩍 뛰어넘는 ‘가상현실’과 ‘증강 현실’의 아이디어를 고안해낼 수 있었을까.

VRㆍAR의 아버지로 불리는 ‘이반 서덜랜드’(오른쪽). 그는 초기 컴퓨터 그래픽 기술의 새로운 패러다임을 제시한 인물이기도 하다. 왼쪽은 마이크로소프트사에서 개발한 AR 디스플레이 기기 홀로렌즈. 마이크로소프트 제공ㆍ위키피디아 자료사진

 ◇화면을 캔버스로 바꾼 컴퓨터 천재 

1938년 미 중부 네브래스카 주에서 태어난 서덜랜드는 떡잎부터 ‘공학 천재’였다. 그가 청소년기를 보낸 1950년대는 가정은 물론 기관에서조차 ‘컴퓨터’란 것을 찾아보기 힘든 시절이었지만, 고등학생 서덜랜드는 당시로선 거의 유일했던 개인용 컴퓨터 모델 ‘SIMON’을 구하는 데 성공한다. 종이테이프에 펀치로 구멍을 내는 식의 초창기 프로그래밍 방법을 홀로 깨우친 그는 카네기 공과대학(現 카네기-멜론대) 전자공학과에 최연소로 입학한다. 당시 이 대학 학부에서조차 프로그래밍 경험자를 찾기 힘들 정도였다고 하니, 그가 얼마나 컴퓨터에 미쳐 있었는지를 짐작할 수 있다. 서덜랜드는 스무 살을 갓 넘긴 1959년에 이미 학사를 마쳤고, 1년 만에 캘리포니아 공과대학(칼텍)에서 석사를 수료했다. 그리고 1963년 매사추세츠 공과대학(MIT)에서 박사 과정을 밟게 된다.

컴퓨터 화면을 전방위로 누비는 화살표 ‘마우스 포인터’가 갑자기 사라져 버렸을 때의 당혹감을, 한창 가정용 컴퓨터가 보급될 당시를 기억하는 사람이라면 경험해봤을 것이다. 마우스 포인터가 사라진 채, 화면과 자판만 남아버린 컴퓨터. 그것이 바로 초창기 컴퓨터의 모습이었다. 1960년대 컴퓨터로 모니터에 표시할 수 있는 내용은 문자 몇 개가 전부였다. 도형은커녕 선을 그리는 것조차 불가능했다. 박사 서덜랜드는 고민에 사로잡혔다. ‘문자 이외에 사용자가 원하는 것을 모니터에 즉시 나타나게 할 수는 없을까?’ 그렇게 그의 손에서 탄생한 것이 컴퓨터 그래픽 역사의 출발점이 된 ‘스케치패드(Sketchpad)’였다.

1960년대 중반 매사추세츠 공대에서 박사과정을 밟고 있던 이반 서덜랜드가 발명한 ‘스케치패드’. 유튜브 캡처

스케치패드는 사용자가 직접 펜을 들고 컴퓨터 화면 위에 간단한 형태의 그림을 그려낼 수 있게 만든 그래픽 입력장치였다. 사실 스케치패드가 구현할 수 있는 ‘그래픽’이라고 해 봤자 점을 찍거나 움직이고, 곡선과 직선을 만들고, 선으로 만든 도형을 움직이거나 크기를 조절할 수 있는 정도였지만, 서덜랜드의 발명이 가져온 충격은 대단했다. 오직 자판으로만 화면을 조작할 수 있었던 초창기 휴대폰이 손가락으로 화면을 직접 움직일 수 있는 ‘터치 스크린’ 형태로 진화했을 때, 사용자들이 느꼈던 충격과 비슷했을 것이다. ‘스케치패드’는 자판이라는 감옥에서 사용자들을 해방시킨 것이었다. 오직 앞뒤ㆍ위아래로만 움직일 수 있었던 자판 환경에 벗어난 사용자들은 화면 위에서 사선으로도 곡선으로도 자유롭게 움직일 수 있었다. 스케치패드의 발상은 그 자체로 후대 기술의 중요한 모티프가 됐다. 미국인 발명가 더글러스 엥겔바트(Douglas C. Engelbart, 1952~2013)는 1970년 서덜랜드의 스케치패드에서 영감을 얻어 ‘디스플레이 시스템을 위한 X-Y 위치 표시기’란 새로운 발명품을 선보인다. 이것이 바로 세기의 발명품, 마우스다.

하버드대 교수 재직 시절 이반 서덜랜드가 발명한 HMD(Head-Mounted Display). 위키피디아 자료사진

 ◇거대 헬멧, 이게 가상현실의 시초라고? 

매사추세츠 공대에서 박사 과정을 마치고 1966년 하버드대 교수로 부임한 서덜랜드는 스케치패드의 성과에 안주하지 않고, 또 다른 도전과제를 찾아 나선다. 교수 부임 직전 발표한 논문 ‘궁극의 디스플레이 (The Ultimate Display)’에서 그는 가상현실에 대한 향후 연구 방향을 예견했다. 2년 후인 1968년, 그는 “투구형 3차원 디스플레이(A Head-mounted Three Dimensional Display)”라는 논문을 통해 그야말로 ‘요지경’ 같은 발명품을 내놓는데, 이것이 최근까지도 끊임없이 진화하고 있는 VRㆍAR 디스플레이 기기 ‘HMD(Head-Mounted Display)다.

HMD는 말 그대로 ‘투구 모양’의 디스플레이 기기로 헬멧 안쪽 사용자의 두 눈 바로 앞에 화면을 장착해 사용자의 머리 움직임에 따라 그가 보는 장면을 변화시켜 준다. 쉽게 말해 사용자가 고개를 돌리면 눈 앞에 보이는 그래픽 화면도 이에 따라 반응해 움직이는 원리다. 화면이 사용자의 눈 바로 앞을 마치 ‘렌즈’처럼 가로막고 있기 때문에 헬멧을 쓴 사용자는 ‘화면’을 시청하고 있다기 보단, 사람의 ‘시야’ 속에 들어와 있단 느낌을 받게 된다. 보여지는 화면과 보는 사람 사이에 발생하는 공간을 없애 ‘보는 자’와 ‘행위자’, ‘관객’과 ‘카메라’를 하나로 합쳐버린다는 발상이었다.

이론이야 완벽했지만, 실제 시뮬레이션 환경에선 한계가 명확했다. 최초의 HMD는 가볍게 휴대할 수 있는 오늘날의 웨어러블 HMD와는 사뭇 다른 모습이었다. 머리의 움직임을 포착하는 추적센서가 너무 크고 무거웠던 나머지, 완성된 헬멧은 천장에 매달지 않고는 도저히 사람의 힘으로 머리에 쓸 수 없는 형태가 됐다. 오죽하면 ‘다모클레스의 검(The Sword of Damocles)’이라는 별명이 붙었을 정도였을까. 그리스 신화 속 술의 신 디오니소스가 한 오라기의 말총에 칼을 대롱대롱 매달고 바로 그 아래에 다모클레스를 앉게 한 일화에서 유래한 것으로 ‘언제 닥칠지 모르는 위험’을 뜻하는 말이었다. 이 무시무시한 별명이 결코 과장이 아니었던 게, 자칫 천장에 고정돼있는 이 헬멧이 떨어지기라도 한다면 사람이 그 아래 깔려 죽을 수 있을 정도의 엄청난 무게였다고 한다. 추적센서는 무겁기만 한 게 아니라 성능도 형편없었다. 반응 속도가 너무 느려 도무지 몰입감이 들지 않았던 것이다. 컴퓨터 그래픽 기술 또한 이제 막 발전하고 있는 단계였기 때문에 몇 개의 선으로 이뤄진 입체도형을 조악하게 띄우는 수준에서 만족해야 했다.

최초의 HMD에 탑재된 디스플레이는 반투명 렌즈로 만들어졌다. 이미지가 반투명 렌즈에 투사됐기 때문에 사물들이 실제 공간 위를 떠다니는 듯한 환각을 불러일으켰다. ‘헤드 트래킹’을 구현했다는 점에선 VR의 시작점으로 여겨지지만, ‘시스루(See through)’ 방식의 그래픽을 구사했다는 점에선 AR의 초기 사례로도 언급된다. 위 사진을 보면, 연구실 배경 위에 직육면체의 그래픽이 겹쳐져있다. 유튜브 캡처

 ◇자판, 모니터에서 해방… 결국 미래의 응답을 받다 

그럼에도 불구하고 서덜랜드가 개발한 최초의 HMD는 기존의 판을 뒤엎고 새로운 차원을 연 획기적 아이디어로 평가받았다. 일단 HMD는 인류 최초의 ‘웨어러블 디바이스(Wearable Device)’였다. 사용자의 몸 위에 컴퓨터를 입혀 인간의 감각을 보다 직접적으로 자극하는 사용 환경을 열었다. ‘궁극의 디스플레이’가 2차원의 화면을 넘어 3차원의 시각 경험을 가능케 할 거란 그의 예언은 수십 년 후 적중했다. 스케치패드를 개발해 사용자를 ‘자판’에서 해방시킨 그는, HMD를 통해 사용자들을 ‘평면의 모니터’에서 해방시킨 것이었다. 이 기술은 1969년 미 항공우주국(NASA)에 처음으로 도입돼 아폴로 우주선에 탑승할 승무원 훈련에 활용됐다. 1988년엔 컴퓨터 그래픽 분야의 패러다임을 바꾼 공로를 인정받아 ‘공학계의 노벨상’이라고 불리는 튜링상을 수상하기도 했다.

가상현실 세계를 소재로 한 영화 ‘레디 플레이어 원’의 한 장면. ImDB 자료사진

1980년대 말~1990년대 초에 이르러 가상현실 관련 기술들이 본격적으로 개발되기 시작했다. 오늘날 VRㆍAR 기술은 우울증 치료, 난민 간접 체험 등 다양한 분야에서 널리 활용되고 있다. HMD 장비를 갖추고 VR 게임 콘텐츠를 제공하는 일명 ‘VR 카페들’이 우후죽순 생겨나면서, 관련 콘텐츠 소비도 대중화되고 있는 추세다. 날이 갈수록 고도화되는 웨어러블 HMD는 시선의 움직임뿐 아니라 소리의 움직임까지 포착해낼 수 있는 섬세한 센서까지 갖추게 됐다. 3D 컴퓨터 그래픽 기술이야 이제는 실사와 분간이 안 될 정도다. 이런 기술과 콘텐츠가 한 데 만난다면 어떻게 될까. 영화 ‘레디 플레이어 원’(2018, 스티븐 스필버그 감독)에서 그려진 것처럼, 가상현실이 현실세계와 비슷한 존재감을 갖게 될 날이 얼마 남지 않은 듯하다.

HMD 발명 이후에도 서덜랜드는 컴퓨터 공학 분야 전반을 종횡무진 누비며 활약해 왔다. 동료 교수와 공동으로 컴퓨터 시뮬레이션 회사를 설립하는가 하면, (이 회사의 직원 중 하나였던 존 워녹은 오늘날 최고의 그래픽 프로그램 개발사인 어도비(Adobe)를 만들었다) 돌연 로봇 산업에 뛰어들어 다리가 6개씩 달린 파격적인 로봇을 선보이면서 또 한 번 세상을 놀라게 했다. “나는 늘 나의 흥미를 끄는 프로젝트를 선택할 뿐입니다. 골몰해왔던 문제에 핵심적인 돌파구를 마련했다면, 그 이후는 후속 연구자들의 몫이라고 생각합니다.” 올해로 여든을 맞이한 이 괴짜 과학자는 여전히 학계를 떠나지 않고 연구를 계속해나가고 있다.

박지윤 기자 luce_jyun@hankookilbo.com