가상현실, 즉 VR은 사람들의 상상이 만들어낸 무릉도원 같은 공간이 아니다. 실은 철저하게 컴퓨터를 통해 만들어진 통제된 공간이다. 그런 공간을 눈앞에 펼쳐놓을 수 있는 그래픽 혹은 촬영기술, 그리고 이를 뒷받침할 컴퓨터의 성능이 점점 발달하면서 이제 사람들은 고글 형태의 헤드 마운트 디스플레이(HMD)만 쓰면 VR 속으로 쉽게 빠져들 수 있게 됐다. 이제껏 느껴보지 못했던 다양한 시각적 충격 효과를 언제 어디서나 느낄 수 있게 된 것이다. 현실을 현실답게 그리는 것이 아니라 현실 그 자체를 진짜처럼 재현하는 데 골몰하는 VR은 내가 어딘가에 실제로 존재한다고 여겨지는 ‘공간성’과 어떤 사건과 공간에 직접 개입해서 행동하고 사고할 수 있다는 ‘상호작용’, 이 모든 걸 실감나게 느낄 수 있는 ‘몰입성’ 등의 특징을 앞세워 사람들에게 새로운 차원의 미디어를 제공한다.
에디슨의 키네토스코프로부터…
이처럼 어딘가에 빠져들고 몰입하고 싶어 하는 사람들의 심리를 반영한 미디어의 기원은 18세기까지 거슬러 올라간다. 바로 그리스어로 ‘모든 게 보인다’는 뜻의 전경화인 ‘파노라마’가 그것이다. 영국의 미술가 로버트 바커에 의해 시작된 이 미술 기법은 배경을 둥글게 만들고 원근법을 이용하여 원경(遠景)을 그린 다음, 전경(前景)에는 사람 모형이나 나무 등 입체 조형물을 배치하고 조명을 비춘 뒤 도시의 모습이나 전쟁 장면, 역사적 사건 현장 등을 재현하면서 현실감을 자아내려고 시도한 것이다. 파노라마는 19세기 중반에 대중적인 인기를 얻은 것으로 알려져 있다. 여기에서 파생되어 사람의 시야각, 즉 현실 그대로를 평면에 재현하고자 했던 욕망은 이후 파노마라 사진의 형태로 이어지기도 한다.
이같은 경험의 욕망을 이어받은 또 다른 기술이 바로 영화 매체다. 처음 영화가 탄생했던 프랑스 파리 시내의 어느 카페 안에서 사람들은 VR을 처음 접하는 현대인과 마찬가지로 영화라는 매체를 경험했다. 눈앞으로 달려드는 기차의 이미지는 입체감을 느끼게 해주는 3D의 발전을 촉발시키기도 했다. 이 모든 시각적 충격은 착각에서 비롯됐다. 그래서 VR의 뿌리는 전통적인 영화 제작 방식 가운데 지금의 영사기술(시네마토크래피)이 아니라 양쪽 눈에 도달하는 시각 정보 차이를 이용해 입체감을 느낄 수 있게 해주는 입체경(스테레오스코피) 기술에서 찾을 수 있다.
스테레오그래피는 1800년대 중반부터 양쪽 눈에 들어오는 이미지의 색상 차이, 시간 차이 등을 이용해서 그럴듯하게 입체에 가까운 이미지를 보여주는 기술이었다. 이 기술이 점점 발전해 지금의 3D 기술에 이른 것이다. 당시 런던만국박람회 등을 중심으로 다양한 입체경 모양의 소형 카메라가 개발됐는데 그중에서 눈에 띄는 개발품은 20여명이 둥그런 원통 바깥에 둘러앉아 각자 자리 앞에 뚫려 있는 구멍을 통해서 입체적인 이미지를 동시에 볼 수 있는 카이저 파노라마라는 기계였다. 지금으로 비유하면 일종의 가상 스크린 형태의 도구였다. VR의 단체 버전 HMD 같다는 생각이 들지 않는가? 그런데 VR은 여기에 한 가지 개념을 더 얹는다. 그것은 바로 개인이 혼자 느낄 수 있는 경험이다. 그런데 이 개념이 이미 그 당시에 존재했다. 개인의 영화와 가상의 현실을 접목하려 했던 에디슨의 1인용 영사기, 키네토스코프가 그것이다.
이처럼 무언가를 들여다보고 훔쳐보고 재현해내고 싶어 했던 사람들의 끊임없는 욕망은 이미지를 움직이게 하고 또 그 이미지에 깊이감을 조성하면서 현실을 그대로 반영하고자 하는 데 착실하게 쓰였다. 뤼미에르 형제, 조르주 멜리에스 등 초창기 영화의 조상들이 그것을 조금씩 실현해나갔다. 이 무렵에 처음으로 가상현실이란 용어가 등장한다. 이것 역시 극장과 관계가 있다. 프랑스의 극작가, 시인, 배우이자 연출가인 앙토냉 아르토가 1932년에 발표한 저서 <잔혹연극론>에서 그는 사람의 오감을 자극하는 극장의 어두컴컴한 모습을 보며 ‘가상의 현실’ 같다고 묘사했다. 그 이후 여러 문학작품을 통해 VR, 즉 지금의 가상현실의 실체가 조금씩 개념을 잡아나가기 시작했다.
지금의 VR을 기계로 체험할 수 있었던 최초의 시도는 1962년 할리우드의 촬영기사였던 모턴 하일리그에 의해 개발된 센소라마 시뮬레이터를 통해서였다. 줄여서 센소라마라고도 불렀던 이 기계의 외향은 엄청 거대했다. 센소라마의 가장 큰 특징은 사람의 오감이 동시에 자극될 때 발생하는 상호작용을 일컫는 ‘다중양상 상호작용’을 간단한 조작만으로 쉽게 경험할 수 있게 해주는 1인용 게임기라는 점이다. 이 게임기는 사용자가 뉴욕 브루클린 거리를 오토바이를 타고 질주하는 기분을 사실 그대로 재현해주는 기능을 갖고 있었다. 지금의 4DX 극장을 상상하면 되겠다. 재미있게도 하일리그는 이 기계를 발명하면서 이것이 “미래의 영화”가 되길 바랐다. 하지만 센소라마는 아쉽게도 수익을 내지 못했고 엄청난 제작비를 감당하지 못한 채 사양길로 접어들었다.
이후 등장한 사람은 1968년 지금의 HMD 시스템을 처음 개발한 유타대학의 이반 서덜런드 교수다. 그는 당시 자신의 제자였던 밥 스프롤과 함께 천장에 매달린 채 머리를 감쌀 수 있는 헬멧 형태의 HMD를 개발했는데 앞선 센소라마가 VR의 속성을 처음 구체화한 사례였다면 컴퓨터그래픽 개발자였던 이반 서덜런드의 HMD는 지금의 모바일 기반 컴퓨터그래픽 기술을 활용한 디스플레이를 처음으로 구체화한 사례다. 하지만 이 HMD는 당시 기술적인 한계 때문에 너무 무거워 천장에 매달아 사용해야만 하는 제약이 있었다. 이 장치로 구현할 수 있었던 화면은 허공에 선을 그리거나 도형이 몇개 떠다니는 정도였다고 전해진다. 여기서 또 재미있는 점은 이반 서덜런드가 HMD를 개발하기 전 학창 시절에 썼던 <최상의 디스플레이>라는 에세이에서 “물질을 제어할 수 있는 컴퓨터의 방이 최상의 디스플레이가 될 것”이라고 말했다는 것이다. 그는 “그 안에서 사람은 디스플레이된 의자에 앉을 수도 있어서 프로그램된 디스플레이는 앨리스가 걸어갔던 이상한 나라와 같다”면서 지금의 가상세계의 개념을 정확히 내다봤다. 당시에는 미디어 비평가로 활동하던 마셜 매클루언이 “인간의 망막이 곧 스크린이자 소실점이다”라고 주장하던 시기와도 겹친다. 마셜 매클루언의 주장처럼 결국 “모든 미디어는 인간 감각의 확장”이라는 측면에서 이반 서덜런드가 구현해냈던 HMD는 사람의 능력을 확장하는 새로운 가상세계로 향하는 최초의 출입구였던 것이다. 지금처럼 개인 미디어의 트렌드가 점점 간소화되어가고 사적으로 변해가는 경향 역시 이때부터 시작됐다고 봐도 무방하다.
이렇게 오랫동안 가상세계를 재현해내고자 하는 시도는 드디어 실사 영상과의 결합을 꾀하게 된다. 1977년, MIT에서 개발한 아스펜 무비 앱은 일종의 도로 내비게이션 프로그램을 연상시키는 형태의 프로그램이었다. 이 영상은 콜로라도의 아스펜이란 도시로 가상 여행을 떠나게 해줬다. 하지만 역시 상용화되기엔 무리가 많았다. 뒤이어 등장한 유의미한 제품이 바로 1995년에 유명 게임회사 닌텐도에서 출시했던 ‘버추얼 보이’라는 게임기다. 이 게임기는 최근 다양한 업체에서 앞다퉈 출시를 발표하고 있는 HMD에 가장 가깝게 구현했었다. 닌텐도의 오래된 흑역사로도 잘 알려진 이 제품은 휴대용 게임기로 개발됐지만 일단 무게가 너무 무거웠다. 게다가 화면은 온통 붉은색 계열 LED로만 이뤄져 있어 눈의 피로도가 너무 높다는 심각한 결점 때문에 출시 1년여 만에 생산이 중단되고 말았다.
이때까지만 해도 VR은 끊임없이 개발되고는 있지만 사실상 대중화되기는 어려운 기술이었다. 하지만 2000년대 이후 가상현실 환경을 만들어줄 수 있는 그래픽 기술과 컴퓨터 사양 등이 점점 발달하게 되면서 무리 없이 VR을 개발할 수 있는 환경이 조성됐다. 2012년 부모 집 차고에서 가장 현실적인 VR 기기를 상상했던 십대 소년 팔머 러키가 등장하고 그의 천진난만한 프로젝트를 게임 산업의 귀재인 존 카맥이라는 거물이 후원하게 되면서 본격적으로 지금의 VR 산업 전선이 꾸려지게 된다. 이들이 차린 회사 오큘러스는 이후 자체 디스플레이 기술을 보유하고 있던 삼성과 손을 잡고 성능 좋은 HMD 개발에 주력하기 시작했다. 이미 활성화되어 있던 모바일 시장을 공략하는 삼성과 PC 기반의 고사양 컴퓨팅 환경을 공략하는 오큘러스의 전략은 결국 페이스북의 마크 저커버그를 움직였고 그의 한마디 때문에 전세계에는 전에 없던 새로운 시장이 형성되어버렸다. 그래서 많은 사람들은 VR이 일시적인 유행에 그칠 것이라고 말한다. 시장에 거품이 너무 많다는 우려의 목소리인데 사실 기술의 역사를 살펴보면 결코 지금의 결과가 우연이 아니라는 것을 알게 된다.
새로운 경험이 찾아온다
VR의 시장성이 얼마나 뛰어난지를 길게 설명할 필요는 없다. 앞으로 VR이 어떤 분야와 긴밀하게 손잡고 사업을 확장해나갈 것인지를 지켜보는 재미가 더욱 클 것이다. 이미 교육, 의료, 군수산업 등에서는 VR의 가능성을 내다보고 있다. 그렇다면 영화계는 어떨까? 대표적으로 가시적인 결과물을 만들어낸 미국의 대표적인 VR 벤처기업인 전트는 월트디즈니와 차이나미디어캐피털(CMC) 등 영화 관련 투자자들로부터 700억원가량 투자를 유치했다. 전트는 VR 영상 제작 및 카메라 소프트웨어 등을 제작하는 회사인데 이곳은 영화 프로덕션 뉴딜 스튜디오와 공동으로 제2차 세계대전을 무대로 한 영화<미션>(The Mission)을 제작했다. 미군 특수부대가 러시아 적진에 침투했다가 독일군에 포로로 끌려가는 이야기의 영화인데 다양한 전투 장면을 기존 영화에서는 볼 수 없었던 앵글로 담았다. 관객은 적진에서 벌어지는 전투를 사방에서 모두 둘러볼 수 있고 뒤를 돌아보면 쫓아오는 독일군의 모습도 확인할 수 있다. 즉, 실제 전쟁 상황 한가운데에 관객을 몰아넣은 듯한 효과를 얻기 위한 영화를 제작한 것이다. 이들은 디지털 도메인, 루카스 필름 등과도 긴밀하게 협업하고 있는 중이다.
영화와 현실의 경계가 점점 모호해지는 가운데 VR이 궁극적으로 추구하고자 하는 방향은 현실의 윤택함일까? 아니면 영화 <매트릭스>의 현실세계에서처럼 가상세계에서의 행복일까. 선뜻 답을 내리긴 어렵지만 마지막으로 VR이 현실세계에서 특별하게 쓰일 한 가지 사례를 언급해보자. 최근 한 스튜디오에서 만들어 선보인 ‘젠더 스와프’ 프로젝트는 HMD를 쓰고 이들이 만든 VR 영상을 보면 남녀가 시점을 바꿔서 자신의 신체를 보는 장면을 보게 된다. 내가 남자라면 여성이 되어 자신의 신체를 내려다보게 되는 것이다. 인간 경험의 한계를 넘어서고자 하는 사람들의 시도는 결국 그것이 인간의 삶을 더 나아지게 해준다는 믿음 때문일 것이다. 그리고 그 믿음이 미술, 영화, 카메라, VR 등의 분야에서 수없이 많은 시행착오를 거치면서 기어이 완성도 높은 가상현실을 만들어낸 것일 테다. 처음으로 돌아가, 영화가 처음 탄생했던 파리의 어둑한 카페에 앉아 있던 사람들이 맞이했을 순간을 다시 떠올려보자. 태어나 처음 경험했던 그 순간의 기억을 더욱 사실적으로 담아내기 위해 영화가 계속 진화해왔던 것처럼, 이제 영화는 또 새로운 경험을 담기 위해 VR과 새로운 만남을 준비하고 있다.
증강휴먼과 증강현실
인간이 도구의 도움을 받아 한계를 극복한 진화의 끝에는 무엇이 기다리고 있을까. 혹시 초능력자가 되어 있을까? 증강휴먼은 바로 이러한 인간 한계의 끝을 상상한다. 증강현실(Augmented Reality)은 가상현실과 형제 같은 개념이다. 즉, 가상현실에 현장성과 즉시성, 상호작용, 지능과 상상력이 결합된 현실 속의 가상세계를 뜻한다. 대표적인 예시로 <킹스맨: 시크릿 에이전트>의 회의 장면을 들 수 있다. 주인공 해리가 안경을 쓰면 그 자리에 없는 요원들이 홀로그램 같은 형상을 한 채로 자리에 앉아 있다. 내가 또는 어떤 사물이 진짜로 거기 혹은 그때 없더라도 진짜 거기 혹은 그때 있을 수 있게 해주는 기술이 바로 증강현실이며, 그러한 가상현실과 실제 현실 사이에서 자신의 감각적 능력을 극대화한 존재가 바로 증강휴먼이다. 이러한 기술은 실생활은 물론 교육과 훈련, 국가간 비즈니스나 외교에도 유용하게 쓰일 수 있다. 현재는 증강현실의 속성이 가상현실을 원하는 위치에서 즐길 수 있게 만드는 것이기에 가상현실보다 더 시장 가능성이 크다고 전망하는 추세다. 결국 VR은 스마트폰을 중심으로 한 시장이기 때문에 신규 하드웨어 시장은 크지 않다. AR 하드웨어 시장이 열리게 되면 새로운 판이 크게 또 한번 흔들릴 것이라 예상하는 이유가 바로 그 때문이다.
