지난 2월 오픈AI에서 공개한 동영상 생성 인공지능 소라(Sora)는 영화산업에 충격을 몰고 왔다. ‘텍스트 투 비디오’ 형식의 AI가 지닌 한계를 극복하고 자연스러운 카메라 움직임을 구현했기 때문이다. 지난해에 이어 올해도 부천아트벙커B39에서 개최되는 전시 <비욘드 리얼리티>는 인공지능(AI)과 확장현실(XR)간의 상호작용을 살펴보며 담론의 장을 마련했다. 9년째 <비욘드 리얼리티>의 기획을 맡은 김종민 XR 큐레이터는 “AI의 도입이 마치 쓰나미와 같다”라고 표현했다. 10년 넘게 서서히 발전한 XR과 달리 AI는 빠른 속도로 산업에 접근하기 때문이다. 전시 개최를 앞두고 만난 김종민 XR 큐레이터는 기존 영화산업의 유산과 앞으로 도래할 새로운 패러다임 사이의 조화를 끊임없이 모색하고 있었다.
- 영화와 달리 XR 콘텐츠는 기술 발전 속도에 맞춰 끊임없이 양식이 변화한다. XR 콘텐츠의 큐레이션은 기존 영화제와는 접근법이 다를 것 같다.
=기준을 세우는 게 어렵다. 매년 어떤 요소에 집중할지 해외 XR 큐레이터들 그리고 산업 관계자들과 치열하게 논의한다. 영화는 표현 양식, 주제 의식, 연기 등 정형화되었지만 XR 콘텐츠는 아직 변수가 많다. 내년에는 어떤 기획을 할지 계획을 세워도 막상 제대로 실행된 적은 한번도 없었다. 그만큼 도전적인 분야다.
- 올해의 <비욘드 리얼리티>는 어떤 주제에 초점을 맞췄나.
=영화는 스크린을 기반으로 시간을 펼쳐 숏을 배치한다면 XR 콘텐츠는 공간 안에 대상을 두고 관객들과 상호작용을 한다. 건축, 공연과 형식적으로 유사하다. XR 콘텐츠의 공간성은 콘텐츠 내부를 넘어 전시 공간까지 확장되어 다뤄야 한다. 이번 <비욘드 리얼리티>는 가상과 실재, 즉 화면 내부와 외부의 공간을 하나로 아울러 충분한 공간 경험을 제공하는 데 초점을 맞추고 있다. 더불어 AI 콘퍼런스가 개최되면서 AI를 활용한 XR 작품들을 함께 소개하려 한다.
- 이번 XR 콘텐츠의 선정 기준을 듣고 싶다.
=올해 선정 기준은 ‘새로운 관점을 제시해줄 수 있는가?’다. 과거에는 기술적인 한계로 완성도가 떨어지는 작품들이 많았다. 지금은 기술 발전으로 작품들의 완성도는 보장되는 편이다. 따라서 만듦새보다는 작품에 새로운 관점들이 녹아져 있거나 논의를 촉발할 수 있는 작품으로 선정했다.
- 큐레이터로서 기술 발전이 XR 콘텐츠에 얼마나 영향을 미친다고 생각하는가.
=매년 기술이 극적인 발전을 거듭하진 않는다. XR 콘텐츠도 코로나19를 기점으로 실험적인 콘텐츠가 줄었다. 보급형 HMD인 메타 퀘스트를 중심으로 생태계가 형성됐기 때문이다. 신체적인 감각과 공간감을 극대화하는 실험보다는 보급형 기기로 구현한 몇 가지 옵션을 활용하는 데 그쳤다. XR 산업에서 떠오르고 있는 다중 경험 콘텐츠들이 활로가 될 수 있다. 이전까지 가상현실(VR)은 개인의 경험에 국한되었다면, 이제는 100명이 넘는 사람들이 하나의 콘텐츠를 동시에 관람할 수 있다. 이는 극장 관람 혹은 공연 관람 경험과 비슷하다. 오프라인 공간에서 집단적 관람 체계로 XR 콘텐츠를 향유한다면 영화와 극장이 스크린 밖으로 나올 수 있는 계기가 될 것이다.
- 그동안 <비욘드 리얼리티>는 XR 콘텐츠에 주력했다. 이번에는 AI 단편 15편을 상영한다. AI 영화라는 새로운 영역을 수용해 상영을 결정한 이유가 궁금하다.
=AI 영화라는 단어는 성립하지 않는다. 포토숍 영화, VFX 영화라는 단어는 없지 않는가. XR이 인터페이스라면 AI는 툴이기 때문이다. 따라서 AI 영화를 독자적인 영역으로 거론하기보다는 스토리가 담긴 영상 콘텐츠 전반에서 논의하려 한다. <비욘드 리얼리티>에서 AI 영화를 상영한 이유는 AI 기술이 촉발한 영화제작 과정의 변화와 영화가 관객 혹은 제작자들과 맺는 관계의 변화를 이야기하기 위함이다. AI는 문명을 담은 거대한 데이터베이스다. 과거에는 영화 한편을 제작하기 위해 수많은 영화 기법을 공부하는 데 시간을 들였다. 또한 영화제작 과정에선 복잡한 소통 단계를 거쳐야 했다. AI의 도입은 학습에 드는 시간을 단축할 것이다. 대신 창작자의 표현 의도를 정확하고 간결하게 소통할 수 있는 능력이 필요하다. 커뮤니케이션 중심의 작업 과정으로 산업이 재편된다면 기존의 영화산업은 어떤 방식으로 조화를 이룰 것인가를 논의해야 한다.
- 3일간 진행되는 AI 필름 메이킹 워크숍이 바로 상영으로 이어진다. 마치 개발 분과의 해커톤이나 음악산업의 송캠프와 유사하다.
=AI가 영화제작 과정에 얽힌 커뮤니케이션의 형태를 바꾼다는 점을 부각하고 싶었다. 유튜브가 도래한 뒤로 영상물은 즉각적인 업로드 뒤에 피드백이 이어지는 구조가 형성됐다. 영화산업도 직선적인 방식이 가능하다는 것을 보이고 싶었다. 당장 좋은 작품이 나올지는 아무도 모른다. 하지만 창작자에겐 이번 시도가 새로운 가능성을 탐구할 기회일 것이다.
- 이번 전시의 두 갈래인 AI 영화와 XR 콘텐츠는 어떤 상호작용을 일으키는가.
=XR산업 관계자들의 최종 지향점은 시뮬레이션 월드다. 영화 <트루먼 쇼>가 구현한 세계와 유사하다. 트루먼은 자신이 보고 있는 세계가 실재라는 감각을 매일 느낀다. 이를 구현하려면 엄청난 속도의 컴퓨팅 파워와 실시간으로 반응하는 NPC가 필요하다. AI의 등장은 연산시간을 단축하고 실시간성에 다가가게 한다. AI 기술이 XR 콘텐츠와 접목되면서 기술적 한계를 보완하기 시작했다. 이번 영화제에 초청된 <기억의 경로>도 생성형 인공지능(Gen AI)을 활용해 고유하게 생성된 가상 화면을 관객들에게 제시한다.
- 관객들에게 추천하고 싶은 작품이 있다면.
=앞서 언급했던 <기억의 경로>는 AI 기술과 XR 콘텐츠간의 접목이 흥미로운 작품이다. <인 더 픽쳐>는 한국콘텐츠진흥원에서 뉴미디어 콘텐츠 제작 워크숍을 진행했을 때 완성된 작품이다. 4개월이라는 짧은 제작 기간을 극복하려 AI 기술을 활용해 미술관의 그림들을 만들었다. <지나가는 이를 위한 노래>는 참신한 형식의 콘텐츠다. 관객들의 움직임을 감지하여 전후 유럽의 도시를 유영하게 만든다. 관객들은 거울 이미지를 마주하거나 군중을 좇으면서 자신을 타자화해 바라보는 경험을 한다. 끝으로 <상상 속 친구>는 자폐를 겪는 아이의 상상으로 들어가 친구가 되는 이야기다. 2019년부터 360도 동영상으로 작업하던 작품인데, 7년이 지나 6DoF의 XR 콘텐츠로 완성됐다. 제작 과정에 기술 발전의 역사가 담겨 있다.
