이번 블로그 포스팅은 Magnopus의 총괄 프로듀서 Daisy Leak, 소프트웨어 엔지니어링 디렉터 David Swift, 공동 창립자 Ben Grossmann이 공동 저술하였습니다. Magnopus는 미국과 영국에 위치한 스튜디오로 170명 이상의 아티스트와 디자이너, 엔지니어가 함께 대규모 XR 경험을 제작, 배포 및 운영하고 있습니다. 

Magnopus에서는 현실 세계와 디지털 세계를 넘나드는 생생한 경험을 통해 사람들을 한 곳으로 모으기 위해 노력하고 있습니다. 지난 3년 동안 Magnopus 기술 스택과 Unity 엔진을 활용해 세계 최대의 지리 공간 메타버스(geospatial Metaverse) 경험을 개발하고 출시했습니다.  

쉽지는 않지만 상당히 매력적인 이번 프로젝트는 약 4년 전, 2020 두바이 엑스포 팀과 함께 이동성, 지속가능성, 기회라는 세 가지 테마로 구성되는 전시관 중 모빌리티 파빌리온(Mobility Pavilion)에서 방문자에게 선보일 경험을 개발하면서 시작되었습니다. 팀과 함께 프로젝트를 진행하는 동안에 Reem Al Hashimi 조직위원장이 선언한 '마음의 연결, 미래의 창조'라는 사명에 큰 감명을 받았습니다.

많은 전시관이 '과거, 현재, 미래'에 대한 내러티브를 내세웠지만, Magnopus는 방문자가 현실 세계에서 디지털 세계로 들어가 두 세계가 하나로 합쳐진 곳에 도달하는 여정을 제안했습니다. 이런 스토리 구성을 통해 아이들이 이동이 제한된 현재 상황을 극복하고, 수천 년 동안 우리의 조상이 그랬던 것처럼 원하는 세상을 만들어 갈 수 있도록 힘을 주었습니다.  

조사 과정에서 엑스포 현장 전체에 이러한 비전을 담은 '알파' 버전을 구축할 수 있을지 궁금했습니다. 그리고 소셜 디지털 트윈의 형태로 실제 현장의 경험을 전 세계 사람들과 공유하고 서로 소통하도록 연결할 수 있을지도 궁금했습니다.

이 프로젝트는 게임을 제작하는 것보다 훨씬 복잡했고, 작업 내내 끊임없이 변하는 상황에 대처할 수 있어야 했습니다. 하지만 엑스포 주최 측의 지원을 받아 이 야심 찬 비전을 밀고 나갈 수 있었습니다. 덕분에 7개국에서 모인 200명이 넘는 엔지니어, 디자이너, 아티스트로 팀을 구성하고 기업 간 네트워크를 구축했습니다. 함께 밤낮으로 일하며 2020 두바이 엑스포의 현장 방문자와 원격 방문자가 공유된 경험 안에서 실시간으로 연결되는 도시 규모의 XR 공간을 제작할 수 있었습니다. 

39개월간의 개발, 6개월간의 라이브 운영, 그리고 전 세계에 닥친 팬데믹을 거친 후, 미래와 연결되는 이번 경험이 정식으로 출시되었습니다. 이제 모바일 앱, 웹, 클라우드 기술뿐만 아니라 현장의 디지털 사이니지를 통해서도 Expo Dubai Xplorer에 액세스할 수 있습니다.

이 경험은 복잡한 상호 호환 기술로 결합한 두 가지 핵심 컴포넌트로 구성됩니다. 하나는 실제 엑스포를 개선하는 콘텐츠의 디지털 레이어이며, 다른 하나는 면적이 4.38km²에 달하는 현장의 디지털 트윈으로, 영감을 주는 경험과 192개국의 전시관을 비롯해 세계 최고의 건축가들이 제작한 200개 이상의 건물로 가득 차 있습니다. 

가상 현실을 사용하여 설계하고, 동시에 개발을 진행했기에 실제 건물을 건축하기 전에 테스트할 수 있었습니다. 

디지털 전시물 

Magnopus는 UAE, 2020 엑스포 테마, 국가 전시관뿐만 아니라 작은 디테일까지, 현장에 실제로 존재하는 모든 것을 초월하는 통찰력 있는 스토리를 선보이기 위해 엄청난 양의 디지털 아트 작품을 현장 전체에 설치했습니다. 다음과 같은 작품이 설치되었습니다.

• 짧은 콘텐츠를 통해 참여할 수 있는 접근성 높은 인터랙티브 3D 씬으로 사용자가 더욱 생생하게 엑스포를 관람할 수 있도록 지원합니다. 예를 들어 폴립이나 해면 등의 디지털 요소를 배치해서 '하무르'와 같은 현지 어종을 발견하고 자신만의 다채로운 산호 군락을 만들 수 있습니다. 이 전시물은 위협 받고 있는 전 세계의 섬세한 산호초 생태계를 보여 주고 개인 후원자를 조성하는 동시에 2025년까지 아라비아 만에서 150만 개의 새로운 산호 군락을 만들겠다는 UAE의 노력도 조명합니다.
• 엑스포 현장의 주요 볼거리와 건물에 연결된 대규모 증강 현실 디스플레이를 통해 방문자에게 놀라움과 즐거움을 선사합니다. 예를 들어 AR Water Dragon은 엑스포 중심부에 있는 압도적인 인공 폭포에서 영감을 받아 제작되었으며, 방문자는 장엄한 위용을 드러내며 비행하는 용을 가까이에서 만날 수 있습니다. 
• 마법 포털은 현실과도 같은 360° 환경으로 사용자를 초대합니다. 사용자는 멀리 떨어진 곳으로 이동하거나 실제 세계의 장소를 잠시 살펴볼 수 있습니다. UAE에는 멋진 명소가 가득합니다. 사용자가 마법 포털을 이용하면 멀리 떨어진 명소에 쉽게 방문할 수 있어 감탄을 자아내는 아름다운 지역 경관을 구경할 수 있습니다. 

디지털 전시물은 굉장한 광경을 제공할 뿐만 아니라 의미 있는 방식으로 엑스포에 참여하도록 사용자를 초대하여 이들이 '변화의 씨앗'을 향해 나아가 실제 세계의 운동에 참여하도록 돕습니다. 사용자는 계속되는 호기심에 보상을 제공받는 동시에 결과적으로 더 나은 세상을 만들 수 있습니다.  

실제 세계와 디지털 세계의 연결 

멀티플레이어 경험은 현장 사용자와 원격 사용자 사이의 실시간 연결을 제공하므로 실제 세계와 디지털 세계를 연결하고 도달률과 참여도를 높일 수 있습니다. 엑스포 현장에 있는 방문자는 집에 있는 친구를 휴대전화의 렌즈를 통해 아바타로 만나, 그룹 생성과 메시지 기능을 사용해 친구와 경험을 공유하고 이야기를 나눌 수 있습니다. 

이런 방식으로 두 방문자가 함께 인터랙티브 디지털 트윈을 둘러볼 수 있습니다. '모두 수집' 기능은 사용자가 넓은 엑스포 현장을 모두 둘러보도록 유도하므로 최대한 많은 콘텐츠와 볼거리를 발견하게 됩니다. 특히 이동 인구가 적은 구역에 수집 요소를 배치하여 게임 루프를 통해 사람들이 '늘 다니는 길을 벗어나' 보상을 받게 했습니다. 수집품은 관련된 것들끼리 세트로 연결되어 있어 다음 수집품을 찾을 단서가 됩니다.

정확한 공간 매핑 

세계 최대 규모의 배치 서비스 중 하나인 Google의 ARCore Persistent Cloud Anchors를 사용하면 수백만 명의 현장 방문자가 실제 위치에 정확하게 맞춰진 증강 현실을 즐길 수 있습니다. 원격 방문자도 Roblox와 같은 인기 모바일 게임과 유사한 인터페이스를 사용하여 현장과 연결된 디지털 트윈을 통해 똑같은 AR 콘텐츠와 경험을 즐길 수 있습니다.

Magnopus의 기술 스택과 클라우드 호스팅 서비스를 기반으로 하므로, 사용자가 장소에 다가가면 애플리케이션의 설치 크기에는 영향을 주지 않고 자동으로 콘텐츠가 사용자의 기기로 스트리밍됩니다. 지리 공간 저작 인터페이스에 더불어 실시간으로 새로운 콘텐츠를 업데이트하고 퍼블리싱하는 글로벌 콘텐츠 전송 네트워크를 통해 크리에이터는 현장에서 방문자의 위치와 관련된 새로운 인터랙티브 AR 경험을 릴리스할 수 있습니다. 

면적 4.38km²에 달하는 엑스포 현장의 소셜 인터랙티브 디지털 트윈 

전 세계 수백 명의 아티스트가 2년이 넘는 시간을 투자하여 제작한 디지털 트윈은 역동적인 조명과 예술 설치 작품, 애니메이션 경험, 멋진 광경 등을 추가하여 더욱 개선되었습니다. 

플랫폼에서 실시간으로 현장에 있는 콘텐츠의 지리적 위치를 파악하므로 디지털 트윈은 건축가의 CAD 또는 BIM 파일과 1:1 비율로 매우 정확하게 구현되었으며, 현재 위치와 거리에 따라 방문자에게 스트리밍되므로 애플리케이션 설치 크기에는 영향을 주지 않습니다. 

맞춤형 아바타 

고급 스타일라이즈드 아바타 디지털화 기술을 사용하여 사용자가 한 장의 사진만 업로드하면 애니메이션 같은 품질의 3D 캐릭터를 만들 수 있습니다. Magnopus가 제작한 솔루션은 머리카락을 포함하여 바로 애니메이션화할 수 있는 맞춤형 3D 헤드 모델을 생성하며, 이를 신체 모델에 부착할 수 있고 700개가 넘는 옵션을 통해 원하는 대로 커스터마이즈할 수 있습니다. 아바타는 온전히 클라우드에서 실행되며, 웹 브라우저나 모바일 디바이스를 통해 액세스할 수 있습니다. 

정확하게 구현한 가상 아바타를 통해 더 매력적이고 맞춤화된 경험을 제공합니다. 동시에 Magnopus가 커스텀 제작한 선택 시스템은 사용자 마찰을 줄여 전체 과정을 매우 간단하게 만듭니다. 

이러한 XR 경험을 만들기 위해 Magnopus 팀은 내부 기술 스택과 강력한 커스텀 솔루션, 그리고 Unity를 활용하여 다음을 비롯한 여러 문제를 해결했습니다.

• 최대한 다양한 모바일 기기를 타겟으로 하는 가볍고 확장 가능한 애플리케이션 제작
• 모든 플랫폼에 일관된 AR 경험을 제공하기 위해 AR 기능 확장 
• 초기 설치 크기를 줄이기 위해 Addressables 패키지를 사용하여 동적 콘텐츠 패키징

가볍고 확장 가능한 크로스 플랫폼

Unity는 플랫폼별 코딩을 최소화하여 크로스 플랫폼 애플리케이션을 쉽게 만들도록 제작되었습니다. 덕분에 팀은 Unity를 사용하여, 특히 매우 다양한 Android 기기를 위해 너무 많은 시간을 할애할 필요 없이 매력적인 기능과 커스텀 Magnopus 통합, 눈길을 사로잡는 콘텐츠를 구현하는 데 집중할 수 있었습니다.

개발 과정에서는 데스크톱 PC의 가상 현실 버전과 기본 모바일 애플리케이션 내부에 임베드할 간소화된 앱을 만들 수 있었고, 엑스포 현장에 있는 야외 키오스크용으로 제작된 버전도 만들 수 있었습니다. 전용 GPU를 사용하는 Windows 10 PC용으로 제작된 키오스크 애플리케이션은 카메라를 사용하여 애니메이션 콘텐츠의 고품질 증강 현실 피드뿐만 아니라 모바일 애플리케이션과 똑같은 멀티플레이어 아바타를 보여 줍니다.

AR Foundation으로 AR 개발 과정 간소화

ARKit와 ARCore를 포함한 Unity AR Foundation은 Expo Dubai Xplorer를 위한 AR 애플리케이션을 구축할 수 있는 매우 간단한 기반을 제공했을 뿐만 아니라 Unity를 사용하여 일반적인 방식으로 기능을 구현할 수 있었습니다. 이를 통해 팀은 여러 개의 서로 다른 애플리케이션을 구축하지 않고 동일한 코드베이스와 소스 에셋을 사용하여 전체 가상 세계 경험과 AR 경험을 모두 구축해냈습니다. 

어드레서블을 사용한 동적인 콘텐츠

Magnopus 팀은 AR 사용자와 디지털 사용자 모두를 위한 커스텀 무선 전송 시스템을 제작했습니다. 콘텐츠가 변경될 때마다 전체 애플리케이션을 구축하는 대신, 어드레서블 빌드 프로세스를 활용하는 방식으로 Magnopus CICD 솔루션을 확장하여 변경된 콘텐츠를 다시 구축하고 배포했습니다. 작은 변경 사항이라면 모든 플랫폼에 빌드하는 데 30분이 걸리던 것을 단 몇 분으로 줄일 수 있습니다.

콘텐츠와 코드가 분리되어 있기 때문에 애플리케이션이 Android와 iOS의 긴 승인 절차를 거친 후에도 콘텐츠에 대한 업데이트를 제공할 수 있습니다. 또한 Unity Addressable Bundle을 온디맨드로 제공할 수 있는 서비스를 구축했으며, Magnopus의 커스텀 위치 기반 콘텐츠 전송 네트워크를 통해 이를 제공할 수 있었습니다. 

Magnopus의 지리 공간 저작 툴을 사용하면 어드레서블 ID를 실제 위치와 연결할 수 있으므로 디자이너는 실시간으로 콘텐츠 배치를 업데이트할 수 있었습니다. 그러면 클라이언트 애플리케이션은 클라우드 API를 기반으로 주변 활동에 필요한 콘텐츠만 빠르게 다운로드합니다.

대규모의 야심 찬 프로젝트에서 발생하는 난제를 겪으며 팀원들 모두 개인적으로 놀라울 만큼 성장했습니다. 이 프로젝트를 통해 모두 정말 많은 것을 배웠습니다. 

• 디지털/물리적 경험 제작은 비디오 게임이나 캐주얼 모바일 게임 개발과는 전혀 달랐습니다. '만능 솔루션'이나 '바로 적용할 수 있는 솔루션'은 없었습니다. 결국 커스텀 기능을 개발할 수 있는 능력이 매우 중요했습니다. 
• 애자일 방식을 적용하여 빠르게 구축을 시작하는 동시에 문서상 설계에 몰두해서는 안 됩니다. 프로젝트를 막상 시작하면 훌륭해 보였던 아이디어가 실제로는 그렇지 않을 수도 있다는 것을 깨닫게 됩니다. 애플리케이션을 제작하면서 '재미를 찾아가는' 유연성이 필요합니다.
• '인지 부하'를 고려해야 합니다. 현장에 있는 사람들은 이미 실제 세계의 규모와 이벤트에 압도되었을 가능성이 있습니다. 현장 방문자와 원격 방문자 모두에게 동일한 콘텐츠를 제공하려면 현장에 있지 않은 사람들에게 기본적으로 '더 많은 경험'을 제공해야 합니다.
• 기기에 너무 많은 컴퓨팅을 로드하면 안 됩니다. 너무 많이 로드하면 오후가 되기도 전에 사용자의 배터리가 빠르게 소모되어 남은 시간을 재미없게 보내게 될지도 모릅니다. 
• 사람들의 시간은 한정되어 있습니다. 사람들은 흥미로운 것을 보기 위해 기꺼이 휴대전화를 꺼내 들겠지만, 경험이 아직 끝나지 않았더라도 몇 분만 지나면 팔이 아프다며 휴대전화를 내려놓게 될 것입니다. 매력적인 AR 콘텐츠는 너무 길지 않을 때 가장 효과적입니다. 
• 기술을 개발하는 동시에 그 기술을 기반으로 하는 콘텐츠까지 개발하는 일은 매우 복잡하며 생각보다 많은 시간이 걸립니다. 
• 실제 현장이 만들어지는 동시에 디지털 트윈을 구축하는 것은 어려운 일입니다. 특히 두 공간이 정확하게 일치해야 하는 경우 더욱 까다롭습니다. 디지털 트윈 제작 과정을 진행 중인 BIM 워크플로와 통합하는 것이 중요합니다.
• '특정 기기를 사용하는 특정 그룹'이 아닌 '모든 기기, 모든 사람'에게 제공할 경험을 디자인하는 것은 정말 어려운 일입니다.  할 수 있는 것에만 집중하는 것이 좋습니다.

미래지향적 소통의 일례로 제작한 Expo Dubai Xplorer를 통해 더 나은 방법으로 사람과 장소를 연결했습니다. Magnopus는 대규모 '알파' 버전을 제작하며 배운 내용을 바탕으로 성능과 유연성을 높이기 위해 리팩터링 중이며, 새로운 기능을 설계하고 있습니다. 이와 같은 대규모 경험을 제작할 때 일관적으로 제공되어야 할 기술을 미리 개발하여, 콘텐츠 제작에 더 집중할 수 있도록 다양한 프로젝트를 지원할 예정입니다.