Games Focus: XR로 확장하는 현실

이번 블로그는 유니티에서 게임 개발자들을 위해 현재 진행 중인 작업과 향후 계획을 공유하는 Game Focus 시리즈의 최신 포스트입니다. 이번 편에서는 유니티 XR 기술의 현재 개발 상황, 예정된 릴리스 계획, 앞으로의 비전 등을 다룹니다.

저는 유니티 XR 제품 디렉터인 타라 윌슨입니다. 유니티에서 증강 현실, 가상 현실, 혼합 현실 제품 전략을 추진하고 있습니다. 지난 6년 동안 Microsoft의 HoloLens와 소셜 VR 앱 출시 등 XR 경험 제작 초기 단계부터 다양한 프로젝트를 맡았습니다.

XR 분야에 종사하기 전에는 일반 사용자가 제작한 콘텐츠에 특히 집중하면서 월드 구축 게임과 3D 제작 앱을 만들었습니다. 유니티의 XR 리더십 팀은 일상생활에서 XR 기술을 유용하게 활용할 수 있도록 크리에이터와 개발자를 위한 최고의 툴을 제작하는 데 지원하고 있습니다. 이 글에 담긴 기술 및 엔지니어링 지식은 XR 팀의 스콧 플린, 데이브 러델, 도렌 브라운, 윌 맥도널드의 도움을 받아 작성되었습니다.

XR 기술과 하드웨어가 급속하게 성장하고 발전하는 이 시기에 Unity를 중심으로 놀라운 XR 게임 개발자 커뮤니티가 탄생하게 되어 매우 다행스러운 일입니다. XR 공간은 계속해서 진화할 것이며, 유니티와 XR 개발자는 새로운 입력 패러다임, 더 많은 기능을 제공하는 하드웨어뿐 아니라 월드에 대한 이해와 사용자의 기대를 모두 지속적으로 파악해야 합니다. 

이번 Games Focus 시리즈에서는 새로 지원되는 하드웨어와 OpenXR 및 AR Foundation 관련 업데이트 내용을 다룹니다. 유니티는 이제 AR Foundation과 결합된 XRI(XR Interaction Toolkit)를 통해 자연스러운 오브젝트 선택 및 조작, 보편적인 이동 패턴, 터치스크린 제스처 등 주요 상호 작용 방식을 지원합니다.

사용자에게 다양한 선택지와 유연성을 제공하려면 XR 멀티플랫폼 제작이 필수입니다. 그래서 유니티는 빠르게 변화하는 플랫폼 API와 관련 기능보다 API 추상화와 기능 구축을 우선시하고 있습니다. 유니티는 통합된 제품으로 최대한 다양한 XR 하드웨어를 지원하기 위해 로우레벨 추상화에 집중적으로 투자해 왔습니다. 또한 계속 변화하는 OpenXR 표준을 지원하므로 더 많은 헤드셋을 타겟으로 개발할 수 있습니다.

유니티는 기기 및 SDK 레이어에서 단편화를 줄이기 위해 지속적으로 투자하고 있으며, 입력과 센서 데이터, 테스트, 반복 작업 시간 관리에서 단편화가 증가하는 등 여러 문제점이 발생한다는 것을 인지하고 있습니다. 이에 대응하기 위해 유니티는 AR Foundation과 XRI Toolkit을 꾸준히 개선하고 있습니다.

유니티는 XR과 관련하여 iOS용 ARKit와 Android용 ARCore를 비롯한 핸드헬드 플랫폼, Magic Leap나 Hololens와 같은 혼합 현실 기기, 최근 공개된 Meta Quest Pro를 비롯한 Meta의 Quest 및 PlayStation®VR과 같은 VR HMD 등을 지원합니다. 또한 런타임 호환을 위해 OpenXR 플러그인을 지원합니다.

Unity의 OpenXR 지원도 계속 발전해 왔습니다. 최근 버전에는 다음과 같은 지원이 추가되었습니다.

• 모든 Android XR 기기에 대해 하나의 바이너리 타겟을 만들 수 있는 일반 Android 로더 
• 포비티드 렌더링, 모션 벡터 기반 스페이스워프 지원
• 3개 이상의 뷰 지원(향후 XR 기기에 대한 유연한 지원 가능)
• Unity용 Oculus XR 및 Hololens Integration의 OpenXR 기본 지원

최근 출시된 AR Foundation(5.0)에는 편의성을 개선하는 두 가지 주요 기능인 시뮬레이션과 AR 디버그 메뉴가 새로 추가되었습니다. 익숙하지 않은 사용자를 위해 부연하면, AR Foundation은 Unity의 추상화 레이어로, AR 경험 개발에 '한 번의 빌드로 어디서든 실행'할 수 있는 편의성을 제공합니다. 플랫폼별 공급자 패키지를 사용하면 일반적인 C# API에 대신 기록하여 여러 플랫폼 SDK를 연결해야 하는 번거로움을 줄일 수 있습니다. 또한 확장성이 높아 타사 플랫폼에서도 새로운 기능을 추가할 수 있습니다.

AR Foundation의 시뮬레이션을 사용하면 에디터에서 앱을 바로 테스트할 수 있으므로, 애플리케이션을 개발하는 동안에 빌드 후 직접 기기에 배포하고 테스트하는 반복적이고 시간 소모적인 과정을 생략할 수 있습니다. 플레이 버튼만 누르면 AR Foundation은 시뮬레이션 환경을 로드한 후 평면, 마커 등 여러 AR 기능을 감지하고, 플레이어가 환경을 탐색하는 동안 이를 애플리케이션에 제공합니다. 다양한 실내 및 실외 사용 사례를 대표하는 여러 테스트 환경을 바로 사용해 볼 수 있으며, 자체적인 환경을 구축하여 구체적인 사용 사례나 타겟 환경을 모델링할 수도 있습니다.

애플리케이션이 기기에서 실행되는 동안 AR Debug 메뉴에서는 다양한 정보와 사용 가능한 설정을 확인할 수 있습니다. 현재 FPS와 트래킹 모드를 비롯한 통계가 표시되며, 기기가 월드를 인식하는 방식이나 기기에서 사용할 수 있는 설정이나 기능을 보여 주는 시각화 툴을 추가할 수도 있습니다.

Unity의 XR Interaction Toolkit(또는 XRI)은 인터랙티브 XR 경험을 제작하기 위한 고수준의 시스템을 제공합니다. 사용자의 입력을 3D 및 UI 오브젝트와의 인터랙션으로 보다 쉽게 변환할 수 있도록 지원하는 인터랙션 프레임워크입니다. Input System 패키지(또는 필요한 경우 기존 XR Input)에 추상화 레이어를 제공하는 방식이므로 특정 입력 기기가 아닌 각 행동에 대해 인터랙션을 구축할 수 있습니다. 

XRI는 많은 발전을 거쳐 이제 최신 Microsoft Mixed Reality Toolkit(MRTK3)의 기반이 되었습니다. XRI 패키지를 사용하면 기본 제공 컴포넌트로 간단하게 씬을 설정해, 잡을 수 있는 오브젝트와 이동 시스템 및 UGUI 인터랙션 등을 빠르게 추가할 수 있습니다.

최신 버전 XRI 패키지에서는 다음과 같은 기능을 지원합니다.

• 그랩 트랜스포머 시스템을 통해 멀티핸드 그랩 및 조작 구현
• 가장 일반적인 XR 인터랙션 및 이동 설정을 제공하는 확장된 스타터 프리팹
• 방향성 순간이동, 비행, 잡아서 옮기는 이동 등의 추가적인 이동 옵션을 제공하여 플레이어가 주변의 월드를 잡아당겨 회전시키는 인터랙션을 개발할 수 있도록 지원
• 유저의 시선이 어느 위치를 향하는지, 유저의 손이 오브젝트의 가장자리에 얼마나 가까운지 등과 같은 다양한 입력 특징을 사용해 보다 직관적으로 오브젝트를 선택할 수 있도록 하는 인텐션 필터링

XRI의 새로운 기능에 대한 자세한 내용은 기술 자료에서 확인할 수 있습니다. XRI의 주요 기능은 Starter Asset 샘플 패키지에서 확인할 수 있습니다. 또한 GitHub에 곧 공개될 예정인 XRI 예제 프로젝트에서도 주요 기능을 확인할 수 있습니다.

유니티는 2022.2 베타에서 새로 지원되는 세분화된 디밍(dimming)을 비롯해 Magic Leap 2 지원을 추가하여 Unity의 기기 지원을 확장하고 개선했습니다. 또한 성능과 그래픽스 정확도 개선을 위한 포비티드 렌더링을 비롯해 Playstation®VR2 지원이 추가되었습니다.

연말에는 Github에서 새로운 XRI 샘플 패키지를 공개할 예정입니다. 이 샘플 패키지에는 핸드 트래킹, 사용자의 시선을 사용한 인터랙션 지원, 양손을 사용한 오브젝트 인터랙션뿐만 아니라 경첩이 달린 문, 여닫을 수 있는 서랍 등의 물리 컴포넌트와 2D 및 3D UI 컨트롤이 포함됩니다.

OpenXR 표준을 기반으로 손과 눈을 사용한 입력을 처리하는 멀티플랫폼 솔루션도 공개할 예정입니다. 새로 추가될 입력 방식들은 내년 초 XR Interaction Toolkit에서 사용해 볼 수 있습니다.

2023년은 XR 분야에 있어서 고객과 업계 전체에게 놀라운 한 해가 될 것입니다. XR 하드웨어는 흥미로운 방향으로 발전하고 있으며, 하드웨어 성능만 개선되는 것이 아니라 새로운 기능도 추가되고 있습니다. Passthrough 동영상, 핸드 트래킹, 시선 또는 아이 트래킹 등의 새로운 하드웨어 기능은 완전히 새로운 인터랙션 모델을 제공하며, 크리에이터가 더 생생하고 직관적인 경험을 제작할 수 있도록 지원합니다. 유니티는 XR 생태계와 함께 성장하여 Unity 개발자가 AR, VR뿐만 아니라 새로운 혼합 현실 공간에서도 흥미롭고 매력적인 게임을 제작하도록 최고의 툴을 제공할 것입니다.

유니티의 솔루션 웹 페이지에서 VR 및 AR 개발에 대해 자세히 알아보고, Made with Unity 게임의 성공 사례를 확인할 수 있습니다. 또한 아래에서 Ramen VR이 제작한 VR MMO Zenith: The Last City에 관한 최신 크리에이터 스포트라이트를 확인하거나, Fictioneers가 AR Foundation을 사용하여 도시 크기의 AR 앱을 구축한 활용 사례를 확인해 보세요.

그 외에도 다음과 같은 여러 뛰어난 XR 리소스를 살펴보세요.

• OpenXR 플러그인 매뉴얼 페이지에서 OpenXR과 Unity가 런타임 호환을 지원하는 방법을 살펴보세요. 
• AR Foundation 5.0의 시뮬레이션 기능을 다루는 AWE 2022의 정보 세션을 확인해 보세요. 더 자세한 내용은 포럼에서 확인할 수 있습니다.
• 올해 초에 진행된 Microsoft의 Mixed Reality Dev Day의 유니티 세션에서 XRI와 MRTK3에 대해 알아보세요.
• 2022 GDC 세션에서 PlayStation VR2 지원에 대해 자세히 알아보세요.
• Unity를 사용해 VR 경험을 제작하려는 사람들을 위해 만들어진 Unity Learn VR 학습 콘텐츠에서 VR과 관련된 모든 내용을 확인해 보세요.

크리에이터가 제작하는 게임과, 제작 과정에서 마주하는 문제점은 항상 유니티가 앞으로 나아갈 방향을 제시합니다. 유니티는 개발 작업의 장애물을 제거하기 위해 항상 크리에이터의 이야기에 귀를 기울이고 있습니다. 어떤 게임을 제작할 것인지 알려주세요. 어떤 기능을 도입하려 하고 그 이유는 무엇인지 공유해 주세요. 유니티의 향후 계획과 발전 방향에 대해서는 어떻게 생각하시나요?

다음 Games Focus 업데이트도 많이 기대해 주세요. 11월 1일 화요일에 진행되는 유나이트 2022에서 유니티의 비전에 대해 더 자세히 알아볼 수 있습니다.