이번 블로그는 유니티에서 게임 개발자들을 위해 현재 진행 중인 작업과 향후 계획을 공유하는 Game Focus 시리즈의 최신 포스트입니다. 이번 편에서는 유니티 XR 기술의 현재 개발 상황, 예정된 릴리스 계획, 앞으로의 비전 등을 다룹니다.
저는 유니티 XR 제품 디렉터인 타라 윌슨입니다. 유니티에서 증강 현실, 가상 현실, 혼합 현실 제품 전략을 추진하고 있습니다. 지난 6년 동안 Microsoft의 HoloLens와 소셜 VR 앱 출시 등 XR 경험 제작 초기 단계부터 다양한 프로젝트를 맡았습니다.
XR 분야에 종사하기 전에는 일반 사용자가 제작한 콘텐츠에 특히 집중하면서 월드 구축 게임과 3D 제작 앱을 만들었습니다. 유니티의 XR 리더십 팀은 일상생활에서 XR 기술을 유용하게 활용할 수 있도록 크리에이터와 개발자를 위한 최고의 툴을 제작하는 데 지원하고 있습니다. 이 글에 담긴 기술 및 엔지니어링 지식은 XR 팀의 스콧 플린, 데이브 러델, 도렌 브라운, 윌 맥도널드의 도움을 받아 작성되었습니다.
XR 기술과 하드웨어가 급속하게 성장하고 발전하는 이 시기에 Unity를 중심으로 놀라운 XR 게임 개발자 커뮤니티가 탄생하게 되어 매우 다행스러운 일입니다. XR 공간은 계속해서 진화할 것이며, 유니티와 XR 개발자는 새로운 입력 패러다임, 더 많은 기능을 제공하는 하드웨어뿐 아니라 월드에 대한 이해와 사용자의 기대를 모두 지속적으로 파악해야 합니다.
이번 Games Focus 시리즈에서는 새로 지원되는 하드웨어와 OpenXR 및 AR Foundation 관련 업데이트 내용을 다룹니다. 유니티는 이제 AR Foundation과 결합된 XRI(XR Interaction Toolkit)를 통해 자연스러운 오브젝트 선택 및 조작, 보편적인 이동 패턴, 터치스크린 제스처 등 주요 상호 작용 방식을 지원합니다.
사용자에게 다양한 선택지와 유연성을 제공하려면 XR 멀티플랫폼 제작이 필수입니다. 그래서 유니티는 빠르게 변화하는 플랫폼 API와 관련 기능보다 API 추상화와 기능 구축을 우선시하고 있습니다. 유니티는 통합된 제품으로 최대한 다양한 XR 하드웨어를 지원하기 위해 로우레벨 추상화에 집중적으로 투자해 왔습니다. 또한 계속 변화하는 OpenXR 표준을 지원하므로 더 많은 헤드셋을 타겟으로 개발할 수 있습니다.
유니티는 기기 및 SDK 레이어에서 단편화를 줄이기 위해 지속적으로 투자하고 있으며, 입력과 센서 데이터, 테스트, 반복 작업 시간 관리에서 단편화가 증가하는 등 여러 문제점이 발생한다는 것을 인지하고 있습니다. 이에 대응하기 위해 유니티는 AR Foundation과 XRI Toolkit을 꾸준히 개선하고 있습니다.
유니티는 XR과 관련하여 iOS용 ARKit와 Android용 ARCore를 비롯한 핸드헬드 플랫폼, Magic Leap나 Hololens와 같은 혼합 현실 기기, 최근 공개된 Meta Quest Pro를 비롯한 Meta의 Quest 및 PlayStation®VR과 같은 VR HMD 등을 지원합니다. 또한 런타임 호환을 위해 OpenXR 플러그인을 지원합니다.
Unity의 OpenXR 지원도 계속 발전해 왔습니다. 최근 버전에는 다음과 같은 지원이 추가되었습니다.
최근 출시된 AR Foundation(5.0)에는 편의성을 개선하는 두 가지 주요 기능인 시뮬레이션과 AR 디버그 메뉴가 새로 추가되었습니다. 익숙하지 않은 사용자를 위해 부연하면, AR Foundation은 Unity의 추상화 레이어로, AR 경험 개발에 '한 번의 빌드로 어디서든 실행'할 수 있는 편의성을 제공합니다. 플랫폼별 공급자 패키지를 사용하면 일반적인 C# API에 대신 기록하여 여러 플랫폼 SDK를 연결해야 하는 번거로움을 줄일 수 있습니다. 또한 확장성이 높아 타사 플랫폼에서도 새로운 기능을 추가할 수 있습니다.
AR Foundation의 시뮬레이션을 사용하면 에디터에서 앱을 바로 테스트할 수 있으므로, 애플리케이션을 개발하는 동안에 빌드 후 직접 기기에 배포하고 테스트하는 반복적이고 시간 소모적인 과정을 생략할 수 있습니다. 플레이 버튼만 누르면 AR Foundation은 시뮬레이션 환경을 로드한 후 평면, 마커 등 여러 AR 기능을 감지하고, 플레이어가 환경을 탐색하는 동안 이를 애플리케이션에 제공합니다. 다양한 실내 및 실외 사용 사례를 대표하는 여러 테스트 환경을 바로 사용해 볼 수 있으며, 자체적인 환경을 구축하여 구체적인 사용 사례나 타겟 환경을 모델링할 수도 있습니다.
애플리케이션이 기기에서 실행되는 동안 AR Debug 메뉴에서는 다양한 정보와 사용 가능한 설정을 확인할 수 있습니다. 현재 FPS와 트래킹 모드를 비롯한 통계가 표시되며, 기기가 월드를 인식하는 방식이나 기기에서 사용할 수 있는 설정이나 기능을 보여 주는 시각화 툴을 추가할 수도 있습니다.
Unity의 XR Interaction Toolkit(또는 XRI)은 인터랙티브 XR 경험을 제작하기 위한 고수준의 시스템을 제공합니다. 사용자의 입력을 3D 및 UI 오브젝트와의 인터랙션으로 보다 쉽게 변환할 수 있도록 지원하는 인터랙션 프레임워크입니다. Input System 패키지(또는 필요한 경우 기존 XR Input)에 추상화 레이어를 제공하는 방식이므로 특정 입력 기기가 아닌 각 행동에 대해 인터랙션을 구축할 수 있습니다.
XRI는 많은 발전을 거쳐 이제 최신 Microsoft Mixed Reality Toolkit(MRTK3)의 기반이 되었습니다. XRI 패키지를 사용하면 기본 제공 컴포넌트로 간단하게 씬을 설정해, 잡을 수 있는 오브젝트와 이동 시스템 및 UGUI 인터랙션 등을 빠르게 추가할 수 있습니다.
최신 버전 XRI 패키지에서는 다음과 같은 기능을 지원합니다.
XRI의 새로운 기능에 대한 자세한 내용은 기술 자료에서 확인할 수 있습니다. XRI의 주요 기능은 Starter Asset 샘플 패키지에서 확인할 수 있습니다. 또한 GitHub에 곧 공개될 예정인 XRI 예제 프로젝트에서도 주요 기능을 확인할 수 있습니다.
유니티는 2022.2 베타에서 새로 지원되는 세분화된 디밍(dimming)을 비롯해 Magic Leap 2 지원을 추가하여 Unity의 기기 지원을 확장하고 개선했습니다. 또한 성능과 그래픽스 정확도 개선을 위한 포비티드 렌더링을 비롯해 Playstation®VR2 지원이 추가되었습니다.
연말에는 Github에서 새로운 XRI 샘플 패키지를 공개할 예정입니다. 이 샘플 패키지에는 핸드 트래킹, 사용자의 시선을 사용한 인터랙션 지원, 양손을 사용한 오브젝트 인터랙션뿐만 아니라 경첩이 달린 문, 여닫을 수 있는 서랍 등의 물리 컴포넌트와 2D 및 3D UI 컨트롤이 포함됩니다.
OpenXR 표준을 기반으로 손과 눈을 사용한 입력을 처리하는 멀티플랫폼 솔루션도 공개할 예정입니다. 새로 추가될 입력 방식들은 내년 초 XR Interaction Toolkit에서 사용해 볼 수 있습니다.
2023년은 XR 분야에 있어서 고객과 업계 전체에게 놀라운 한 해가 될 것입니다. XR 하드웨어는 흥미로운 방향으로 발전하고 있으며, 하드웨어 성능만 개선되는 것이 아니라 새로운 기능도 추가되고 있습니다. Passthrough 동영상, 핸드 트래킹, 시선 또는 아이 트래킹 등의 새로운 하드웨어 기능은 완전히 새로운 인터랙션 모델을 제공하며, 크리에이터가 더 생생하고 직관적인 경험을 제작할 수 있도록 지원합니다. 유니티는 XR 생태계와 함께 성장하여 Unity 개발자가 AR, VR뿐만 아니라 새로운 혼합 현실 공간에서도 흥미롭고 매력적인 게임을 제작하도록 최고의 툴을 제공할 것입니다.
그 외에도 다음과 같은 여러 뛰어난 XR 리소스를 살펴보세요.
크리에이터가 제작하는 게임과, 제작 과정에서 마주하는 문제점은 항상 유니티가 앞으로 나아갈 방향을 제시합니다. 유니티는 개발 작업의 장애물을 제거하기 위해 항상 크리에이터의 이야기에 귀를 기울이고 있습니다. 어떤 게임을 제작할 것인지 알려주세요. 어떤 기능을 도입하려 하고 그 이유는 무엇인지 공유해 주세요. 유니티의 향후 계획과 발전 방향에 대해서는 어떻게 생각하시나요?
다음 Games Focus 업데이트도 많이 기대해 주세요. 11월 1일 화요일에 진행되는 유나이트 2022에서 유니티의 비전에 대해 더 자세히 알아볼 수 있습니다.