游戏聚焦系列：用XR扩展现实

本文是新博客系列“游戏聚焦系列”文章的更新，该系列将介绍Unity在当下、明年和未来为所有游戏开发者所作的工作。本期博文包含了XR的现状、近期的发布计划和未来的设想。

我是Tarrah Wilson，Unity的XR产品总监，我负责推进增强、虚拟和混合现实产品战略的发展。在过去的六年里，我一直处于构建XR体验的基层，在微软发售HoloLens和社交VR应用。

在XR之前，我做过建造世界的游戏和3D创作应用，主要关注用户自创的内容。Unity的XR领导团队热衷于将XR应用到人们的日常生活中，帮助创作者和开发者创建最好用的工具。Scott Flynn、Dave Ruddell、Dorrene Brown和William McDonald是来自XR团队的同事，他们也为本博客提供了技术和工程方面的专业知识。

在这个XR技术与硬件快速增长、发展的时期，我们有幸看到了围绕Unity建立起来的XR游戏开发者社区。我们预计XR领域将持续发展，推动我们及所有人跟上新的输入模式、更强大的硬件、全新的世界理解和用户期望。 

在本期的游戏聚焦系列博文里，我们将介绍OpenXR和AR Foundation新支持的硬件及更新。借助XRI（XR Interaction Toolkit），我们现在可提供一些关键的交互方式，如自然的对象选择与操纵、常见的运动模式，以及AR Foundation对触控手势的支持。

让XR登陆多平台一直是为客户提供最大选择空间和灵活性的关键。为此我们需要优先建立API抽象概念和特性，而非快速迭代平台API和功能。我们在底层抽象层上进行了大量投入，以支持各种XR硬件，为您提供一致的产品。我们还支持不断成长中的OpenXR标准，让你能在更多的头显上接触到更多的用户。

在持续投入设备和SDK层时，我们也发现了管理输入、传感器数据、测试和迭代时间方面的分化和挑战日益严重。为了应对这些挑战，我们将继续打造AR Foundation和XRI Toolkit。

Unity的XR目前支持手持平台，包括iOS的ARKit、Android的ARCore、Magic Leap和Hololens等混合现实设备，及Meta的Quest（包括最近发布的Meta Quest Pro）和PlayStation®VR等全沉浸VR头显（HMD）。它还支持运行时符合要求的OpenXR插件。

Unity对OpenXR的支持也在持续发展。在最近的几个版本中，我们增加了：

• 通用的Android加载器，让你能为所有安卓XR设备打包二进制程序。
• 支持中心凹陷的渲染，基于运动矢量的空间扭曲
• 支持3个以上的视图（以灵活支持未来的XR设备）
• Oculus XR和Hololens Integration for Unity现在原生支持OpenXR

最近发布的AR Foundation (5.0)新增了Simulation（模拟）和AR Debug Menu（AR调试菜单）两个重要的新功能来改善你的日常使用。如果你不熟悉AR Foundation，它是Unity的抽象层，让AR体验的开发能做到“只需构建一次，即可在任何地方运行”。平台内容发布者开发包让你可以编写通用的C# API，不必再专门对接各个平台SDK，并且这个开发包具备可扩展性，让你能在第三方平台上添加新的功能。

AR Foundation的Simulation功能可让你避开应用开发时从构建、部署再到设备上进行测试这一耗时的流程，让你直接在编辑器中测试应用。在按下play后，AR Foundation可以加载出一个模拟环境，并检测平面、标记和其他AR功能，在玩家浏览环境时将这些信息输送给应用。开箱后你就能看到各种用于测试的环境，各环境代表了不同的室内和室外用例，你也可以自行建立环境，来模拟特殊的用例或目标环境。

当应用运行于设备上时，AR Debug Menu可显示相关的信息和配置。它的统计数据包括当前FPS和跟踪模式，你还可以添加可视化图形来帮助了解设备感知世界的方式，或显示设备当前的配置和功能。

Unity的XR Interaction Toolkit（或XRI）为交互式XR体验的创作提供了一个高级系统。该交互框架能让输入更容易地转化为与3D和UI对象的交互。这个抽象层建立在Input System包（或旧版XR Input）之上，让你可以根据具体动作而非输入设备进行开发。 

业已成熟的XRI目前已经成为最新Microsoft Misxed Reality Toolkit（MRTK3）的技术基础。XRI包支持快速添加可抓取的物体、移动系统、UGUI交互等，借助包内的组件来建立场景。

随着最新版XRI发布，该软件包目前支持：

• 借助抓取转换系统完成多手抓取和操纵
• 扩展后的新手预制件，让你能用最常见的XR交互和移动设置来启动项目
• 额外的移动选项，如定向传送、飞行和抓取移动，让玩家能抓住并拉动、旋转周围世界
• 意图筛选，通过设定各类输入特征，如用户的视线位置、手距物体边缘的距离等，让物体的选取更加直观。

更多XRI新内容请在文档中查看。XRI的主要特色和功能都会在附带的Starter Assets包中展示。我们也即将在GitHub上推出XRI Examples项目。

我们在2022.2 beta中扩展并改进了设备支持，添加了Magic Leap 2及新支持的分段调光（segmented dimming）。新版本还新增了对Playstation®VR2的支持，以及可以提高性能和图形保真度的凹陷渲染。

在今年年底，我们将在Github上发布一个新的XRI样例包，其中将包括手部跟踪、视线辅助交互、双手物体交互、物理组件（如铰链门、滑动抽屉）、2D和3D UI控制等实例。

基于OpenXR标准，我们还将推出一个用于手眼输入的多平台解决方案。这些新的输入方案将在明年初的XR Interaction Toolkit里交付。

对我们的客户和整个行业来说，2023年是XR领域最为宝贵的一年，我们对此非常兴奋。XR硬件正朝着令人振奋的方向发展，硬件性能和新功能都有了很大改进。新的硬件功能，如穿透式视频、手部追踪和视线或眼球追踪，有望引出一套全新的互动模式和机会，让创作者为消费者们带来更为沉浸和直观的体验。我们计划与不断成长的XR生态一起继续创新，为Unity开发者带来最好的工具，让他们在AR、VR和新兴的混合现实领域创造出令人兴奋的游戏。

你可以在我们的解决方案页面详细了解VR和AR的开发，并找到一些Made with Unity的成功游戏案例。你也可以在下方查看我们最近与Ramen VR合作举办的Creator Spotlight直播，了解该团队的VR MMO《Zenith: The Last City》，或在这个案例研究中了解Fictioneers怎样用AR Foundation来建立一座城市大小的AR应用。

这还不是全部。你还可以在下方发现其他一些出色的XR资源：

• 在OpenXR Plugin手册探索OpenXR及Unity符合格式的运行时。 
• 这段选自AWE 2022的演讲介绍了AR Foundation 5.0中的模拟功能（更多细节请在论坛了解）。
• 在我们的Microsoft Mixed Reality Dev Day演讲里了解XRI和MRTK3。
• 在这段2022 GDC讲座里详细了解我们对PlayStation VR2的支持。
• 新的Unity Learn VR学习路线将介绍所有学习内容，帮助你学习如何用Unity打造VR内容。

你的游戏及开发中所遇到的难题就是我们的工作方向。我们的工作就是帮你消除阻碍，所以请让我们更了解下你吧。你接下来要做什么游戏？你正在使用哪些功能，为什么？你对我们的设想与方向有何看法？

请继续关注下一篇“ 游戏聚焦 ”系列，并且千万别错过11月1日星期二的Unite 2022，你将在活动上更详细地了解Unity的愿景。