搜索 Unity

眼球、手部追踪,模拟与样例:Unity XR Interaction Toolkit 2.3更新

2023年3月13日 类别 Engine & platform | 8 分 阅读
What’s new in Unity XR Interaction Toolkit 2.3 | Hero image
What’s new in Unity XR Interaction Toolkit 2.3 | Hero image
涵盖的主题
分享

Is this article helpful for you?

Thank you for your feedback!

XR Interaction Toolkit(简称XRI)是一款基于组件的上层互动系统,可用于创作VR和AR体验。它提供了一种常见的互动框架,并简化了跨平台创作。本次更新新添了三项关键功能:用于让交互更自然的视线与手部追踪,让交互更生动的试听可供性(affordance),及设备模拟器的改进。我们来详细了解下每项功能,让您能开始使用它们。

若想深入了解更新,欢迎查看XRI 2.3的更新说明,或探索附带的样例项目

XR开发者及LearnXR.io的创始人,迪尔默·瓦雷西罗斯(Dilmer Valecillos)也为XRI 2.3制作了一段超酷的教学视频:

此内容由第三方提供商托管,该第三方提供商不允许在未接受“Targeting Cookies”的情况下观看视频。如果想观看来自这些提供商的视频,请将“Targeting Cookies”的 Cookie 首选项设置为“是”。

全面支持带关节手部追踪

我们与XRI 2.3一起发布了Unity XR Hands预览版软件包。这款新的XR子系统能为Unity添加手部追踪的API,在首发时就内置OpenXR支持,并且即将上线Meta平台支持。此外,硬件供应商们仍旧能参考API文档,用现有的XR SDK输入手部追踪数据。

本次发布的XRI带有Hands Interaction Demo,该工程包所包含的手部互动配置支持在人手与手柄间切换,无需到设备上修改场景。有了这项功能,您可以按照标准的控制器配置来创建工程,在随后无缝地切换到人手,来完成特定任务或自然的游戏互动。

XRI 2.3的XR Poke Interactor同样支持自然的点戳互动,让用户能用双手或手柄戳控3D UI或启用了XRI的UGUI Canvas元素。

用视线互动

HoloLens 2、Meta Quest Pro和PlayStation® VR2等新型头显包含有跟踪使用者视线的传感器。基于视线的互动能让XR应用更显自然,也带来了一种新的内容消费方式。为了支持此类互动,我们推出了由眼部或头部的注视姿势来驱动的XR Gaze Interactor。新的互动程序能直接操控对象,比如通过长时间注视来拿起或选取互动对象。

通常我们不推荐完全依靠眼睛来控制应用,因此我们还推出了额外的控制器和手部辅助互动:XR Interactable Snap Volume,来帮助用户们选取特定物体。在对准物体周围的特定区域时,它可以将互动操作贴合到附近的可互动对象上,以此来补充视线互动程序。该组件同样可以独立于视线互动使用,让物体的选取更为轻松。

全球领先的眼球追踪技术开发商Tobii在功能的概念和研究方面为我们提供了援助。如果您有兴趣发掘更多,可以浏览他们的眼球追踪概念知识库

借助可供性(affordance)生动呈现交互

使用双手进行互动不同于手柄,没有触觉或触摸反馈来确认互动已经发生。而可供性系统带有多种组件,可响应物体互动状态的变化来播放动画或出发音效,以此来弥补反馈的空缺。系统可兼容新老项目里的任意互动程序和可互动对象。

用双手完成拉伸、甩动和旋转

新的XR General Grab Transformer可以简化项目的层级结构,允许用一个通用的变换程序在单个互动对象上完成单手或双手互动,不必再用多个抓取变换组件。它还支持双手缩放,允许通过闭合或张开双手来缩放对象,类似于在手机上的放大、缩小。

我们还添加了Interaction Group组件,允许开发者为互动程序分组,并根据优先级排序,使得同一时间执行单组的单个互动程序成为可能。假设同一组包含着Poke、Direct和Ray三种Interactor,戳动按钮时其他互动程序将不会参与场景的互动。如果用户正在编辑远处的某样东西,近处的物体就不会被抓取;如果用户正在抓取或戳动近处的物体,则引擎也不会向远处发射射线。

不用头显便能轻松完成迭代

在头显上测试XR应用固然重要,但编辑器内的测试可以切实减少迭代时间。在新版本,XR Device Simulator迎来了一次重大的可用性更新,新的屏幕UI小道具能让用户更轻松地查看驱动模拟器或当前活跃中的指令输入。

新的模拟模式支持在多种常见的控制模式间切换。启动时,设备模拟器默认会激活新的第一人称射击(FPS)模式,模仿玩家的全身运动来操纵头显和手柄。用户可以切换到其他模式来操纵头显、左手柄和右手柄。要使用XR Device Simulator,请从Package Manager导入样例工程。

参观新的XRI样例项目

经过长时间的准备,新版样例项目终于来了。该工程展示了所有XRI 2.3的XR体验开发工具,并根据功能分出了数个XR体验站,每一站都带有简单版和高级版的实例。您可以在GitHub上获取项目,将其用作XR应用开发的基础。

展望未来

XR Interaction Toolkit的眼部和手部操作仍是个雏形,但我们会继续让XR体验的开发更轻松。随着XRI进入2.4及以上的阶段,我们仍然欢迎大家的反馈。期待看到大家的创作,也请在发布社媒贴时加上#unityXRI标签。

2023年3月13日 类别 Engine & platform | 8 分 阅读

Is this article helpful for you?

Thank you for your feedback!

涵盖的主题
相关文章