从《The Heretic》的主角Gawain到《Enemies》的主角Louise,Unity Demo团队继续以高质量的实时影片来突破Unity在高保真制作的极限,并将重点放在了数字人上。
我们对逼真数字角色的追求永无止尽。自GDC 2022上发布《Enemies》以来,我们与Unity的图形工程团队及专攻相应领域的服务供应商开展合作,继续研发了多种解决方案来让数字人的创作更好、更逼真。
在SIGGRAPH 2022期间,我们公布了下一步计划:用轻量的Ziva布偶来替换主角表演的庞大4D数据回放。最新一代技术整合了Ziva动画技术及Unity最新图形学,包括高清渲染管线(HDRP)的改进,进一步完善了端到端的角色创建、动画和创作流程。
除了基于发丝的新头发渲染方案与更新后的数字人包,《Enemies》实时演示现在也开放了下载。你可以亲自体验演示项目的运行时,一如Unite 2022上所展示的那样。
虽然影片本身与原版并无太大区别,项目的最终渲染利用了Ziva技术为主演带来了另一层表演维度。
Ziva在VFX行业拥有多年的经验与先进技术研究,能为游戏、线性内容制作和实时项目带来更高的动画质量。基于机器学习(ML)的技术能做出极度逼真的面部动画及身体与肌肉变形。
为了实现《Enemies》高度写实的画面,Ziva使用了机器学习与4D数据捕捉,这比传统的3D演员扫描流程多了一个维度。原本静态、不可编辑的4D面部表演现在变成了一个带面部骨架的实时布偶,可以随时添加动画或调整面部绑定,同时保持高保真度。
我们团队以4D数据为基础训练了一种机器学习模型,用来制作任意表演。最终,原本3.7 GB大的面部骨架被精简成50 MB,所有4D表演的细节也都得以保留。
这项技术能用一小部分动画数据重现最终动画,以4D不能做到的方式制作实时动画。
为了达成这个目标,Unity的演示团队将重心放在了:
创建布偶
布偶的控制方案
这种新的工作流有许多优点。首先,我们可以动态地控制《Enemies》数字人的表演。
我们可以在交付后继续改动角色的表演。数字Louise能以完全不同的表情说同一句台词,能显得更友善、更生气或其他导演设想的情绪。
我们还能在布偶上手动制作新表演,即便原本演员从未做过这些面部表情或反应。如果想把故事开发成互动体验,很重要的一点是扩展数字角色对各类事物的反应,比如对玩家的棋招表达出细微的赞同或不赞同表情。
为了获得最高的保真度,Ziva团队可以用自己的4D数据新建一个布偶。他们最新发布的beta版Face Trainer是基于全面4D数据库和ML算法打造的,可以训练任意面部网格模型实时表演最为复杂的表情,而无需捕捉额外的4D数据。
另外,只有第一句台词的创作需要花上一定的时间和成本,往后的新台词创作起来会省时省力得多。我们可以让女演员带上HMC头戴摄像机来说出更多台词,然后使用 HMC 数据驱动布偶,或请另一名表演者说出台词,把采集到的数据重新匹配到布偶上。
在SIGGRAPH Real-Time Live!上我们演示了如何将《Enemies》的表演应用到另一位女演员布偶上——我们最终替换掉了故事的主演,而不改变其他任何内容。
这段表演随后在Unite 2022的主题演讲上进行了展示(位于01:03:00),《Enemies》运行在了Xbox Series X上,启用了DX12与实时光线追踪。
为了进一步提高《Enemies》的图像质量,我们利用了多个HDRP系统。包括Shader Graph运动矢量,Adaptive Probe Volumes(自适应探针体积,APV)及头发着色。
《Enemies》还利用了HDRP的实时光线追踪和Unity的NVIDIA DLSS 2.0(深度学习超采样)原生支持,让项目能以4K运行,画面逼近原生分辨率。所有这些更新后的Unity特色功能目前已在Unity 2022.2 LTS开放使用。