制作《Enemies》：Ziva继续推动数字人的进化

从《The Heretic》的主角Gawain到《Enemies》的主角Louise，Unity Demo团队继续以高质量的实时影片来突破Unity在高保真制作的极限，并将重点放在了数字人上。

我们对逼真数字角色的追求永无止尽。自GDC 2022上发布《Enemies》以来，我们与Unity的图形工程团队及专攻相应领域的服务供应商开展合作，继续研发了多种解决方案来让数字人的创作更好、更逼真。

在SIGGRAPH 2022期间，我们公布了下一步计划：用轻量的Ziva布偶来替换主角表演的庞大4D数据回放。最新一代技术整合了Ziva动画技术及Unity最新图形学，包括高清渲染管线（HDRP）的改进，进一步完善了端到端的角色创建、动画和创作流程。

除了基于发丝的新头发渲染方案与更新后的数字人包，《Enemies》实时演示现在也开放了下载。你可以亲自体验演示项目的运行时，一如Unite 2022上所展示的那样。

虽然影片本身与原版并无太大区别，项目的最终渲染利用了Ziva技术为主演带来了另一层表演维度。

Ziva在VFX行业拥有多年的经验与先进技术研究，能为游戏、线性内容制作和实时项目带来更高的动画质量。基于机器学习（ML）的技术能做出极度逼真的面部动画及身体与肌肉变形。

为了实现《Enemies》高度写实的画面，Ziva使用了机器学习与4D数据捕捉，这比传统的3D演员扫描流程多了一个维度。原本静态、不可编辑的4D面部表演现在变成了一个带面部骨架的实时布偶，可以随时添加动画或调整面部绑定，同时保持高保真度。

我们团队以4D数据为基础训练了一种机器学习模型，用来制作任意表演。最终，原本3.7 GB大的面部骨架被精简成50 MB，所有4D表演的细节也都得以保留。

这项技术能用一小部分动画数据重现最终动画，以4D不能做到的方式制作实时动画。

为了达成这个目标，Unity的演示团队将重心放在了：

创建布偶

• 为了制作新版Louise，我们与Ziva团队展开了合作。他们使用现有的4D数据库处理机器学习工作流。我们则从《Enemies》演员的身上收集了额外的4D表演数据（只需拍摄几种额外的表情）。这是机器学习方法的一个优势。
• 有着这个组合成的数据集，我们训练出了一个Ziva布偶来精确地重现原表演。我们还能随意修改表演，既可以调整小细节又能更改整个表情。
• 借助机器学习控制4D数据，我们以后就能将一次表演应用到任意大小的面部，用任意3D头部模型运行动画，把一段演出轻松应用到多个演员和实时数字人身上完成再创作。

布偶的控制方案

• 在机器学习部分完成后，我们有200-300个参数，当它们以不同的权重组合起来，可以极为精准地还原4D数据中的所有内容。我们不再需要担心不同的动画师们手动制作的表演会有不同，因为不论面部动画如何，原本演员的个性与气质始终都能被体现。
• 由于Ziva基于变形而非面部骨架，我们可以操控甚至是最为细微的细节，因为面部动画所采取的控制方案能利用起高精度的机器学习参数/数据。
• 至此，我们能利用机器学习得来的参数来灵活地创建一副骨架，反过来使面部变形。Ziva布偶上不存在关节，只有基本的面部逻辑和脖子上的关节。 

那这都意味着什么呢？

这种新的工作流有许多优点。首先，我们可以动态地控制《Enemies》数字人的表演。

我们可以在交付后继续改动角色的表演。数字Louise能以完全不同的表情说同一句台词，能显得更友善、更生气或其他导演设想的情绪。

我们还能在布偶上手动制作新表演，即便原本演员从未做过这些面部表情或反应。如果想把故事开发成互动体验，很重要的一点是扩展数字角色对各类事物的反应，比如对玩家的棋招表达出细微的赞同或不赞同表情。

为了获得最高的保真度，Ziva团队可以用自己的4D数据新建一个布偶。他们最新发布的beta版Face Trainer是基于全面4D数据库和ML算法打造的，可以训练任意面部网格模型实时表演最为复杂的表情，而无需捕捉额外的4D数据。

另外，只有第一句台词的创作需要花上一定的时间和成本，往后的新台词创作起来会省时省力得多。我们可以让女演员带上HMC头戴摄像机来说出更多台词，然后使用 HMC 数据驱动布偶，或请另一名表演者说出台词，把采集到的数据重新匹配到布偶上。

在SIGGRAPH Real-Time Live!上我们演示了如何将《Enemies》的表演应用到另一位女演员布偶上——我们最终替换掉了故事的主演，而不改变其他任何内容。

这段表演随后在Unite 2022的主题演讲上进行了展示（位于01:03:00），《Enemies》运行在了Xbox Series X上，启用了DX12与实时光线追踪。

为了进一步提高《Enemies》的图像质量，我们利用了多个HDRP系统。包括Shader Graph运动矢量，Adaptive Probe Volumes（自适应探针体积，APV）及头发着色。

《Enemies》还利用了HDRP的实时光线追踪和Unity的NVIDIA DLSS 2.0（深度学习超采样）原生支持，让项目能以4K运行，画面逼近原生分辨率。所有这些更新后的Unity特色功能目前已在Unity 2022.2 LTS开放使用。

全新的发丝级头发渲染方案开发于《Enemies》项目期间，可以实时模拟单根发丝。这项技术目前已作为实验性软件包在GitHub开放（需Unity 2022.2.0f1及以上版本），并带有上手教程。

通过整合Unity头发的创作、模拟、着色和渲染，该方案可以应用在数字人和数字生物上，用于写实或风格化的项目。我们即将推出HDRP的Software Rasterizer（软件光栅器）来让头发渲染方案的性能更强。我们还会带来更多样的创作选择，整合Wētā Wig 工具来制作类似《Lion》演示里的复杂狮毛造型。

新版数字人软件包进一步扩展了《The Heretic》里的创新技术，为角色提供了一种写实的着色模型。

更新包括：

• 更好的4D流程
• 运行于GPU的高性能Skin Attachment（皮肤附着）系统，用于精细网格模型
• 虹膜带焦散效果的逼真眼球（在Unity 2022.2的HDRP中可用）
• 新皮肤着色器，用现有编辑器技术创建而成
• 用于模拟血流和皱纹的张力技术

还有更多会陆续登场。

了解Ziva如何让项目栩栩如生。注册接收你感兴趣的更新，或抢先体验Ziva未来的beta测试项目。如果你想了解更多，可以在这里联系我们。