『Enemies』のメイキング：Ziva によるデジタルヒューマンのさらなる進化

『The Heretic』の Gawain や『Enemies』の Louise など、私たちのデモチームは、デジタルヒューマンに特に重点を置きながら、高忠実度グラフィック制作のための Unity の能力の限界を押し広げるリアルタイムシネマティックを作り続けています。

よりリアルなデジタルキャラクターを作るための追求は果てしなく続きます。また、GDC2022 で『Enemies』を発表して以来、Unity のグラフィックスエンジニアリングチームやグラフィックス分野を専門とする商用サービスを提供する組織と協力し、より良い、より真に迫ったデジタルヒューマン制作のためのソリューションの研究開発を継続しています。

SIGGRAPH 2022 では、次のステップとして、主人公の演技を負荷の高い 4D データの再生によるものから、軽量の Ziva パペットで置き換えることを発表しました。今回のバージョンアップでは、キャラクターアセット作成、アニメーション、オーサリングのためのエンドツーエンドのパイプラインをさらに発展させることを目的として、Ziva アニメーション技術を、HD レンダーパイプライン（HDRP）を含む Unity の最新のグラフィックス機能と統合しています。

新しいストランドベースのヘアソリューションとアップデートされた デジタルヒューマンパッケージのローンチと同時に、『Enemies』のリアルタイムデモがダウンロードできるようになりました。Unite 2022 で上映されたのと同じように、リアルタイムで実行し、ご自身で体験することができます。

シネマティックはオリジナルとあまり変わらないように見えるかもしれませんが、その最終レンダリング版は、Ziva のテクノロジーが組み込まれたことで『Enemies』の主人公がまた新しい次元へと移行したことを示しています。

Ziva は、VFX 業界における数十年の経験と先駆的な研究により、ゲーム、リニアコンテンツ制作、リアルタイムプロジェクトにおいて、より高いアニメーション品質を実現します。機械学習（ML）技術により、フェイシャルアニメーションや身体・筋肉の変形をリアルに表現することができます。

『Enemies』で要求されるリアルさを実現するために、Ziva は機械学習と、俳優を 3D スキャンする従来のプロセスを超える 4D データキャプチャーを使用しました。静的で編集不可能だった 4D キャプチャのフェイシャルパフォーマンスは、高い忠実度を維持しながら、いつでもアニメーションや調整が可能なフェイシャルリグを持つリアルタイムパペットへと生まれ変わりました。

私たちのチームは、その 4D キャプチャデータを基に、機械学習されたモデルをトレーニングし、あらゆる演技をアニメーションで表現できるようにしました。最終的に、オリジナル版の 3.7GB という巨大な容量を不要としつつ、4D キャプチャによって生み出された演技のディテールをすべて引き継いだ 50MB のフェイシャルリグが完成しました。

このテクノロジーは、4D では通常不可能な方法でリアルタイムに演算結果を生み出すことで、アニメーションデータのほんの一部を使ってオリジナルの結果を複製できるということです。

これを実現するために、Unity のデモチームは、以下のことに注力しました。

パペットの作成

• 新しいバージョンの Louise を作るために、私たちは Ziva のチームと協力しました。既存の 4D データライブラリを用いて、機械学習のワークフローを処理したのです。追加の 4D データは、オリジナルの『Enemies』の俳優に新しく演技してもらうことで収集しました（追加で収集する必要があったのは、2、3 の表情だけでした）。これは、私たちの機械学習アプローチのユニークな利点の 1 つです。
• この複合データセットを用いて Ziva パペットの学習を行い、オリジナルの演技を正確に再現させました。この演技の細部の調整から表現全体の変更まで、いかようにも修正することができます。
• 機械学習を通して 4D データキャプチャを使うことで、1 つの演技を比率の異なる複数の顔に適用してユーザーに見せるという方法で、未知の任意の演技をどんな 3D の頭部ででも表現できるようになるでしょう。これにより、将来のバージョンでは、複数の俳優や複数のリアルタイムデジタルヒューマンを使った形へと演技の幅を広げることが容易になります。

パペットの制御方式

• 機械学習が完了すると、200 〜 300 のパラメーターができあがり、それらを組み合わせたり、重みを変えたりすることで、4D データで見たものを驚くほど正確に再現することができるようになったのです。手描きアニメーションの演出を、別のアニメーターが使うと見栄えが変わってしまうという心配がなかったのです。オリジナルの俳優の人柄や個性は、どのようなフェイシャルアニメーションを選んだとしても伝わってくるものです。
• Ziva はフェイシャルリグではなくデフォーメーションをベースにしており、学習した顔は機械学習したパラメーターおよびデータの忠実度を生かすために開発した制御方式を使っているので、本当に細かいところまで操作することができました。
• この時点では、リグの作成は機械学習されたパラメーターを利用すればよいので、比較的自由度の高い作業となりました。これにより、次は顔が変形していきます。Ziva パペットには、基本的な論理的な顔や首のジョイントの他に、ジョイントはありません。 

これは一体、どういうことなのでしょうか。

この新しいワークフローには、多くの利点があります。まず第一に、『Enemies』のデジタルヒューマンの演技を動的に調整することができるようになりました。

これにより、すでに納品された後のキャラクターの演技を変更することができるのです。デジタル版の Louise は、以前と同じセリフを言うのに、表情がまったく違うのです。例えば、親しみやすかったり、怒っていたり、監督が思い描いたとおりの感情を表現することができるのです。

また、オリジナルの女優が演じなかった表情やリアクションを、パペットを使って手作業で新たに作成することも可能です。ストーリーをインタラクティブな体験に発展させたいというのであれば、デジタルキャラクターが反応する内容、例えばプレイヤーのチェスの指し手に対して賛否のニュアンスを持たせるなど、可能性を広げることが重要だと思います。

最高レベルの忠実度を実現するために、Ziva チームは独自の 4D データセットで新しいパペットを作成することも可能です。また、Ziva は最近、4D データと ML アルゴリズムの包括的なライブラリに基づいて構築された製品である Face Trainer のベータ版をリリースしました。新たに 4D キャプチャを行うことなく、あらゆる顔のメッシュをリアルタイムに学習させ、ものすごく複雑な表情をさせることも可能です。

さらに、新しいセリフの作成も可能で、オリジナル版のセリフの作成に比べてはるかに小さな時間とコストで行うことができます。これは、元の女優に HMC で追加のセリフを演じてもらい、その HMC データを使ってパペットを動かす方法と、別の演者に新しいセリフを演じてもらい、その HMC データを既存のパペットにリターゲットする方法とがあります。

SIGGRAPH Real-Time Live! では、『Enemies』のオリジナル版の演技を別の女優のパペットに適用し、最終的に物語の主人公を何も変えずに別人に置き換える方法を示しました。

この演技は、『Enemies』が、DX12 とリアルタイムレイトレーシングを搭載した Xbox Series X 上で動作する様子を紹介した Unite 2022 の基調講演（01:03:00 の時点） で披露されました。

『Enemies』のビジュアルの品質をさらに高めるために、多くの HDRP システムを活用しました。これには、シェーダーグラフのモーションベクトル、Adaptive Probe Volumes（APV）、そしてもちろんヘアシェーディングが含まれています。

また『Enemies 』は、HDRP によるリアルタイムレイトレーシングと NVIDIA DLSS 2.0（Deep Learning Super Sampling）の Unity ネイティブサポートを活用し、ネイティブ解像度並みの 4K 画質で動作させることが可能になっています。これらのアップデートされた Unity の機能は、すべて Unity 2022 LTS で利用可能となりました。

『Enemies』デモの制作中に開発された、まったく新しいストランドベースのヘアソリューションは、毛髪をリアルタイムで個別にシミュレートすることができます。このテクノロジーは現在、実験的なパッケージとして GitHub から入手可能です（Unity 2020.2.0f1 以降が必要）。また、使い始める際に役立つチュートリアルもご用意しております。

このソリューションはヘアのオーサリング、シミュレーション、シェーディング、レンダリングまで揃った完全なパイプラインを Unity に統合したことで、このソリューションをリアリティを求めるプロジェクトと特定のスタイルを持つプロジェクトの両方において、デジタルヒューマンやクリーチャーの制作に適用することができるようになりました。開発作業は、HDRP に搭載される予定の Software Rasterizer によって実現される、ヘアレンダリングのためのより高性能なソリューションへと続いていきます。また、Wētā Wig ツールを採用・統合し、『Lion』デモで披露したようなより複雑なグルーミングに対応するなど、オーサリングのオプションの多様化も進めています。

『The Heretic』における技術的なイノベーションを発展させ、更新されたデジタルヒューマンパッケージにおいて、Unity でレンダリングされたキャラクター用のリアルなシェーディングモデルを提供します。

アップデートには下記の内容が含まれます。

• 改良された 4D パイプライン
• 高密度メッシュのために GPU 上でより高性能な Skin Attachment システム
• 虹彩にコースティクスを使用した、よりリアルな眼球の表現（Unity 2022.2 時点の HDRP で使用可能）。
• 提供されているエディター技術で構築された新しいスキンシェーダー
• フェイシャルリグを不要にする、血流シミュレーションと皺のマップのための張力を扱うテクノロジー

そしていつものように、これからまだまだ続報が出てきます。

皆さんが次に取り組むプロジェクトを形にするために、Ziva がどのように役立つかご覧ください。今後、Ziva のベータ版プログラムへの早期アクセスやアップデートを希望される方は、こちらからぜひご登録ください。もっと詳しく知りたい方は、こちらからお問い合わせください。