『The Heretic』の Gawain や『Enemies』の Louise など、私たちのデモチームは、デジタルヒューマンに特に重点を置きながら、高忠実度グラフィック制作のための Unity の能力の限界を押し広げるリアルタイムシネマティックを作り続けています。
よりリアルなデジタルキャラクターを作るための追求は果てしなく続きます。また、GDC2022 で『Enemies』を発表して以来、Unity のグラフィックスエンジニアリングチームやグラフィックス分野を専門とする商用サービスを提供する組織と協力し、より良い、より真に迫ったデジタルヒューマン制作のためのソリューションの研究開発を継続しています。
SIGGRAPH 2022 では、次のステップとして、主人公の演技を負荷の高い 4D データの再生によるものから、軽量の Ziva パペットで置き換えることを発表しました。今回のバージョンアップでは、キャラクターアセット作成、アニメーション、オーサリングのためのエンドツーエンドのパイプラインをさらに発展させることを目的として、Ziva アニメーション技術を、HD レンダーパイプライン(HDRP)を含む Unity の最新のグラフィックス機能と統合しています。
新しいストランドベースのヘアソリューションとアップデートされた デジタルヒューマンパッケージのローンチと同時に、『Enemies』のリアルタイムデモがダウンロードできるようになりました。Unite 2022 で上映されたのと同じように、リアルタイムで実行し、ご自身で体験することができます。
シネマティックはオリジナルとあまり変わらないように見えるかもしれませんが、その最終レンダリング版は、Ziva のテクノロジーが組み込まれたことで『Enemies』の主人公がまた新しい次元へと移行したことを示しています。
Ziva は、VFX 業界における数十年の経験と先駆的な研究により、ゲーム、リニアコンテンツ制作、リアルタイムプロジェクトにおいて、より高いアニメーション品質を実現します。機械学習(ML)技術により、フェイシャルアニメーションや身体・筋肉の変形をリアルに表現することができます。
『Enemies』で要求されるリアルさを実現するために、Ziva は機械学習と、俳優を 3D スキャンする従来のプロセスを超える 4D データキャプチャーを使用しました。静的で編集不可能だった 4D キャプチャのフェイシャルパフォーマンスは、高い忠実度を維持しながら、いつでもアニメーションや調整が可能なフェイシャルリグを持つリアルタイムパペットへと生まれ変わりました。
私たちのチームは、その 4D キャプチャデータを基に、機械学習されたモデルをトレーニングし、あらゆる演技をアニメーションで表現できるようにしました。最終的に、オリジナル版の 3.7GB という巨大な容量を不要としつつ、4D キャプチャによって生み出された演技のディテールをすべて引き継いだ 50MB のフェイシャルリグが完成しました。
このテクノロジーは、4D では通常不可能な方法でリアルタイムに演算結果を生み出すことで、アニメーションデータのほんの一部を使ってオリジナルの結果を複製できるということです。
これを実現するために、Unity のデモチームは、以下のことに注力しました。
パペットの作成
パペットの制御方式
この新しいワークフローには、多くの利点があります。まず第一に、『Enemies』のデジタルヒューマンの演技を動的に調整することができるようになりました。
これにより、すでに納品された後のキャラクターの演技を変更することができるのです。デジタル版の Louise は、以前と同じセリフを言うのに、表情がまったく違うのです。例えば、親しみやすかったり、怒っていたり、監督が思い描いたとおりの感情を表現することができるのです。
また、オリジナルの女優が演じなかった表情やリアクションを、パペットを使って手作業で新たに作成することも可能です。ストーリーをインタラクティブな体験に発展させたいというのであれば、デジタルキャラクターが反応する内容、例えばプレイヤーのチェスの指し手に対して賛否のニュアンスを持たせるなど、可能性を広げることが重要だと思います。
最高レベルの忠実度を実現するために、Ziva チームは独自の 4D データセットで新しいパペットを作成することも可能です。また、Ziva は最近、4D データと ML アルゴリズムの包括的なライブラリに基づいて構築された製品である Face Trainer のベータ版をリリースしました。新たに 4D キャプチャを行うことなく、あらゆる顔のメッシュをリアルタイムに学習させ、ものすごく複雑な表情をさせることも可能です。
さらに、新しいセリフの作成も可能で、オリジナル版のセリフの作成に比べてはるかに小さな時間とコストで行うことができます。これは、元の女優に HMC で追加のセリフを演じてもらい、その HMC データを使ってパペットを動かす方法と、別の演者に新しいセリフを演じてもらい、その HMC データを既存のパペットにリターゲットする方法とがあります。
SIGGRAPH Real-Time Live! では、『Enemies』のオリジナル版の演技を別の女優のパペットに適用し、最終的に物語の主人公を何も変えずに別人に置き換える方法を示しました。
この演技は、『Enemies』が、DX12 とリアルタイムレイトレーシングを搭載した Xbox Series X 上で動作する様子を紹介した Unite 2022 の基調講演(01:03:00 の時点) で披露されました。
『Enemies』のビジュアルの品質をさらに高めるために、多くの HDRP システムを活用しました。これには、シェーダーグラフのモーションベクトル、Adaptive Probe Volumes(APV)、そしてもちろんヘアシェーディングが含まれています。
また『Enemies 』は、HDRP によるリアルタイムレイトレーシングと NVIDIA DLSS 2.0(Deep Learning Super Sampling)の Unity ネイティブサポートを活用し、ネイティブ解像度並みの 4K 画質で動作させることが可能になっています。これらのアップデートされた Unity の機能は、すべて Unity 2022 LTS で利用可能となりました。
『Enemies』デモの制作中に開発された、まったく新しいストランドベースのヘアソリューションは、毛髪をリアルタイムで個別にシミュレートすることができます。このテクノロジーは現在、実験的なパッケージとして GitHub から入手可能です(Unity 2020.2.0f1 以降が必要)。また、使い始める際に役立つチュートリアルもご用意しております。
このソリューションはヘアのオーサリング、シミュレーション、シェーディング、レンダリングまで揃った完全なパイプラインを Unity に統合したことで、このソリューションをリアリティを求めるプロジェクトと特定のスタイルを持つプロジェクトの両方において、デジタルヒューマンやクリーチャーの制作に適用することができるようになりました。開発作業は、HDRP に搭載される予定の Software Rasterizer によって実現される、ヘアレンダリングのためのより高性能なソリューションへと続いていきます。また、Wētā Wig ツールを採用・統合し、『Lion』デモで披露したようなより複雑なグルーミングに対応するなど、オーサリングのオプションの多様化も進めています。
『The Heretic』における技術的なイノベーションを発展させ、更新されたデジタルヒューマンパッケージにおいて、Unity でレンダリングされたキャラクター用のリアルなシェーディングモデルを提供します。
アップデートには下記の内容が含まれます。
そしていつものように、これからまだまだ続報が出てきます。
皆さんが次に取り組むプロジェクトを形にするために、Ziva がどのように役立つかご覧ください。今後、Ziva のベータ版プログラムへの早期アクセスやアップデートを希望される方は、こちらからぜひご登録ください。もっと詳しく知りたい方は、こちらからお問い合わせください。