デジタルセレブリティ「Sua」

デジタルヒューマンが現実世界に溶け込んでいく中で、とある人物が多くの Unity ユーザーにとって「顔なじみ」になりつつあります。「Sua」です。昨年 6 月に、デジタルセレブリティとして新たなスタートを切ったデジタルヒューマンです。この記事では、Unity 初のリアルタイムデジタルヒューマンであり、Unity Korea 公式キャラクターである Sua について、詳しく見ていきます。

本物の人間のようなデジタルヒューマンが次々と登場し、その多くがインフルエンサーとして活躍する昨今、Sua がこれまで以上に注目を集めるようになっています。On Mind 社の CEO である Hyeong-il Kim 氏は、彼が登壇した Unite Seoul 2020 のセッション「Meeting the Digital Celebrity, Sua」で、現在のグラフィックス技術の到達点を示し、またバーチャルヒューマンを構築するプロセスを示すことで、多くの人々の知的好奇心を満たしました。

デジタルヒューマンは、バーチャルヒューマン、バーチャルインフルエンサー、バーチャル YouTuber などと呼ばれることもあります。こうした呼び方はすべて、人間に似た「デジタル」な存在であることを示唆しています。ですから、「デジタルセレブリティ」という言葉は、ポップカルチャーの世界で人気を得ているデジタルヒューマン ― たとえば Sua のような ― を指します。

On Mind 社は、Sua が実りあるキャリアを築けるように、できる限りのことをしています。彼女をモデル、歌手、俳優など、なんでもこなす多才な存在に育てることを目指しています。Kim 氏はこのように述べています。「私たちは Sua のためにすべての可能性を開いたままにしているんです。彼女はデビューを控えた新人と何ら変わりはありません。皆に愛されるようになるためには、現実の有名人と同じように、彼女を愛し、注目してくれる人の数を増やしていきながら、徐々に名声と認知を大きくしていくしかないと思います。」

Sua が世界規模で注目を集めている理由は、Unity によるリアルタイムレンダリングのおかげで彼女がライブで受け答えできるためです。彼女は、体全体がリアルタイムで動く初めてのデジタルヒューマンなのです。

リアルタイムレンダリングの強みは、高速なレンダリング速度とインタラクティブ性にあります。リアルタイムレンダリングではなく、一般的にオフラインレンダリングを使用する映画やアニメーションでは、事前にレンダリングされた画像を連続したフレームとして表示することで動画にします。コンテンツクリエイターが各シーンのカメラアングルや諸々の詳細な設定を決めた後、何時間もコンピューティングとレンダリングを行って、高品質のグラフィックを作成します。

これとは対照的に、Sua はリアルタイムレンダリングのおかげでインタラクティブなコンテンツを 4K で、しかもライブで表示できます。毎秒 30 フレーム以上で動く Sua の速度とレンダリング品質は、オフラインレンダリングに比べて大きな利点を提供します。

Kim 氏はまた、リアルタイムで対話できることが Sua を特別な存在にしていると述べています。「これまでのデジタルヒューマンとは異なり、Sua はその場で対話できるリアルタイムなデジタルヒューマンです。この分野では、デジタルヒューマンを開発するさまざまな企業によって、数多くの研究開発が行われています。」Kim 氏は他の企業もいずれは Sua と同等のデジタルヒューマンを生み出すだろうと考えていますが、今のところ、彼の会社が高品質のリアルタイムデジタルヒューマンを開発した世界初の企業であることを誇りに思っています。

On Mind 社は、Unity の HD レンダーパイプライン（HDRP）の力を借りて、Sua のリアルなレンダリングを実現しました。HDRP は、高解像度グラフィックスを用いるプロジェクト向けに Unity のスクリプタブルレンダーパイプライン（SRP）を使って構築されたレンダラーで、以下の原則に従って動作します。

• レンダリングは物理ベースに。

• ライティングは統一され（unified）、一貫性のあるもの（coherent）とすること。

• 各機能はレンダリングパスとは独立して機能すること。

これまで、ユーザーはレンダリングパイプラインを変更できませんでした。 SRP を使用すると直接変更を加えることができますが、HDRP はそのためのテンプレートを提供します。

Kim 氏は、HDRP の堅牢なパフォーマンスが、Sua をまるで現実の人間と同じようにリアルな見た目にする上で重要な役割を果たしたと述べています。彼女の肌はシェーダーグラフの StackLit シェーダーを、髪は Hair シェーダーを使用してレンダリングされました。テクスチャを Unity のデフォルトのシェーダーに接続するだけで、HDRP を介してリアリティのあるビジュアルが得られました。

Kim 氏は、HDRP が完璧な物理ライティングを提供し、さらに強力なコンピュートシェーダーを活用できるハードウェアが出てきたことが、On Mind 社が不気味の谷*に嵌ってしまわないリアリティのあるモデルをレンダリングできた要因であると信じています。*

* 非常にリアルに作られたヒューマノイドが視聴者に嫌悪感を引き起こすという理論。

HDRP に加えて、Sua のリアルタイムレンダリングには、顔の特徴点や指のキャプチャ、バーチャルカメラなどの他の高度な技術が必要でした。On Mind 社は、顔のモーションキャプチャに iPhone を使用して、自然な表情をレンダリングしました。リアルタイムキャプチャに使用できるほど強力であり、ブレンドシェイプは、手動でモデル化された Sua に十分に使えるものでした。足が地面に着かないというよくあるモーションキャプチャの問題を回避するために、リギングの設定には特別な注意が払われました。また、自然で細かい指の動きを実現するために、On Mind 社のチームはフィンガートラッキングシステムを採用しました。

On Mind 社は、AI とデジタルヒューマンテクノロジーのさらなる進歩により、まもなく「サービスとしてのデジタルヒューマン」に対する需要が高まると予想しています。音声認識、音声合成、画像認識、ジェスチャー認識、チャットボットなどのソフトウェア側の機能に使われる AI の性能がより人間に近いものになれば、サービスの精度と顧客満足度が向上し、商業環境での AI 活用の新時代が始まる可能性があります。

一般大衆がデジタルヒューマンを完全に受け入れることに懐疑的な人もいるかもしれませんが、いくつかの例はそれが実際に可能であることを示しています。最近、韓国の大手エンターテインメント企業が、現実世界でメンバーを紹介するとともに、デジタル空間にメンバーを登場させて直接やりとりできる形で新しい K-pop ガールグループの紹介を行ったことで大きな注目を集めました。デジタルヒューマンが本当の意味で「有名人」になる時代は、私たちが思っているよりも早く来るかもしれません。

Sua の詳細は、作者の Twitter チャンネルからご確認いただけます。