ニール・ブロムカンプ監督が語る、Unity のボリューメトリックキャプチャーが新作ホラー映画『Demonic』にもたらしたもの

この記事は 2021 年 8 月に befores & afters で公開された VFX ジャーナリスト Ian Failes 氏による記事の転載です。

Failes 氏はブロムカンプ監督と対談し、『Demonic』で使われた Unity のボリューメトリックツールについて、それがパフォーマンスを得るためにどのように働いたか、また、今後のプロジェクトでボリューメトリックキャプチャー（vol-cap）をどのように活用していくかについて監督の考えを聞きました。

ニール・ブロムカンプ監督にはビジュアルエフェクトのバックグラウンドがあります。『第9地区』、『エリジウム』などの劇場作品や、Oats Studios のショートフィルムを世に送り出す際に彼が使ってきた革新的な VFX 手法は、こうしたバックグラウンドから生まれている面があります。

8 月 20 日に劇場とビデオオンデマンドで同時公開された『Demonic』では、ブロムカンプ監督はさらに一歩進んで、このホラー映画の「シミュレーション」や夢のシーンにボリューメトリックキャプチャーを採用しました。夢のシーンでは俳優を複数のカメラを並べて撮影し、そこから得られたボリューメトリックな点群データを用いて、俳優の姿をレンダリングしています。ボリューメトリック技術を使ったシーンは、これまでの長編映画の中でも最も長くなりました。

キャプチャーシステムは Volumetric Camera Systems 社が提供しました。UPP 社の Viktor Muller 氏は、『Demonic』のビジュアルエフェクト部門のスーパーバイザーを務めました。彼は本作のエグゼクティブプロデューサーでもあります。これに加えて、Unity の協力のもと、制作チームはゲームエンジンに搭載された新技術「Project Inplay」（現時点でのコードネーム）を採用し、ボリューメトリックな点群データをエンジンに取り込み、リアルタイムにレンダリングできるようにしました。

ニール・ブロムカンプ監督（以下、ブロムカンプ監督）：VFX 出身の私は、コンピューターグラフィックスに関連するものにとても興味があるんだと思います。私はユーザーをとりこにできる 3D 環境にとてもとても興味があるのですが、それが私がゲームを好きな理由かもしれません。

しばしばゲームそのものよりも、3D 環境の中に没入するという考え方のほうが好きになることがあります。そして、解像度が上がり、物理的にリアルになればなるほど、そうした環境が面白くなってくると思います。シミュレーションというアイデアには、何か魅力的なものがあります。

ボリューメトリックキャプチャーは、私の中である種の類似したものに対するスイッチを入れてくれました。それが何かははっきりと説明できないのですが、RGB データと集められたすべてのテクスチャが貼り付けられた動くジオメトリの塊として、俳優を 3 次元的にキャプチャーできる環境というもののことを、私は非常に興味深く、クールなものだと考えています。これは非常に新しいものであり、関連した問題も山積していますが、それはきっと解決されるでしょう。

ただ好きだから、なんとか使いたいと思っていました。2、3 年前からロサンゼルスの Metastage 社と話をしていたのですが、そこではこれはどのような仕組みで動くのか、映画の中でどのように使うのかという話をしていました。「それをどう使うかを明らかにしたい」と頭の中にファイルしていました。

Oats Studios はそのための完璧なプラットフォームだったと言えるでしょう。私たちはショートフィルムを作ってそれを簡単に証明することができました。どんな正当化も必要ないほど簡単に。やればできたということです。そこでパンデミックが発生し、とにかく何かやろうということで、自分たちで資金を調達して短いホラー映画を撮ろうと思った時、頭の片隅に置いていた「2 時間の物語映画でぼりゅメトリックキャプチャーを使う方法を考えてみよう」というアイデアを復活させました。  

ブロムカンプ監督：当面の問題としては、新しいものであるがゆえに不具合があることが挙げられます。そのためには、物語の中でその技術が実際に試作品として登場するというように、その不具合が正当化できる方法でシナリオを描かなければならないと考えました。それこそが私がやったことです。私は、ボリューメトリック技術がストーリーの鍵となるような方法で、それをストーリーに組み込むという道を選びました。そうすれば、通常の VFX を使っているように見せてしまうと起きる、解像度の問題や観客が戸惑うような不具合が発生するという問題もなくなると考えました。

考え方としては、1 つの物体のフォトグラメトリを行い、それをもとにコンピューターに 3 次元の物体を推定させるというものです。物体だけではありません。そこにある RGB データもすべて含まれており、影や欠けた部分などもすべて含まれています。これらの情報は物体についてくるものです。こうしたデータを、1 秒間に 24 回も収録します。つまり、すべてのメッシュが互いに何の関係もないということです。それらはすべて、1 フレームごとに形を変えてそこにある粘土のように独立して計算されていきます。ある意味、昔のアニメーションのようなもので、1 秒間に 24 フレームのサイクルで異なるオブジェクトを隠したり隠したりしています。そして、それをひたすら続けるのです。

そのため、物体の調整ができないのは、一方では奇妙なことです。物体の情報はあるがままです。この物体に焼き付けられているのです。できることは何もありません。相手の手を握って、インバースキネマティクス（IK）リグのようなものがあって、それを動かすことができるという考えは通用しません。そんなものはない、という感じです。ただの物体です。

そして 2 つ目の問題は、表面の区別がまったくないことです。つまり、1 つのマップを大量の気の狂ったようなジオメトリに投入するのです。また、1 枚の画像として見るといい感じなのですが、UV ファイルを見ると、散らばってぐしゃぐしゃになっていて見ているだけで具合が悪くなる感じがします。また、反射やマットサーフェス、半透明、サブサーフェスなど、物体表面の区別もありません。全部 1 つのものになっています。

そのため、通常の VFX の感覚で実際に使用されるようになるにはまだ時間がかかります。しかし、この映画では、撮ったキャプチャを Unity に落とし込み、3D リアルタイムパッケージでライブで流し、vol-cap の再生を見ながら、カメラアングルやライティングなどを考えるというアイデアを実行に移すことができました。出来上がってきたものは非常に気に入っています。それこそが私のやりたかったことであり、映画のシナリオがそれを可能にしてくれたのです。

ブロムカンプ監督：バンクーバーで Volumetric Capture Systems（VCS）社と出会えたのは幸運でした。足場の上に 265 台の 4K カメラを設置したリグを作ったのです。こういうリグは通常は半球型ですが、私たちの場合は側面に余裕が必要でした。ですので、実際には円柱型のリグになりました。さらに、幅 1 メートルの可動式半球に 40 ～ 50 台のカメラを搭載し、それを近づけて撮影してフェイシャルキャプチャーを行いました。

正直、俳優を撮影する上でこれ以上の環境は考えられません。他にできることといえば、水を入れることくらいでしょうか。半水面だったら、それが出来を悪くする唯一の要素かもしれません。俳優の Carly Pope と Nathalie Boltt が、そのような非常識な環境の中で素晴らしい仕事をしたことに敬意を表します。

もうひとつは、もしかしたら非常に奇妙なことに思われるかもしれませんが、少なくとも私にとっては、パフォーマンスを観察するための明確な方法が、監視カメラ以外にはなかったということです。カメラマンに監視カメラを持たせて俳優を追いかける形で動き回ってもらい、私はそれらのカメラからの映像を見ていたのです。なぜなら、他の 265 台のカメラはすべて静止していて、俳優がフレーム内のその瞬間にいる場所を記録しているからです。

つまり、ボリュームキャプチャーリグからのフィードバックは得られず、まだデータが計算されていないのでバーチャルカメラもありません。基本的には舞台演劇のように座っているだけですね。

モーキャプ（モーションキャプチャー）のセットでは、それは違う。モーキャプでは、バーチャルカメラを手にして、俳優がいてもいなくても、自分だけで撮影ができます。vol-cap では、何か月もデータを処理した後、それを Unity に読み込むことができました。そうしたら、この素晴らしいリアルタイム環境が手に入りました。あとはバーチャルカメラを持ち込んで、ただ見ているだけでも大丈夫です。それまで見ていたものがいきなり最終版のものになるのですから、通常のモーションキャプチャーよりも飛躍的に進歩したと言えるでしょう。すべてが最終版として出来上がってきます。あとは、どこに照明を配置するかという問題ですね。

最初は何もないのに、いきなり最終的なキャラクターができてしまう。つまり、リグに割り当てているわけではないのです。リグに 3D メッシュを割り当てていない。リターゲティングはありません。モーフターゲットはありません。入ってきたらもう完成しているのです。とてもクールでした。

4K カメラで 265 回撮影し、1 撮影ごとに 30 分の映像ができるので、データ管理とロジスティックスはまさに悪夢のようでした。一晩で 12 ～ 15 テラバイトのデータをダウンロードしていたんじゃないかと思います。そのため、実際には VCS のコンピューターを補強する必要がありました。翌朝からの撮影のために、現場に自前で 24 台のコンピューターをセットに持ち込んだと思います。

ブロムカンプ監督：そうですね、たとえば Unity で作ったリアルタイムで動くものは、私にとって最も興味深いものでしょう。私は自分がどれほど 3D 環境を愛しているかを語ってきました。Quixel Megascans のようなツールや、デジタルで合成された葉を掴んで物に落としたり、リアルタイムシミュレーション、リアルタイムラジオシティ、リアルタイムレイトレーシングや反射が使えるようになっているところを見た人が、制作環境をじっくり使い込めば、ここで挙げたようなものを作ることができます。

またオーディオを入れると、実はちょっとゲームのようなものになってくるのですが、それが観客にとって実際に没入感のある体験であるなら、私は完全にそのようなものに夢中になります。

フォトグラメトリは、私が個人的に好きな、美術面を考慮して制作において選ぶ方法と結びついています。私は、フォトグラメトリの持つブレやリアルさが好きです。古い納屋をフォトグラメトリで取り込むと、アーティストの才能に関係なく、クールで素晴らしいざらざらとした質感が得られます。アーティストの手作業では、あんなにリアルなものは作れません。

ですから、道具を使ってみたいかという質問の答えは、絶対に「イエス」です。また、従来の 3D パッケージよりも Unity のようなものを学ぶべきかもしれません。実は、Cinema 4D というソフトを知るために、いじり始めたばかりなんです。  

ブロムカンプ監督：正直に言うと、私は誰かが見た目を変えられるかはよく分かりません。つまり、VFX のクリーンアップのような扱いをしないので、文字通り誰かが見た目をどのように変えるかを知らないのです。そのため、不具合があることを承知の上で臨む必要がありました。フォトグラメトリで静止している物体を扱うならば、その物体を驚くほど鮮明に抽出することができます。Canon Mark III を持って古い農耕用トラクターの周りを歩き回り、あらゆる角度から 600 枚の写真を撮影し、それを RealityCapture に渡してモデルを作成させ、RGB データをすべて出力させれば、それはとても良いものになるでしょう。素晴らしく鮮明に見えると思います。

つまり、理論的には、人が椅子に座っていて、その人の顔の数センチのところにカメラを持ってきて、カメラで撮影してそれを動画として記録すれば、超高精細な動画が得られるということです。髪の毛の一本一本が見えることもあります。

しかし、人から 1cm の距離しかなかったところから、10cm 離れ、1m 離れと距離を取っていくと、解像度が指数関数的に低下します。なぜなら、フレーム内での被写体のサイズを考えればわかるように、その落差はとんでもないものだからです。そのため、俳優がほとんど動けないほどの大きさの空間（4×4 mの円柱形ボリュームの空間）に入る頃には、指数関数的なカーブを描いて解像度が落ちていきます。

もっとも、こうなることはわかっていました。テスト撮影をして、解像度がどのくらいになるのか大体わかっていたのです。それが不具合のある、低解像度の見た目になるだろうこともわかっていました。つまり、それが非常にクールに ー あくまで私にとっては、ですが ー なることがわかっていたのです。私はこの見た目が大好きです。そして、そうした見た目がストーリーにバッチリ合うこともわかっていました。誰かを騙そうとしたわけではありません。映画の中では、昏睡状態や四肢麻痺の状態にある人のための、初期のプロトタイプ、開発初期段階の VR 技術だと説明していました。だから、映画の文脈の中では、うまくいっていると思います。

ただ、私がビルボードの上にホログラムを出す以外で使えると想像できるのは、ほとんどこの環境だけです。しかし、それも変わっていくでしょう。解像度が上がれば、もっと使われるようになると思います。

ブロムカンプ監督：それは単に計算機に関する事柄です。ムーアの法則が効力を失うのも、そう遠くないかもしれません。もっとも、コンピューターの回路が量子的なものに近づいていくのに、あと何年かかるかはわかりません。そのため、実際どのくらいの処理能力を余分に得られるのかもわかりません。

チップはかなり良くなっています。それでも成果物を手に入れるためにこのように非常識なまでの時間を必要とします。だから、それが 100 倍になっても、1000 倍になっても、やはりリアルタイムには程遠い。でも、正直なところ、そんなことはどうでもいいと思っています。私はそれが重要だとは思いません。Unity のようなものを使い始め、データを持ってきて実際にそれを扱うようになってきたら、よりそれが重要になってくると思います。

リアルタイム映画やバーチャルシネマの要点は、日々の制作の制約から解放されることにあります。太陽が沈んでしまう、大雨に降られた、午後 5 時になったらエキストラがいなくなってしまったなど、あらゆる問題に対応できます。バーチャルプロダクションの要点は、静かで管理されたポストプロダクション施設で、Unity などで 3D 素材をロードし、バーチャルカメラを手にして、時間をかけて、必要なら何週間もかけて、じっくりと思い通りに仕上げることができることです。そういう意味では、vol-cap データを収集してから、それを 3D 化してリアルタイム環境に落とし込むまでに時間がかかっても問題ないと考えています。

問題になるのは ー これは実に大きな問題なのですが ー 現時点で従う必要のある非常に制限の多い非常識な方法で、キャプチャーをどのように行うか、ということです。それが変わるのです。