『Dark Asset』の制作：プレビズから完成版の画作りまで、セターレ・サマンダリ氏に聞く

『ガンズ・アンド・ギャンブラー』のマイケル・ウィニック監督による最新映画作品『Dark Asset』は、スパイ、マイクロチップ、軍の科学者（そのうちの 1 人は T-1000 のロバート・パトリック氏が演じています）の物語です。アクションスリラーにうってつけのコンビネーションについて話を聞いてきました。

プロットを台無しにしたくはありません。そこで、この作品のビジュアルエフェクト（VFX）のリードアーティストを務めるセターレ・サマンダリ氏が、プロジェクトを実現に導き、Unity でプレビズを行うことで、制作ワークフロー全体を加速させたバーチャルプロダクションの手法について詳しく話してもらいました。この記事では、ハリウッドの Gnomon（ノモン）ビジュアルエフェクトスクールで学び、過去 4 年間にわたって VFX アーティストとして活躍したセターレさんの経験をシェアしてもらいました。

『Dark Asset』の初期の制作プロセスについて少しお聞きしたいと思います。この制作で、バーチャルセットを選んだ理由は何でしょうか。

マイケル・ウィニック監督と私で、バーチャル空間でロケをするか、現実世界でロケハンをするか議論しました。私たちはそれぞれの利点について徹底的に話し合い、最終的に費用と時間の両方を節約できる点を重視して、バーチャルセットを構築することに決めました。LED ウォールで使う環境を 2 つ、その他に、全体をグリーンスクリーンを背景にして撮影されたシーンを 2 つ作りました。

Unity を使ってリアルタイムで作業を行うことで、当初想定していた以外のバーチャルセットによる利点も自然と得られるようになりました。プレビズの際には、どのショットを CG にするか、どのショットをグリーンスクリーンに乗せて撮影するかを議論したり、ストーリーボードの構成やショットのアングルを瞬時に決めることができました。これらはすべて Zoom で行われました。

リアルタイムのアセットを使ったことがどのようにセットのダイナミクスに影響を及ぼしましたか。

『Dark Asset』に限らず、実はアーティスト Shani のミュージックビデオ『Breathe Free』など、私が関わってきた他のプロジェクトでもそうなのですが、Unity を使うと、監督、DP、プロダクションデザイナー、VFX スーパーバイザーなど重要な制作関係者がバーチャルセットを見て、リアルタイムにそれを直接操作することができるようになります。これが物事をさらに効率的にしてくれました。コミュニケーションとディレクションの両方がより明確になりました。

セットのキーイングを行ったり、バーチャル背景を合成してグリーンスクリーンを背景に撮影したキャラクターが画面になじむかをチェックすることができました。これにより、監督のマイケルやチームの他のメンバーに幅広い選択肢が提示され、私たちの制作上の意図に近いものを出し続けることができました。

俳優にとっても良いことがありました。LED ボリュームではなくグリーンスクリーンが使われる場合、私たちは同じツールを使って俳優がバーチャルステージに合成されたリアルタイムのプレビューを提供することができました。これが俳優にカメラの動きのプレビューを見せる役割も果たしたのです。

ライティングやバーチャルセットの内装をすべてインタラクティブに調整できたので、従来の NUKE（高機能のデジタル合成ソフトウェア）に戻って調整を行う方法よりはるかに簡単になりました。これはポストプロダクションでの大幅な時間節約につながり、また私たちを危ないところで救ってくれる場面もありました。特にプレビズ作業をすべて終えた後で顕著でした。全員がセットで何が起きようとしているのかについて、はるかに良く意識できるようになったと思います。

それはより良いものを作り出す大きなチャンスだと感じます。これらのリアルタイムアセットを使って作ったシーンについてご説明願えますか。

女性の主人公がオフィスで座っているシーンがあります。これの 3D 背景は私が Unity で構築しました。カメラの視点を合わせ、グリーンスクリーンを使って現実のライティングを取り込むことで、リアルに見えるようにできました。

監督のマイケルと一緒に、彼がシーンに置きたいと考えていたオフィススタイルをデザインするのはとても楽しい作業でした。私がすでに Unity に取り込んでいたアセットやマテリアルを持ってきてオフィスのレイアウトを行い、マイケルの指示をもらって彼の望みの見た目に作り上げていきました。

『Dark Asset』のセットの仕事をする際、Unity を使ったことで現れた明確な違いはありましたか。

物事がとても素早く、簡単に進むようになりました！変更を加えたらその結果がすぐに見られるので、レンダリング時間が長いことを気にしなくてよかったのです。リアルタイム 3D ワークフローに比べると、合成はとてもゆっくりしたプロセスです。

ある特定のショットのセットで、ガラスを割る必要があったのですが、撮影の日にそれが割れなかったのです。そこで私たちは同じガラスに要素を追加し、後でグリーンスクリーンの前でそれを割り、Unity でライティングとレンダリングをすべて行いました。ライブで撮影したのと同じようにリアルタイムですべてを編集できたのは素晴らしかったです。シーンを再撮影することなく完成版のショットをより制御することができ、時間と費用を明らかに節約することができました。

Unity Virtual Camera を使って、グリーンスクリーンの上で撮影したバーチャルセットのプレビューを追跡しました。同機能は、俳優をグリーンスクリーンからバーチャルセットにはめ込む先となる CG 環境内の新しいカメラの動きを作るためにも使われました。

Virtual Camera は iPad の追跡システムと連動しており、私たちがデバイスを動かすと、CG シーン内のカメラも動き、デバイスに映像をストリームで戻してくれます。私は自由に歩き回り、ショットの合成結果を見て、カメラの動きを記録することでシーンの映像を収録することができました。

私たちはこれを Unity で使う方法をもう 1 つ見つけ、これで時間を大きく節約することができました。映像の中で、俳優にアプリを使ってもらう必要があるシーンがありました。通常、こういうことをやる場合は iPad をグリーンスクリーンと角を追跡するマーカーを使って撮影し、加えて画面をはめ込みながら何百枚ものショットを追跡する必要があります。そこで私たちは考えました。このアプリを Unity で作ったらどうだろうかと。

Unity で「小道具」アプリはすぐに作ることができました。そしてその画面を撮影中に更新して、監督がそのアプリを使ってやらせたい操作を全部やってもらうことができました。アプリには俳優が必要とするインターフェースはすべて盛り込まれており、俳優はカメラで撮影されている間アプリを使うだけでよくなりました。これで時間と追跡する手間を大きく削減することができました。

Virtual Camera に触れられましたが、このツールが撮影でそこまで重要になったのはなぜでしょうか。

撮影中、グリーンスクリーンのステージ上のバーチャル環境をプレビューしたかったのです。そうすると、後からディテールを追加し、完成版の映像を直接 Unity でレンダリングして、NUKE に取り込むことができました。 

バーチャルシーンについては、Unity Virtual Camera を使い、新しいカメラの動きやショット全体を作りました。こうすることで、ショットのライティング、レンズ、フォーカスを決め、タイムラインをスクラブし、シーンに合ったアニメーションを検討することができました。ですので、すべて CG のショットでも、合成されたグリーンスクリーン要素があるショットでも、私たちは Virtual Camera を使って完成版のカメラの動きを作ったということです。

バーチャルプロダクションがセットのライティングの作成プロセスを加速させたというお話がありました。ライティングのビジョンはどのように実現されたのでしょうか。

私たちはプローブボリュームライティングをライティングのノードとして追加しました。こうすることで、ライティングのベイクを非常に素早く行うことができ、ピクセルごとにライティングの補間を行うことでディテールとリアルさも向上しました。従来はプローブをオブジェクト単位で補間していました。

そこで私はこれを HD レンダーパイプライン（HDRP）、リアルタイムのレイトレーシングを使ったグローバルイルミネーション、およびリアルタイム反射と組み合わせました。完成版のレンダリングの設定に磨きをかけられたのは良かったです。

このすべてを HDRP の Depth of Field コンポーネント、および他のポストプロセッシングと組み合わせることで、各ショットを私が見たいと思っていた形にチューニングできるほどに出力をコントロールすることができました。

Unity のスクリプタブルレンダーパイプラインの 1 つである HDRP に言及されましたが、HDRP を使ったお仕事についてもう少しお聞かせ願えますか。

VFX アーティストの私にとって、HDRP はリアルなライティングをリアルタイムに実現してくれるツールです。プレビズだけでなく、映画に合成する完成版の画像をレンダリングするためにも使えます。 

『Dark Asset』では、HDR EXR をアルファチャンネル付きのリニア色空間とポストプロセスボリュームのトーンマッピングで使う ACES 色空間で使いました（リニア色空間でレンダリングを行う際はこれをオフにする必要があります）。

シーンをこのようにリアルに見せるための他の方法はあったのでしょうか。

さらにリアルさを増すために、インテリアにエリアライトを使いました。ただ、ホログラフィックディスプレイとしてキャラクターのエフェクトを作らなければならない複雑なシーンが 1 つありました。

これについては、グリーンスクリーン映像を Adobe After Effects で作成し、ルックの最初の部分を作って、ポストプロセッシングで HDRP のボリューメトリックフォグを使い、ホログラムのビームを光らせました。After Effects で作った映像については、ポリゴンを作ってそれに映像を割り当てることで、シーンに置きました。そしてレンダーテクスチャを使ってキャラクターをそこに配置しました。この方法で、シーンのライティングが画面になじみ、影をバーチャルセットとボリューメトリックフォグに落とすことで、セットのライティングともうまく絡ませることができました。

これはライティングをやる新しい方法です。基本的には、ライトマップを使う代わりにライティングをこれらのプローブボリュームにベイクして、作用させたい領域を伝えるだけです。ボリュームに計算させたい反射の回数とどのくらいの濃度で計算を行うかを伝えれば、4 秒くらいでベイクしてくれます。待ち時間がなく、また動的オブジェクトと静的オブジェクトの間の差もありません。3D キャラクターがシーン内を動いたら、それはプローブボリュームで照らされ、静的オブジェクトも同じように照らされます。

これに加えてレイトレーシングや SSGA を追加することもできます。そうすると、さまざまなオブジェクトをレンダリングする中で、Unity が決めてくれます。そうすると、現実のセットのような見た目と極めて近いものが出来上がるのです。

このプロジェクト以前に Unity を映像制作に使ったことはありましたか。

はい。Unity を覚えてからわずか 1 週間後に、ジャック・レンツ氏の楽曲を使った 3 本のショートフィルムのセットとしてバーチャルワールドを丸ごと作りました。ツールはとても選びやすいと感じました。すごいと思ったのは、アセットをインポートして、各作品の間で移動させ、すべてを 1 つのセットで完結させる自由度があったことです。

『Dark Asset』でのお仕事の他に、ご自分の業界にバーチャルプロダクションがもたらした影響はどのようなものでしたか。また、今後バーチャルプロダクションはどのようになっていくとお考えですか。

バーチャルプロダクションは私の仕事をより便利なものにしてくれました。これはインディーズのプロジェクトで特にそうでした。通常、大きなチームが必要とされますが、バーチャルプロダクションの手法を取れば、どんなサイズのプロジェクトでも小さなリソースでより大きな仕事ができます。

私は VFX に起きたイノベーションが大好きですが、特にバーチャルプロダクションへの愛情は際立っています。技術の点でいえばすべてが常に進歩しています。そしてその進歩によって、私は自分のアイデアをセットの上で表現する力を得られます。ロケハンに行かなくてもセットの上で世界のすべてを変えられますし、時間などの制約もさほど気にしなくてよくなります。

VFX の仕事には、ライティング環境や完全なシーンのレンダリング、複雑なショットの合成など、とても時間がかかる要素が数多くあります。しかしプレビズをリアルタイム環境で行うことで、特にライティングとレンダリングについて、私は大きく時間を節約することができました。そして LED ボリュームのようなものがあることで、実際の現場に赴く費用を減らすこともできます。

LED ボリュームを使うことで、素早く撮影を行い、同じアセットをプレビズから完成版の VFX ショットまで共用することができます。撮影を行う上でのメリットが非常に多いので、映画業界ではリアルタイム環境で大部分の作業を行う傾向がますます強まっています。

バーチャルプロダクション、放送、アニメーション向けの私たちのツールを使って Unity がどのように皆さんの次のプロジェクトを実現に導く力になれるかをご確認ください。次の映像制作のプロジェクトでオーダーメイドのサポートが必要な場合は、私たちのソリューションチームまでご連絡ください。

Unity の驚くような使い方や、私たちがソリューションをどのように発展させていくかについて知りたい方は、11 月 1 日（火）に開催される Unite 2022 にぜひご参加ください。オンライン、対面の両方の形態で開催されます。