独立系スタジオ VRFX における、リアルタイム映像制作のための Unity と ArtEngine の活用法

バーチャルプロダクションやリアルタイムでのイテレーションに、Unity を活用する方法にご興味がおありでしょうか。革新的なスタジオが、テクスチャとライティングをリアルタイムで微調整しつつ、どのようにしてクライアントへの納期と予算を守ったか。本記事をこのままお読みいただき、ぜひその手法に触れてください。

パンデミックが世界を大混乱に陥れる中、バーチャルリアリティ（VR）および拡張現実（AR）体験に対する需要が高まりました。しかし、従来の映像製作プロセスもまた、パンデミックによって混乱に陥っていました。安全上の懸念やリモートワークの課題に対応するために、いち早く他の制作手法に切り替える必要がありました。あるインディースタジオは、そこに事業の範囲を拡大する機会を見出しました。

2017 年にフリーランスのクリエイティブ、プログラマー、テクニカルアーティストのグループによって設立された、VRFX Realtime Studio は、「ストーリーに命を吹き込む」という、シンプルながら野心的なミッションを掲げて経営を行っています。

同社はスイスのルツェルンを拠点とする 5 人のチームで、いまから数年前に VR および AR そのものの可能性と、さまざまな業界に幅広く応用できる可能性を認識していました。同時に、これらの技術を使ってカスタマイズされたソリューションを開発できる代理店にまつわるギャップも認識した同社は、Unity を使った開発業務を手掛けるようになりました。Unity が提供する VR/AR 開発者向けのフレームワークがオープンでアクセスしやすく、これを使えばチームが多種多様なソフトウェアや体験を制作できると理解した瞬間、同社は迷うことなく Unity をプラットフォームとして選択しました。

「テクノビジュアル問題解決者（technovisual problem solvers）」と称して、VRFX はさまざまな業界の企業と協力して、リアルタイム 3D の力を活用するソリューションを作り出しています。クライアントの顧客、製品、およびポジショニングに関する知識をその詳細に至るまで集めることで、VRFX はすべての関係者と緊密に協力して、古典的なテレビコマーシャルから美術館の AR 体験まで、あらゆるビジュアルコンテンツを完璧な品質で制作することを可能にしています。同社では複数のフォーマットをまたいだコンテンツを制作するため、同社のメンバーは常に最新のトレンドを把握し、ハードウェアとソフトウェアの新しく興味深い使い方を探究することを求められます。

「チームを大きくする時は、Unity やその他のアニメーションソフトウェアに関する技術的な専門知識だけでなく、前向きな姿勢、完全なワークフローを所有したいという願望、そして新しい挑戦を渇望するような人を探しました。」このように語るのは、VRFX の共同創設者でテクニカルディレクターの Pascal Achermann 氏です。「その結果、私たちのグループには自分たちの仕事を愛する人々が集まりました。これは、私たちがこれまで収めてきた成功に不可欠な要素だったと思います。」

2020 年も VRFX は VR 体験や AR 体験を得意分野として経営を続けていましたが、同社はこの年、バーチャルプロダクションなどの新しい分野に拡大する機会を掴みました。ビジュアルエフェクト、3D コンポジション、映画制作、オーディオエンジニアリングといった専門分野でチームが積み上げてきた実績は、リアルタイム映画制作の領域に踏み出すための確かな土台となっていたのです。

VRFX では Unity エディターと MiddleVR がコアツールとして使われていますが、他にも特定のタスクを遂行するために、いろいろな Unity 開発者が開発したパッケージを活用することがあります。そうしたパッケージとは、たとえば完璧なメッシュと UV を備えた植物や樹木を作成するためのツールだったり、撮影現場のライティングをリアルタイムで制御する DMX（照明制御用の信号）コントローラーだったり、または再生モードでシーンに変更を加える自社開発の「Snap Shot」だったりします。

「何かをする方法がわからないときは、誰かが以前に同じ問題を解決していないかを調べます。」と、VRFX のエンジニアの Nick Schneider 氏は言います。「私たちはこれまで、どうしても作れないというものに出会ったことがありません。Unity コミュニティに目を向けることで、常に解決策が見つかったからです。コミュニティはまったく素晴らしい情報リソースです。」

VRFX は、コロナウイルスの感染拡大を遅らせるために、クリスマス休暇中に住民に社会的距離の取り方を覚えてもらうテレビコマーシャル制作を行うルツェルン政府のプロジェクトで、LED ウォールを使用したバーチャルプロダクションを初めて手がけました。VRFX は、バーチャルプロダクションを使ったセットアップのピッチを行い、これが予算を守り、さらに短い納期をクリアできる唯一の方法であると主張しました。コンテンツの制作と配信に約 1 週間かかるため、ロケーションの選定やポストプロダクションなどの活動に費やす時間はほとんどありませんでした。VRFX は、プリプロダクションのプランニングに少しの時間をかければ、ポストプロダクションのコストをほぼゼロにしてプロジェクトを納品できるだけでなく、将来にわたってさまざまな商用スポットで同じ環境を再利用できる成果物をクライアントに提供できることを知っていました。クライアントも VRFX の提案に乗り気となり、さっそくプランニングが始まりました。

VRFX はバーチャルプロダクションのセットアップとリアルタイムコンテンツの制作を担当し、パートナーとなった代理店の Orisono がストーリーを書き、撮影現場のライティング、撮影、ポストプロダクションを行いました。両社のチームは入居していた Soundville Media Studios で互いに緊密に連携し、プロジェクト全体を約 1 週間で納品しました。Unity での作業は約 3 日で完了しました。

VRFX の重要なタスクの 1 つは、バーチャル背景に使うコンテンツを作成することでした。そのため、プリプロダクション中に、VRFX は Unity にリビングルームのレプリカを作成しました。これは、現実世界のカメラが背景として見るものを表しています。チームは Unity の HD レンダーパイプライン（HDRP）と MiddleVR を活用しました。このセットアップにより、チームは現実世界で使われるライティングの各種数値を使用し、Blackmagic URSA カメラで生じるレンズの歪みをシミュレートし、3D コンテンツを LED ウォールに投影することができました。Unity ArtEngine を使用して、チームは現場で、非常に素早くマテリアルを複製しました。これらのマテリアルは、Unity で仮想的なクローンを作成するためのテクスチャの設定に使用されました。

バーチャルプロダクション環境をセットアップする最初のステップは、実際のセット（パーティ中のリビングルーム）を 3D で複製することでした。そのために、チームは設定されたコンポーネントを測定し、Modo で仮想的なクローンをモデル化しました。

デジタルモデルができると、次に VRFX は Marmoset Toolbag を使用して簡単なプレビジュアライゼーション用のモックアップを作成し、クライアントと撮影クルーがシーンを目で見て確認できるようにしました。プレビジュアライゼーションの内容が承認されると、チームは、ライティング、雰囲気、マテリアルのビジョンを説明するために、より再現度の高いルックデブレンダリングを作成しました。

ルックデブシーンでは、VRFX は撮影監督の Alex Stratigenas 氏と協力して、ショットのフレーミングを調整しました。もう一度クライアントからのフィードバックを受けた後、シーンを Unity HDRP にインポートして、ライティングとマテリアルを適用しました。

バーチャルプロダクションのセットアップにおける重要な要素は柔軟性です。リアルタイムエンジンがこのセットアップの中核ですが、Unity ArtEngine や MiddleVR など、迅速なイテレーションをサポートし、創造性を活かすツールは、アジャイルなワークフローを育てていく上で重要な役割を果たします。

たとえば、現場でクルーが現場のセットとアートのビジョンをより忠実に表現するためにいくつかのマテリアルを交換することにしたとします。以前は、マテリアルは公開されたライブラリからダウンロードされたものを使っており、それはプレースホルダーに過ぎませんでした。チームメンバーはスマートフォンでセットのカーペットとスタジオの壁の写真を数枚撮り、ArtEngine にインポートし、数分でタイル化可能な物理ベースレンダリング（PBR）マテリアルを作成しました。

「ArtEngine を使うと、驚くべき速さで写真からテクスチャを作成できます」と Achermann 氏は説明します。「この制作では、撮影の数分前にカーペットのマテリアルを作成しました。数回クリックするだけで、写真の色を修正し、継ぎ目や不要なアーティファクトを削除して、すべての PBR マップを生成することができました。このようにセットに素早くイテレーションをかける機能は、リアルタイムの映画制作を上手く進めるために重要です。」

次に、ArtEngine の 2K テクスチャが、Quixel Suite を使用して 8K アトラス内にペイントされ、Unity にインポートされました。

次に、シーンが LED ウォールに投影されました。「Unity の画面がこのような大画面に映し出されるところは壮観でした。そして実機のフィルムカメラからキャプチャされたシーンは、さらに素晴らしい見栄えでした。」と Achermann 氏は説明します。

Unity のライティングを実機のカメラでキャプチャされたライティングと一致させることは、バーチャルプロダクションで現実感を出すための重要な要素です。このプロジェクトでは、ライティングとポストプロセッシングのセットアップは比較的簡単でした。

Unity では、チームはベイク済みライトやリアルタイムライトではなく、混合ライトを選択しました。HDRP のライティングは物理ベースであるため、VRFX は、ルクス、カンデラ、またはケルビン（現実世界の物理的な光の標準測定単位）で光の強度を設定することができました。

環境ライティングについては、チームは標準的な画像ベースのライティングワークフローを使用しました。このフローには、他のデジタルコンテンツ制作（DCC）ツールで使用されるワークフローと同様に、現実世界のセットのハイダイナミックレンジイメージング（HDRI）写真を使って、シーンのライティングを定める工程が含まれます。グローバルイルミネーションの要素を追加するために、VRFX は GPU を使用してライトマップのベイキングを行う手法を使い、それを OptiX によるノイズ除去と組み合わせて迅速なプロセスを実現しました。

ポストプロセッシングは最小限で済みました。チームは、単純なスクリーン空間エフェクト（反射、アンビエントオクルージョンなど）を適用し、それだけで環境の見た目は十分に良くなったためです。

最終的な成果物は、短編のほのぼのとしたテレビコマーシャルのシリーズとして放映されました。クライアントは結果に非常に満足し、将来にわたって VRFX とのさらにコラボレーションしていきたいとの希望を表明してくれました。

VRFX のリアルタイム映画制作への進出は実写作品だけにとどまりません。実は同社では、最近 Unity でアニメーションの実験を行っています。この模索的なプロセスにおいて「実験プロジェクト」の制作も行われ、そうしてできたプロジェクトの 1 つに「Project Eichenfresser」というニックネームが付けられました。このプロジェクトでは、不気味な世界のストーリーテリング実験として、ルックデブに Unity HDRP を使用することに焦点が当てられました。このようなプロジェクトを通じて VRFX はアニメーションに対応したアセットを使ってワークフローに関する実験を行い、将来のクライアントとのプロジェクトのために専門知識を蓄えました。

このプロジェクトのキャラクターアートはもともと手描きでしたが、Cinema 4D を使用して 2.5D の外観を持つように作り替えられ、ベイクされたアニメーションとして Unity にインポートされました。ここでのビジョンは、キャラクターデザインを手描きのままにし、ルックデブのシネマティクスと最終的なアニメーションに 3D を使用するというものでした。

Project Eichenfresser の世界の美術デザインは、紙に描かれたような漫画風アセットと、現実世界から取ったスキャンベースのテクスチャおよび 3D モデルが組み合わさって出来上がっています。最初のルックデブを作成する際、VRFX は Quixel Megascans のコンテンツを活用しました。しかしコンセプトが発展するにつれて、同社のチームはすべての Megascans コンテンツを取り除き、現実の生態に基づいた正確なバイオームを組み込みたいと考えるようになり（実際、Project Eichenfresser のストーリーの舞台はスイス）、独自のテクスチャとモデルの写真を撮り、撮影した画像を ArtEngine を使ってクリーンアップするという作業に着手しました。

VRFX は Unity でリアルタイムアニメーションの実験を継続的に行っています。これは、リアルタイムアニメーションが特にキャラクターの動きの制作やカメラとショットを制御することに関連するためです。たとえば現在の課題の 1 つは、Unity で直接使用して動きを付けるために使えるよう、キャラクターリグを適用することです。この課題を解決するために、VRFX のチームはモーションキャプチャ技術の実験を行っています。動きの組み立ては Unity のステートマシンを使って行います。ただし、独特な 2.5D の見た目と、キャラクターのトポロジーの構築方法がネックとなり、この実験はまだ進行中の状態となっています。

Project Eichenfresser のティーザーはこちらでご覧いただけます。

パンデミックの初期に、VRFX のアートディレクターである Claudio Antonelli 氏も別に実験プロジェクトに取り組み始めました。後にそのプロジェクトは、子供向けのアニメ TV シリーズのコンセプトに成長しました。教師と保護者の協力を得て制作された物語は、日常生活の浮き沈みについて話している 3 人家族を描いており、若い視聴者に現実世界における有意義な教訓を伝えることを目的としています。アートワークはドールハウス内の生活を表現するように設計されており、キャラクターやほとんどのオブジェクトは木でできているように見えます。

Project Leolina は、古典的な 3D アニメーションプロジェクトとして始まり、現在は Unity を使用したリアルタイムパイプラインを適用しようとしている段階です。キャラクターは木製の人形ですが、モーションキャプチャリグでうまく動くように作られており、キャラクターコントローラーで制御して、より再現性の高いアニメーションパーツを作成できます。

繰り返しになりますが、VRFX は ArtEngine を使用してシーンのマテリアルを作成しました。たとえば、白い壁のパネルを作成するために、VRFX は Textures.com からフラットな画像をダウンロードし、ArtEngine を使用していくつかの調整を行ってから完全な PBR マテリアルを生成しました。

Project Leolina のティーザーは、今後数週間のうちに公開されますので、どうぞお楽しみに。

VRFX には、リアルタイム映像制作は長い長い旅であるという考え方があります。ワークフローは進化し、ツールは高度化し、コミュニティは新しい問題を発見し、それらを解決するためのソリューションを開発し続けています。最近のバーチャルプロダクションを使ったクライアントプロジェクトで成功を収めたこと、それにアニメーションの世界に撒かれた種がいよいよ花を咲かせつつあること、これらを背景として、VRFX は Unity を使用した映像製作の世界における同社の将来に期待を寄せています。

VRFX の仕事の詳細をもっと知りたい方や、フィードバックを送りたい方は、メールを送信するか、同社のウェブサイトにアクセスするか、または以下にリンクを張った LinkedIn でつながるか、いずれかの方法で連絡をお取りください。

チームメンバー（敬称略）：

• Claudio Antonelli（アートディレクター）
• Pascal Achermann（テクニカルディレクター）
• Nick Schneider（エンジニア）
• Rolf Stalder（ビジネス戦略マネージャー）
• Daniel Wipf（エンジニア）

AI でマテリアルを作成することで、リアルタイム映像製作のパイプラインがどのように強化されるかを体験したい場合は、ArtEngine をお試しいただくことをお勧めします。5 月 17 日までにご注文いただくと、ArtEngine を月額 19 ドルでご利用いただけます（通常価格は月額 95 ドル）。

バーチャルプロダクションとリアルタイム映像制作ツール

• Unity ユニバーサルレンダーパイプライン
• Unity HD レンダーパイプライン
• Unity ArtEngine（AI ベースのマテリアルオーサリングツール）
• MiddleVR（マルチスクリーンレンダリングおよびカメラトラッキングのためのソリューション）

テクスチャライブラリとパッケージ

• Quixel Megascans
• Textures.com
• Aixterior
• B. Paul Sandoval
• Teddy Delrue

レンダラーと 3D DCC ツール

• Marmoset Toolbag 4（リアルタイムルックデブレンダラー）
• Cinema 4D、Nuke、Modo、DaVinci Resolve（ビジュアルエフェクトと 3D のためのツール）
• Quixel Suite、Quixel Mixer（テクスチャのペイント、オーサリング、パッキング）

Unity アセットストアのツールと開発者

• Vegetation Studio Pro（樹木と植生のレンダリング）
• Vegetation Studio（植生の陰影とアニメーション）
• Microsplat（最速かつ最も使いやすい地形ツール）
• DE Environment（便利な Unity シェーダーなどを多数収録）
• Time of Day（昼・夜の空のシェーダーを作成するための使いやすく堅牢なツール）
• R.A.M 2019 - River Auto Material 2019 （Unity 用の高品質な川・湖作成ツール）
• CTAA V3 Cinematic Temporal Anti-Aliasing
• Horizon based ambient occlusion（URP と VR に特化した高品質の AO）
• Crest Ocean System URP（高品質な水シミュレーションシステム）
• GPU Instancer（インスタンサーシステム）