Unity を検索

独立系スタジオ VRFX における、リアルタイム映像制作のための Unity と ArtEngine の活用法

2021年4月9日 カテゴリ: エンターテイメント | 12 分 で読めます
A forest full of mushrooms
A forest full of mushrooms

バーチャルプロダクションやリアルタイムでのイテレーションに、Unity を活用する方法にご興味がおありでしょうか。革新的なスタジオが、テクスチャとライティングをリアルタイムで微調整しつつ、どのようにしてクライアントへの納期と予算を守ったか。本記事をこのままお読みいただき、ぜひその手法に触れてください。

パンデミックが世界を大混乱に陥れる中、バーチャルリアリティ(VR)および拡張現実(AR)体験に対する需要が高まりました。しかし、従来の映像製作プロセスもまた、パンデミックによって混乱に陥っていました。安全上の懸念やリモートワークの課題に対応するために、いち早く他の制作手法に切り替える必要がありました。あるインディースタジオは、そこに事業の範囲を拡大する機会を見出しました。

2017 年にフリーランスのクリエイティブ、プログラマー、テクニカルアーティストのグループによって設立された、VRFX Realtime Studio は、「ストーリーに命を吹き込む」という、シンプルながら野心的なミッションを掲げて経営を行っています。

同社はスイスのルツェルンを拠点とする 5 人のチームで、いまから数年前に VR および AR そのものの可能性と、さまざまな業界に幅広く応用できる可能性を認識していました。同時に、これらの技術を使ってカスタマイズされたソリューションを開発できる代理店にまつわるギャップも認識した同社は、Unity を使った開発業務を手掛けるようになりました。Unity が提供する VR/AR 開発者向けのフレームワークがオープンでアクセスしやすく、これを使えばチームが多種多様なソフトウェアや体験を制作できると理解した瞬間、同社は迷うことなく Unity をプラットフォームとして選択しました。

Photo - man using VR headset and others watching screen where he is playing
VRFX は、舞台制作会社から地質調査センター、製造業者に至るまで、あらゆる業界のクライアントにリアルタイム 3D の力をもたらした。写真は、映画祭に向けて Unity を使って制作された VR 体験。

「テクノビジュアル問題解決者(technovisual problem solvers)」と称して、VRFX はさまざまな業界の企業と協力して、リアルタイム 3D の力を活用するソリューションを作り出しています。クライアントの顧客、製品、およびポジショニングに関する知識をその詳細に至るまで集めることで、VRFX はすべての関係者と緊密に協力して、古典的なテレビコマーシャルから美術館の AR 体験まで、あらゆるビジュアルコンテンツを完璧な品質で制作することを可能にしています。同社では複数のフォーマットをまたいだコンテンツを制作するため、同社のメンバーは常に最新のトレンドを把握し、ハードウェアとソフトウェアの新しく興味深い使い方を探究することを求められます。

Woman in yellow using VR while others watch her and a screen
2018 年に開発された VR シアターショーも Unity で制作された

「チームを大きくする時は、Unity やその他のアニメーションソフトウェアに関する技術的な専門知識だけでなく、前向きな姿勢、完全なワークフローを所有したいという願望、そして新しい挑戦を渇望するような人を探しました。」このように語るのは、VRFX の共同創設者でテクニカルディレクターの Pascal Achermann 氏です。「その結果、私たちのグループには自分たちの仕事を愛する人々が集まりました。これは、私たちがこれまで収めてきた成功に不可欠な要素だったと思います。」

インディースタジオのリアルタイム映画制作への進出

2020 年も VRFX は VR 体験や AR 体験を得意分野として経営を続けていましたが、同社はこの年、バーチャルプロダクションなどの新しい分野に拡大する機会を掴みました。ビジュアルエフェクト、3D コンポジション、映画制作、オーディオエンジニアリングといった専門分野でチームが積み上げてきた実績は、リアルタイム映画制作の領域に踏み出すための確かな土台となっていたのです。

Screenshot of an animated scene inside of Unity HDRP
Unity HDRP を使ったアニメーションシーンの構成

VRFX では Unity エディターと MiddleVR がコアツールとして使われていますが、他にも特定のタスクを遂行するために、いろいろな Unity 開発者が開発したパッケージを活用することがあります。そうしたパッケージとは、たとえば完璧なメッシュと UV を備えた植物や樹木を作成するためのツールだったり、撮影現場のライティングをリアルタイムで制御する DMX(照明制御用の信号)コントローラーだったり、または再生モードでシーンに変更を加える自社開発の「Snap Shot」だったりします。

「何かをする方法がわからないときは、誰かが以前に同じ問題を解決していないかを調べます。」と、VRFX のエンジニアの Nick Schneider 氏は言います。「私たちはこれまで、どうしても作れないというものに出会ったことがありません。Unity コミュニティに目を向けることで、常に解決策が見つかったからです。コミュニティはまったく素晴らしい情報リソースです。」

Screenshot of VRFX
VRFX が自社開発したツール「Snap Shot」の画面

Project Silvester:Unity の HDRP と ArtEngine を使ったバーチャルプロダクション

VRFX は、コロナウイルスの感染拡大を遅らせるために、クリスマス休暇中に住民に社会的距離の取り方を覚えてもらうテレビコマーシャル制作を行うルツェルン政府のプロジェクトで、LED ウォールを使用したバーチャルプロダクションを初めて手がけました。VRFX は、バーチャルプロダクションを使ったセットアップのピッチを行い、これが予算を守り、さらに短い納期をクリアできる唯一の方法であると主張しました。コンテンツの制作と配信に約 1 週間かかるため、ロケーションの選定やポストプロダクションなどの活動に費やす時間はほとんどありませんでした。VRFX は、プリプロダクションのプランニングに少しの時間をかければ、ポストプロダクションのコストをほぼゼロにしてプロジェクトを納品できるだけでなく、将来にわたってさまざまな商用スポットで同じ環境を再利用できる成果物をクライアントに提供できることを知っていました。クライアントも VRFX の提案に乗り気となり、さっそくプランニングが始まりました。

VRFX はバーチャルプロダクションのセットアップとリアルタイムコンテンツの制作を担当し、パートナーとなった代理店の Orisono がストーリーを書き、撮影現場のライティング、撮影、ポストプロダクションを行いました。両社のチームは入居していた Soundville Media Studios で互いに緊密に連携し、プロジェクト全体を約 1 週間で納品しました。Unity での作業は約 3 日で完了しました。

Man setting up camera on rig
バーチャルプロダクション用のカメラ追跡システムをテストする、VRFX のアートディレクターClaudio Antonelli 氏

VRFX の重要なタスクの 1 つは、バーチャル背景に使うコンテンツを作成することでした。そのため、プリプロダクション中に、VRFX は Unity にリビングルームのレプリカを作成しました。これは、現実世界のカメラが背景として見るものを表しています。チームは Unity の HD レンダーパイプライン(HDRP)と MiddleVR を活用しました。このセットアップにより、チームは現実世界で使われるライティングの各種数値を使用し、Blackmagic URSA カメラで生じるレンズの歪みをシミュレートし、3D コンテンツを LED ウォールに投影することができました。Unity ArtEngine を使用して、チームは現場で、非常に素早くマテリアルを複製しました。これらのマテリアルは、Unity で仮想的なクローンを作成するためのテクスチャの設定に使用されました。

プリプロダクション中のバーチャル環境のセットアップ

バーチャルプロダクション環境をセットアップする最初のステップは、実際のセット(パーティ中のリビングルーム)を 3D で複製することでした。そのために、チームは設定されたコンポーネントを測定し、Modo で仮想的なクローンをモデル化しました。

A digital replica of a room
3D モデリングプログラム Modo で作成された実際のセットのデジタルレプリカ

デジタルモデルができると、次に VRFX は Marmoset Toolbag を使用して簡単なプレビジュアライゼーション用のモックアップを作成し、クライアントと撮影クルーがシーンを目で見て確認できるようにしました。プレビジュアライゼーションの内容が承認されると、チームは、ライティング、雰囲気、マテリアルのビジョンを説明するために、より再現度の高いルックデブレンダリングを作成しました。

Previz render of room
プレビジュアライゼーションのレンダリング
Lookdev render of the room
ルックデブのレンダリング

ルックデブシーンでは、VRFX は撮影監督の Alex Stratigenas 氏と協力して、ショットのフレーミングを調整しました。もう一度クライアントからのフィードバックを受けた後、シーンを Unity HDRP にインポートして、ライティングとマテリアルを適用しました。

Diagram showcasing the shot framing with the LED wall
LED ウォールを使用したショットフレーミングを示す図

ArtEngine を使ってセットの品質を上げていく

バーチャルプロダクションのセットアップにおける重要な要素は柔軟性です。リアルタイムエンジンがこのセットアップの中核ですが、Unity ArtEngineMiddleVR など、迅速なイテレーションをサポートし、創造性を活かすツールは、アジャイルなワークフローを育てていく上で重要な役割を果たします。

たとえば、現場でクルーが現場のセットとアートのビジョンをより忠実に表現するためにいくつかのマテリアルを交換することにしたとします。以前は、マテリアルは公開されたライブラリからダウンロードされたものを使っており、それはプレースホルダーに過ぎませんでした。チームメンバーはスマートフォンでセットのカーペットとスタジオの壁の写真を数枚撮り、ArtEngine にインポートし、数分でタイル化可能な物理ベースレンダリング(PBR)マテリアルを作成しました。

「ArtEngine を使うと、驚くべき速さで写真からテクスチャを作成できます」と Achermann 氏は説明します。「この制作では、撮影の数分前にカーペットのマテリアルを作成しました。数回クリックするだけで、写真の色を修正し、継ぎ目や不要なアーティファクトを削除して、すべての PBR マップを生成することができました。このようにセットに素早くイテレーションをかける機能は、リアルタイムの映画制作を上手く進めるために重要です。」

Green carpet
スマートフォンで撮影したセットのカーペットの元の写真
Green carpet with ArtEngine’s Content-Aware Fill node on it
ArtEngine の Content-Aware Fill ノードを使用して、アーティストは不要なノイズやゴミをすばやく取り除くことができた
Final node graph inside ArtEngine
ArtEngine 内の最終版のノードグラフ

次に、ArtEngine の 2K テクスチャが、Quixel Suite を使用して 8K アトラス内にペイントされ、Unity にインポートされました。

Close-up of the carpet material in Unity, with lighting applied
Unity でカーペットのマテリアルを拡大したところ。ライティングが適用されている
The room from earlier but it's different
Unity で背景シーンを表示したところ。これが LED スクリーンに投影された

次に、シーンが LED ウォールに投影されました。「Unity の画面がこのような大画面に映し出されるところは壮観でした。そして実機のフィルムカメラからキャプチャされたシーンは、さらに素晴らしい見栄えでした。」と Achermann 氏は説明します。

Photo - they have created a room, a table, a light, a bookcase
The final virtual production setup, as seen through the camera
カメラを通して見た最終版のバーチャルプロダクションのセットアップ

現実世界とバーチャル世界のライティングのマッチング

Unity のライティングを実機のカメラでキャプチャされたライティングと一致させることは、バーチャルプロダクションで現実感を出すための重要な要素です。このプロジェクトでは、ライティングとポストプロセッシングのセットアップは比較的簡単でした。

Unity では、チームはベイク済みライトやリアルタイムライトではなく、混合ライトを選択しました。HDRP のライティングは物理ベースであるため、VRFX は、ルクス、カンデラ、またはケルビン(現実世界の物理的な光の標準測定単位)で光の強度を設定することができました。

環境ライティングについては、チームは標準的な画像ベースのライティングワークフローを使用しました。このフローには、他のデジタルコンテンツ制作(DCC)ツールで使用されるワークフローと同様に、現実世界のセットのハイダイナミックレンジイメージング(HDRI)写真を使って、シーンのライティングを定める工程が含まれます。グローバルイルミネーションの要素を追加するために、VRFX は GPU を使用してライトマップのベイキングを行う手法を使い、それを OptiX によるノイズ除去と組み合わせて迅速なプロセスを実現しました。

Man looking at three screens, there is a Christmas tree on the main screen
撮影監督がライティングに OK を出すと、撮影が始まった

ポストプロセッシングは最小限で済みました。チームは、単純なスクリーン空間エフェクト(反射、アンビエントオクルージョンなど)を適用し、それだけで環境の見た目は十分に良くなったためです。

Actors play out a fondue dinner scene in front of the LED wall
俳優が LED ウォールの前で、フォンデュを楽しむディナーのシーンを演じる

最終的な成果物は、短編のほのぼのとしたテレビコマーシャルのシリーズとして放映されました。クライアントは結果に非常に満足し、将来にわたって VRFX とのさらにコラボレーションしていきたいとの希望を表明してくれました。

このコンテンツはサードパーティのプロバイダーによってホストされており、Targeting Cookiesを使用することに同意しない限り動画の視聴が許可されません。これらのプロバイダーの動画の視聴を希望する場合は、Targeting Cookiesのクッキーの設定をオンにしてください。

このコンテンツはサードパーティのプロバイダーによってホストされており、Targeting Cookiesを使用することに同意しない限り動画の視聴が許可されません。これらのプロバイダーの動画の視聴を希望する場合は、Targeting Cookiesのクッキーの設定をオンにしてください。

Project Eichenfresser:HDRP および ArtEngine でのアニメーションルックデブ

VRFX のリアルタイム映画制作への進出は実写作品だけにとどまりません。実は同社では、最近 Unity でアニメーションの実験を行っています。この模索的なプロセスにおいて「実験プロジェクト」の制作も行われ、そうしてできたプロジェクトの 1 つに「Project Eichenfresser」というニックネームが付けられました。このプロジェクトでは、不気味な世界のストーリーテリング実験として、ルックデブに Unity HDRP を使用することに焦点が当てられました。このようなプロジェクトを通じて VRFX はアニメーションに対応したアセットを使ってワークフローに関する実験を行い、将来のクライアントとのプロジェクトのために専門知識を蓄えました。

Dark night, camera movement, a jolly figure moving around in the darkness.
A dark night, character is in green, there are will o' the wisp type things floating around
Unity 内でのカメラの操作

このプロジェクトのキャラクターアートはもともと手描きでしたが、Cinema 4D を使用して 2.5D の外観を持つように作り替えられ、ベイクされたアニメーションとして Unity にインポートされました。ここでのビジョンは、キャラクターデザインを手描きのままにし、ルックデブのシネマティクスと最終的なアニメーションに 3D を使用するというものでした。

Project Eichenfresser の世界の美術デザインは、紙に描かれたような漫画風アセットと、現実世界から取ったスキャンベースのテクスチャおよび 3D モデルが組み合わさって出来上がっています。最初のルックデブを作成する際、VRFX は Quixel Megascans のコンテンツを活用しました。しかしコンセプトが発展するにつれて、同社のチームはすべての Megascans コンテンツを取り除き、現実の生態に基づいた正確なバイオームを組み込みたいと考えるようになり(実際、Project Eichenfresser のストーリーの舞台はスイス)、独自のテクスチャとモデルの写真を撮り、撮影した画像を ArtEngine を使ってクリーンアップするという作業に着手しました。

Rocky like images
ArtEngine graph of material
洞窟で使用されているマテリアルの ArtEngine グラフ(マテリアルの適用例は下のスクリーンショットを参照)。2 つのマテリアルを組み合わせて 1 つのマテリアルを作っている
The project inside Unity. A woolly mammoth type creature is on screen
Unity 内でプロジェクトのビューの設定を行っているところ
Two different textures, transformed with ArtEngine. One is green and grass like, One is brown and earth like.
スイスの林床を撮影した写真を、Project Eichenfresser で使用するために ArtEngine でデジタル素材に変換したもの

VRFX は Unity でリアルタイムアニメーションの実験を継続的に行っています。これは、リアルタイムアニメーションが特にキャラクターの動きの制作やカメラとショットを制御することに関連するためです。たとえば現在の課題の 1 つは、Unity で直接使用して動きを付けるために使えるよう、キャラクターリグを適用することです。この課題を解決するために、VRFX のチームはモーションキャプチャ技術の実験を行っています。動きの組み立ては Unity のステートマシンを使って行います。ただし、独特な 2.5D の見た目と、キャラクターのトポロジーの構築方法がネックとなり、この実験はまだ進行中の状態となっています。

Project Eichenfresser のティーザーはこちらでご覧いただけます。

このコンテンツはサードパーティのプロバイダーによってホストされており、Targeting Cookiesを使用することに同意しない限り動画の視聴が許可されません。これらのプロバイダーの動画の視聴を希望する場合は、Targeting Cookiesのクッキーの設定をオンにしてください。

Project Leolina:Unity でのリアルタイムアニメーションへの道

パンデミックの初期に、VRFX のアートディレクターである Claudio Antonelli 氏も別に実験プロジェクトに取り組み始めました。後にそのプロジェクトは、子供向けのアニメ TV シリーズのコンセプトに成長しました。教師と保護者の協力を得て制作された物語は、日常生活の浮き沈みについて話している 3 人家族を描いており、若い視聴者に現実世界における有意義な教訓を伝えることを目的としています。アートワークはドールハウス内の生活を表現するように設計されており、キャラクターやほとんどのオブジェクトは木でできているように見えます。

A still from Project Leolina. A robot-like boy is pulling out a chair at a table in a kitchen.
RTX レイトレーシングを使用して Unity HDRP-DXR でレンダリングされた Project Leolina の静止画

Project Leolina は、古典的な 3D アニメーションプロジェクトとして始まり、現在は Unity を使用したリアルタイムパイプラインを適用しようとしている段階です。キャラクターは木製の人形ですが、モーションキャプチャリグでうまく動くように作られており、キャラクターコントローラーで制御して、より再現性の高いアニメーションパーツを作成できます。

A still from Project Leolina. A robot-like boy is pulling out a chair at a table in a kitchen. This time the shot is from above.
Inspector view in the Editor for the scene above. Two images side by side. One is the volume menu, one is the Screen Space Global Illumination.
上に示したシーンのエディターのインスペクタービュー

繰り返しになりますが、VRFX は ArtEngine を使用してシーンのマテリアルを作成しました。たとえば、白い壁のパネルを作成するために、VRFX は Textures.com からフラットな画像をダウンロードし、ArtEngine を使用していくつかの調整を行ってから完全な PBR マテリアルを生成しました。

Graph inside ArtEngine
ArtEngine 内のグラフ
Final PBR material for the inside of the dollhouse. It is white.

Project Leolina のティーザーは、今後数週間のうちに公開されますので、どうぞお楽しみに。

未来の物語はこれから紡がれる

VRFX には、リアルタイム映像制作は長い長い旅であるという考え方があります。ワークフローは進化し、ツールは高度化し、コミュニティは新しい問題を発見し、それらを解決するためのソリューションを開発し続けています。最近のバーチャルプロダクションを使ったクライアントプロジェクトで成功を収めたこと、それにアニメーションの世界に撒かれた種がいよいよ花を咲かせつつあること、これらを背景として、VRFX は Unity を使用した映像製作の世界における同社の将来に期待を寄せています。

VRFX の仕事の詳細をもっと知りたい方や、フィードバックを送りたい方は、メールを送信するか、同社のウェブサイトにアクセスするか、または以下にリンクを張った LinkedIn でつながるか、いずれかの方法で連絡をお取りください。

チームメンバー(敬称略):

AI でマテリアルを作成することで、リアルタイム映像製作のパイプラインがどのように強化されるかを体験したい場合は、ArtEngine をお試しいただくことをお勧めします。5 月 17 日までにご注文いただくと、ArtEngine を月額 19 ドルでご利用いただけます(通常価格は月額 95 ドル)。

おすすめのリソース

バーチャルプロダクションとリアルタイム映像制作ツール

テクスチャライブラリとパッケージ

レンダラーと 3D DCC ツール

Unity アセットストアのツールと開発者

2021年4月9日 カテゴリ: エンターテイメント | 12 分 で読めます
関連する投稿