新年を祝うミュージカル体験を VR で何百万人もの観客に届ける

世界最大の観客動員数を誇るスターパフォーマーの大晦日コンサートのバックステージで働くということはどのようなことなのでしょうか。

しかもそのコンサートはパンデミックによるロックダウン中に行われ、観客は自分の家にいなければならないとしたらどうでしょう。

『Welcome to the Other Side』と題されたバーチャルリアリティによるコンサートを開催したスタッフは、実際に現場にいるのと同じくらいの熱狂を感じ、現場よりむしろ興奮することもあったといいます。その感覚はバーチャル会場に集まった何百万人もの観客にも共有されていました。

AR/VR コンサルタントの Antony Vitillo 氏は、Jean-Michel Jarre の『Welcome to the Other Side』（WTTOS）で体験したことの一部始終をまとめた記事を書きました。このイベントは、世界的な電子音楽のスターが VR 空間に構築されたノートルダム大聖堂のレプリカで大晦日にパフォーマンスを行い、世界中の観客と来るべき新年を祝うというものでした。

視聴数は 7,500 万回を超え、まさに世界的な成功となりました。以下、この記事では Antony と彼のチームが Unity を使ってショーを完成させた手順について紹介していきます。

ステージイベントの場合、照明デザイン、サウンドデザイン、コンサートビジュアル、花火、物流などを考慮すると、ただでさえ 3 か月というのは厳しいスケジュールです。そこにソフトウェア開発まで必要となれば、厳しいなどというレベルではありません。しかしそれでも、大晦日がそろそろ見えてきた 9 月にプロジェクトを開始し、10 月初旬にチームが集まり、作業をアクティブに進め始めました。

制作に参加した 1 人であるライティングコリオグラファーの Jvan Morandi 氏がプロジェクトに参加することになったとき、彼は 「これは 2021 年夏のスケジュールですよね？」と確認しました。そして 2020 年末のスケジュールだと知って Antony に「あなたたちはまったくクレイジーだ」と言ったそうです。

VrOOm 社が集めたチームは同社 CEO の Louis Cacciuttolo 氏が率いました。このチームは急ぎの制作を乗り切った経験があり、設計段階で一度作ってみることの価値を肌で感じていました。この段階では、パフォーマーの Jean-Michel Jarre 氏をはじめとしたたくさんのエクスペリエンスアーティストが、ビジュアル体験の全体的なルックアンドフィールを決定しました。

デザインの方向性が決まると、チームは選んだイベント制作技術を使って実験を行い、ライブ体験として何を届けることができるかを掴みました。

「私たちが VRChat を選んだのは、これまで手掛けた大きなプロジェクトはすべて VRChat で行ってきており、それが最も慣れ親しんだプラットフォームだったからです。」と Antony は言います。「VRChat は最も汎用性の高いソーシャル VR 技術の 1 つであり、また、私達全員がよく知っている Unity を使うこともできました。」

そして、オンラインで見つけたノートルダム大聖堂のモデルを使って、Unity でシーンを組み立て始めました。彼らは、Manifattura Italiana Design（MID）の Lapo Germasi 氏、および Victor Pukhov 氏と協力して、VRChat で使えるように単純化と最適化を行いました。

Vincent Masson 氏は Cinema 4D を使って観客がぐるりと一周見回せる 3D アニメーションを制作し、また Jvan Morandi 氏はスポットライトのアニメーションを担当しました。2 人とも大聖堂の壁に映し出される 2D の動画マッピングを担当しました。

Jean-Michel Jarre の美しいアバターを Maya で制作したのはまた別のエージェント SoWhen? です。アーティストのパブリックイメージは非常に重要なので、VR ユーザーにとって魅力的であると同時に、Jean-Michel Jarre のよく知られたスタイルを表現したアバターを作成することは、簡単ではなかったと Antony は言います。

「Unity を使っていたので、それぞれの機能についてごく標準的なアセットタイプを選択しました。3D アニメーション、アバター、スポットライトには FBX モデル、スポットライトには Light オブジェクト、そして大聖堂の壁に適切な UV で動画マッピングを投影する際には MP4 動画を使用しました」と Antony は語ります。

アバターは、Jean-Michel Jarre の身体の実際の動きを使ってアニメーション化されています。ミュージシャンの身体の動きを正確に再現するために SteamVR に対応したモーションキャプチャースーツを採用し、電子楽器を演奏する際の複雑な手の動きを再現するためにトラッキンググローブを使用しました。

すべての素材を揃えた後、これを Unity で組み立て、全体に磨きをかけ、VRChat でうまく動作するように最適化する必要がありました。Jean-Michel Jarre が VR でシーンに入り、環境が完璧に出来上がっていて、彼の芸術的ビジョンと調和していることを確認した後、Germasi 氏が Unity のポストプロセッシングエフェクトで最終的なブラッシュアップを行い、大聖堂の再現度と環境内のビジュアルエフェクトのバランスを取りました。

ショーのすべての曲のビートに合わせて、シーンのすべての要素（ビデオプロジェクション、色付きのスポットライト、小道具）が動作するように、Antony は Unity を使ってすべてのアクションのタイミングとトリガーを調整しました。「タイムコードをコピーして、それがトリガーするイベントを逐一プログラムしていたとしたら、非常に面倒なことになっていたでしょう。」と Antony は語ります。しかし Unity を使っていたので、イベントを処理するためのスクリプトを作ることができました。エディタースクリプトを使って、アニメーションや照明のトリガーのタイムコードが記録された巨大な CSV を読み込んで、エディターでメニューを選択するだけで、曲ごとに必要なタイミングのビヘイビアをその場で作成するということができたのです。これにより、一連の作業を格段に管理しやすくなりました。

Antony によると、VRChat ではスムーズなフレームレートが要求されるだけでなく（Antony いわく、「20fps のコンサートを見てもらいたくない」）、ファイルサイズの最適化も必要になります。「シーン全体の重さが 300 メガバイトを超えると、ユーザーがシーンをダウンロードする時間が非常に長くなりますし、時にはクラッシュすることもあります。いずれにしても、ユーザーに良い体験を届けることができません。」MID のチームは、大聖堂のジオメトリを最適化することに注力し、テクスチャのサイズを慎重に調整しました。

MID の Lapo Germasi 氏と Victor Pukhov 氏との密に連携を取りつつ、Antony は全体的な最適化を行い、ライブ感と没入感のあるイベントをエミュレートするためのバーチャルシステムとインタラクションを追加しました。

• すべてのイベントの時間合わせ：スポットライト、動画マッピング、その他すべてのアクションは、曲に合わせて適切なタイミングでトリガーされなければならないため、VRChat 内で何らかのソリューションを工夫する必要があります。
• すべてのインタラクション：特にソーシャルプラットフォームではそうですが、ユーザーを惹きつけるにはインタラクションが必要です。また、「VR の中にいる」感覚を高めるために、他の観客の周りに色付きの星を撒いたりするなど、ビューアーに視聴者がコンサートを見ながら発動させられるエフェクトを追加しました。
• 動画撮影に必要なすべての要素：360 度視点の体験ということもあり、チームは単一の視点からのフラットな動画を映しておしまいにしようとはしませんでした。「実は、チームメイトの Georgy Molodotsov と Maud Clavier がライブストリーミング用の『マルチカメラ』バージョンに切り替えられるように、VRChat 内に複雑なカメラシステムを作成したんです。」と Antony は言います。カメラシステムの初期化にはオープンソースのプロジェクト、手撮りのショットに深度効果を加えるには VRCLens、アフターパーティの動画撮影には VoxelKei による 360度視点動画レコーダーのアバターが使われました。
• アフターパーティ体験はロシアの XR アーティスト、Denis Semionov 氏がデザインしました。彼は Quill を使って風景のスカルプトを行い、レンダリングの軽量化が必要なところについては簡略化したノートルダム寺院のモデルを作って対処しました。
• この成果物は MID によって最適化され、Antony と彼のチームはアフターパーティでのインタラクション（ツェッペリン号に搭乗して上空を飛行する機能など）を追加して完成させました。

設計段階では、VR 体験を作るのはやめて、ライブ映像のストリーミング動画を流したらいいのではないか、という意見が出ることもありました。しかし、Jean-Michel と Antony をはじめとするチームメンバーは、VR で行くべきだと主張しました。このインタラクティブな体験は、たとえコンピューターの画面上であっても、大晦日の夜に本当にノートルダム寺院の中にいて、人々に囲まれているかのように感じさせます。

最終的に Jean-Michel はチームを信頼し、このプログラムは、ライブの VR 体験と、多数のプラットフォーム向けに行われた動画配信とを合わせて、7500 万回以上の再生回数を記録しました。「私たちは、大規模なコンサートをバーチャルリアリティの中で完結する形で開催し、しかもそこでの体験をバーチャルリアリティ空間の中と外の両方の人々に向けて届けたという前例を作ることに成功したのです。」と Antony は言います。「リスクを負ってでもやらなければ、信じられないようなものは作れません。」

イベントを作り上げたスタジオのスタッフから聞いた『Welcome to the Other Side』制作にまつわるストーリー全体をぜひお読みください。こちらのページで読むことができます。