Unity を検索

Magnopus 社は 2020 年ドバイ万博でいかにして現実世界とデジタル世界を融合させたか

2022年3月29日 カテゴリ: コミュニティ | 7 分 で読めます
Expo Dubai Xplorer
Expo Dubai Xplorer
取り上げているトピック
シェア

この記事は、Magnopus 社のエグゼクティブプロデューサーの Daisy Leak 氏、同社ソフトウェアエンジニアリング担当ディレクターの David Swift 氏、および同社の共同設立者 Ben Grossmann 氏のコラボレーションによる寄稿ブログです。Magnopus 社は アメリカとイギリスにスタジオを構え、クロスリアリティ体験の制作、展開、および運用を大規模に行っている、総勢 170 人以上のアーティスト、デザイナー、エンジニアからなるチームです。

私たち Magnopus は、物理的な世界とデジタルの世界において、素晴らしい体験で人々を結びつけることに注力しています。この 3 年間で、世界最大の地理空間メタバース体験の開発とローンチを行いました。この体験の開発では、Magnopus の技術スタックと Unity エンジンが活用されました。  

この驚くべき挑戦的なプロジェクトは、私たちがおよそ 4 年前にドバイ万博のチームに加わり、万博の 3 つのテーマ「モビリティ(Mobility)」「サステナビリティ(Sustainability)」「機会(Opportunity)」をそれぞれ反映した 3 つのパビリオンのうちの 1 つ「モビリティパビリオン」への来場者向け体験を開発するところから始まりました。チームと模索を重ねていく作業の中で、リーム・アル・ハシミ閣下が伝えたミッションステートメント、「Connecting Minds, Creating the Future (心をつなぎ、未来を創る)」に強く心を動かされました。

アイデア

多くのパビリオンが「過去・現在・未来」というストーリーを掲げていますが、私たちは来場者を現実世界からデジタル世界へと移動させ、両者が一体となった世界に到達させるという人間のモビリティの旅に誘うことを提案しました。この物語は子どもたちに現在のモビリティの制限を乗り越え、何千年も前から先祖が行ってきたように、自分たちの見たい世界を作る力を与えてくれたのです。  

今回、模索しつつ仕事をしていく中で、私たちは皆、疑問を抱きました。万博の会場全体にわたって、このビジョンの「アルファ版」を構築できないだろうか、と。物理的な会場の体験をソーシャルなデジタルツインという形で世界中の人々に共有し、両者を横断的につなげることはできないだろうか。

ゲームを作るよりもはるかに複雑で、それはまるで常にうごめいている砂の上に建物を作るようなものでしたが、この野心的なビジョンを追求することについて、万博の首脳陣からの支持を得ることができました。そこで、世界 7 か国で活躍する 200 人以上のエンジニア、デザイナー、アーティスト、そして企業ネットワークからなる多様なチームを結成しました。このチームと共に私たちは、2020 年ドバイ万博の会場と遠隔地の参加者が共有する体験の中でリアルタイムにつながることができる、都市 1 つ分のサイズのクロスリアリティ空間を昼夜通して作りました。 

39 か月の開発期間、6 か月のライブ運用、そして世界規模のパンデミックを経て、その未来志向の体験が今、公開されました。「Expo Dubai Xplorer」は、モバイルアプリ、ウェブ、クラウド技術、そして会場内のデジタルサイネージから利用することができます。

Expo Dubai 2020
Expo Dubai Xplorer は、Magnopus 社が開発した技術スタックとクラウドホスティングサービスによって接続され、会場への来場者はもちろん、世界各地からのリモート参加者も iOS と Android で利用することができます。

機能

この体験は、複雑な相互運用性技術によって結合された 2 つの主要コンポーネントで構成されています。1 つは、現実世界での万博に上乗せされるデジタルコンテンツ層、もう 1 つは、4.38 平方キロメートルの会場のデジタルツインで、感動的な体験と、192 のユニークな国別パビリオンを含む世界の主要建築家による 200 以上の建造物で埋め尽くされています。 

バーチャルリアリティを利用してデザインと体験を共同開発し、物理的な会場を建設する前にテストすることができました。 

デジタルの仕掛け

私たちは、膨大な種類のデジタルアートを制作し、それらを会場内に配置することで、UAE(アラブ首長国連邦)の物語、2020 年ドバイ万博のテーマ、各国のパビリオン、そして現実世界で見えるものだけからは分からない、会場自体の細かなディテールを紹介しています。これには以下のような仕掛けが含まれています。

  • 親しみやすく、インタラクティブな 3D シーンにより、ユーザーにすぐに消化できるサイズのコンテンツを見てもらい、万博会場を回る体験をより充実させてもらう。たとえば、ポリプや海綿のようなデジタル要素を配置して、自分だけのカラフルなサンゴのコロニーを作り、ハムールなどの地元の魚を発見することができる。この仕掛けにより、危機に瀕している世界の脆弱なサンゴ礁の生態系を可視化し、それに対する個人の投資を促進するとともに、2025 年までにアラビア湾で 150 万個の新しいサンゴのコロニーを育成するという UAE のコミットメントを強調している。
  • 万博会場の目立つ場所や建物と連動した大型の拡張現実(AR)ディスプレイが、驚きと楽しさを演出する。たとえば、万博の中心部にある水をモチーフにした「AR Water Dragon」は、空中に出現して来場者の間近に迫り、スリリングな出会いを提供する。 
  • マジックポータルは、ユーザーを 360° 視野の完全な没入型環境へと引き込み、そこでユーザーは遠い場所へと連れて行ったり、現実の場所を覗いてみたりすることができる。UAE には素晴らしい観光地がたくさんあり、離れた場所にもこのポータルの力で簡単に行ってみることができるようになり、この地域の美しさを理解することができるようになった。 

私たちの作った仕掛けは単に見栄えが良いだけではなく、万博に意味のある形で参加してもらい、参加者の皆さんが「Seeds of Change(変化の種)」を見つけ、現実世界に変化を起こす意志を持ってもらう役割も担っています。これにより、ユーザーの継続的な好奇心が報われ、ひいては世界をより良い場所にするための力を与えるという、ポジティブな遊びのサイクルが生まれます。  

物理的な世界とデジタルな世界をつなぐコネクティビティ

このマルチプレイヤー体験は、現場と遠隔地のユーザーとのリアルタイムなつながりを特徴としており、物理的、またはデジタル的な隔たりを埋めることで、リーチとエンゲージメントを拡大することができます。万博会場に立つと、地球の裏側にいる友人(スマートフォンのレンズを通して見る)がアバターとして登場し、一緒に体験をしたり、グループを作ったりメッセージをやり取りしたりしてコミュニケーションを取ることができます。 

この両方の種類の参加者が一緒になって、インタラクティブなデジタルツインを探検することができるのです。またコレクション機能により、広大な会場を探索し、追加のコンテンツや会場のフィーチャーももれなく見つけてもらえるように、ユーザーにインセンティブを与えることができます。人通りの少ない場所に設置することで、「みんなが通る道を外す」というゲームループが生まれ、それが報酬につなげることもできました。また、報酬の宝物は、次の宝物を見つけるための手がかりとなる関連アイテムとセットになっています。

Expo Dubai Xplorer Physical and Digital.

精密な空間マッピング

会場では Google の永続クラウドアンカー「ARCore Cloud Anchor」を世界最大規模で展開したことで、何百万人もの現場訪問者が、現実世界と正確に位置合わせされた拡張現実によるスペクタクルを楽しむことができるようになりました。遠隔から参加している人たちは、『Roblox』などの人気モバイルゲームに似たインターフェースで、会場のコネクテッドデジタルツイン上で同じ AR コンテンツや体験にアクセスすることができます。

Magnopus が開発した技術スタックとクラウドホスティングサービスを搭載し、アプリケーションのインストールサイズに影響を与えることなく、ユーザーがある場所に近づくと自動的にコンテンツがデバイスにストリーミング配信されるようになっています。地理空間オーサリングインターフェースとグローバルなコンテンツ配信ネットワークにより、リアルタイムにコンテンツを更新・公開することで、会場内の位置に応じた新しいインタラクティブな AR 体験を提供することが可能になります。 

Augmented Reality Falcon
万博を象徴する建造物の 1 つである UAE パビリオンの着想を紹介し、建築家サンティアゴ・カラトラバ氏の「ハヤブサ」という発想を取り上げるための仕掛け。Magnopus が開発したクラウドホスティングサービスを搭載し、アプリケーションのインストールサイズに影響を与えることなく、ユーザーがある場所に近づくと自動的にコンテンツがデバイスにストリーミング配信されるようになっている。

4.38 平方キロメートルの万博会場のソーシャルかつインタラクティブなデジタルツイン

世界各地で活躍する数百人のアーティストが 2 年以上をかけて、まるで本物のようなデジタルレプリカを制作し、そこにダイナミックな照明、アートインスタレーション、アニメーションする体験、見事なスペクタクルを盛り込んだのです。 

このプラットフォームではサイト上のコンテンツを地理情報を使ってリアルタイムに特定するため、デジタルツインは建築家の CAD や BIM ファイルから原寸大で構築され、高い位置分解能を与えられています。また、訪問者の位置と近くにある地点に基づいてストリーミングされるので、アプリケーションのインストールサイズが悪影響を与えることもありません。 

パーソナライズされたアバター

高度にスタイル化されたデジタルアバターを構築する技術により、ユーザーは 1 枚の写真をアップロードするだけで、長編アニメーションにも使える品質の 3D キャラクターを作成することができます。私たちの作成したソリューションでは、体のモデルに取り付けて、700 以上のオプションから選んでカスタマイズすることができる、髪も含めてアニメーションに対応したパーソナライズ済みの 3D 頭部モデルを作成します。アバターは完全にクラウド上で動作し、ウェブブラウザやモバイルデバイスからアクセスすることができます。 

精度よく作られたバーチャルヒューマンは、より魅力的でパーソナライズされた体験を提供します。また、選択システムをカスタムメイドすることで、ユーザーのつまづく箇所を減らし、プロセスを可能な限りシンプルにすることができました。 

Unity の機能

このクロスリアリティ体験を実現するために、私たちのチームは内製の技術スタック、堅牢なカスタムソリューションのセット、そして Unity を活用し、以下のような多様な問題を解決しました。

  • 可能な限り幅広いモバイルデバイスをターゲットに含めることが容易にできる、軽量でスケーラブルなアプリケーションの構築
  • AR 機能を拡張し、すべてのプラットフォームで一貫した AR 体験の実現 
  • Addressables パッケージを使用して動的コンテンツをパッケージ化、および初期インストールサイズの削減

軽量さ、拡張性、クロスプラットフォーム

Unity は、プラットフォーム固有のコードを最小限に抑え、クロスプラットフォームアプリケーションを簡単に作成できるように構築されています。これにより、チームは特定のデバイス、特に非常に多様な Android デバイスのエコシステムに対応するために多くの時間を費やすことなく、魅力的な機能、Magnopus のカスタム統合、目を引くコンテンツの実装に集中することができました。

開発を通じて、デスクトップ PC で動作させるバーチャルリアリティ版、ネイティブのモバイルアプリケーションに組み込む簡易版、さらには万博会場の屋外キオスク用に構築したバージョンも作成することが出来ました。専用 GPU を搭載した Windows 10 PC 向けに構築されたキオスク用アプリアプリケーションは、カメラを使った拡張現実によるアニメーションコンテンツのライブ配信や、モバイルアプリケーションと同じマルチプレイヤーのアバターを表示しました。

AR Foundation による AR 開発プロセスの効率化

ARKit と ARCore をラップする Unity の AR Foundation は、Expo Dubai Xplorer の AR アプリケーションを構築する上で非常にわかりやすい基盤を提供してくれましたが、同時に Unity で汎用的に機能を実装できるようにもしてくれました。これにより、異なるアプリケーションをいくつも構築する必要なしに、同じコードベースとソースアセットから、完全なバーチャル世界の体験と AR 体験の両方を構築することが可能になりました。 

Addressables を用いた動的コンテンツ

私たちのチームは、AR とデジタルの両方で、ユーザー向けにカスタムの OTA 配信システムを作りました。コンテンツが変更されるたびにアプリケーション全体をビルドするのではなく、Magnopus CICD ソリューションを拡張して Addressables のビルドプロセスを活用し、変更されたコンテンツを再ビルドしてデプロイするようにしました。変更が小さい場合は数分で済むので、30 分かけてすべてのプラットフォームのビルドをするのとは違いが出てきます。

コンテンツとコードが切り離されているため、Android や iOS の長い承認プロセスを経た後でも、コンテンツの更新を配信することができました。私たちは、Unity の Addressables のバンドルをオンデマンドで提供できるサービスを構築し、それを独自の位置トリガー型コンテンツ配信ネットワークで配信しています。 

地理空間オーサリングのためのツールにより、Addressable ID を物理的な場所に関連付けることができ、デザイナーはリアルタイムでコンテンツの配置を更新することができました。クライアントアプリケーションは、私たちのクラウド API をベースに、近くのアクティビティに必要なコンテンツだけを素早くダウンロードすることができます。

学び

今回のような大規模で野心的なプロジェクトというユニークな課題と向き合った結果、私たちは皆、信じられないほどの成長を遂げました。私たちは信じられないほど多くのことを学びました...

  • デジタル空間と物理空間をまたぐ体験は、ビデオゲームやカジュアルなモバイルゲームとは異なるため、「フリーサイズ」や「既製品」のようなソリューションはなく、カスタム機能を開発できることが非常に重要だった。 
  • 迅速にビルドを開始し、アジャイルになる。そして紙の上で過剰な設計をしない。実際に試してみると、いいアイデアと思えたものがそうでない場合もあり、作りながら「面白さを見つける」柔軟性が必要になる。
  • 「認知負荷」について考える。会場にいる人たちは、現実世界側のコンテンツを消化するだけですでに精一杯になっているかもしれない。コンテンツを両方の世界で同じにしたい場合、会場にいない人はベースレイヤーとして「より多くの体験」を欲しがる。
  • デバイスであまりに多くの計算をさせると、昼前に参加者のデバイスのバッテリーが切れてしまい、残り一日悲しい思いをさせてしまう。 
  • 人の時間には限りがある。参加者はスマートフォンをかざしてワクワクするようなものを見ようとしますが、数分もすると疲れてしまい、体験をまだ全部見終わっていなくてもスマートフォンを置いてしまう。魅力的な AR コンテンツは、長すぎない方がいい。 
  • 技術とその上に乗るコンテンツを同時に開発するのは、複雑で、思った以上に時間がかかる。 
  • 物理的な会場と同時にデジタルツインを構築するのは大変だが(特に両者を正確に一致させる必要がある場合)、アクティブな BIM ワークフローと統合することが重要。
  • 「特定のデバイスを使っている特定の誰か」ではなく、「どこでも、誰でも」使える体験をデザインするのは難しい。できるところに集中する。

今後の予定

Expo Dubai Xplorer は、「未来はこのようになる」を示すひとつの例として作られました。それは、人と場所をより良い方法で結びつけるためのものです。この大規模な「アルファ版」で学んだことに基づき、パフォーマンスと柔軟性を向上させるためのリファクタリングと、新しい機能の設計を行っています。私たちは、他の人たちが同じような大規模な体験を作る手助けをしようとしています。それは、このような大規模な体験を作るときには、同じように使えるようになっているはずの技術の開発ではなく、その人ならではのコンテンツに労力を割いてもらうことができるようにするためです。

2022年3月29日 カテゴリ: コミュニティ | 7 分 で読めます
取り上げているトピック