コンテキストの重要性：拡張現実におけるクロスドメインデータマッピング

AI が全盛期を迎える一方で、没入型体験への AI の活用に向けた環境はまだ整備されていません。AI がすべての問題に対する解決策となるわけではありませんが、AI は次世代の拡張体験の創造に必要なミッシングリンクを提供してくれます。

この AI ブームを踏まえ、拡張現実（AR）体験の創造に関連する概念である「コンテキスト」についてお話したいと思います。コンテキストとは、機械処理可能なデータにエンコードできる、ドメインを記述したパラメーターのコレクションのことです。ドメインには色々なものがありますが、AR 空間においては、物理、仮想、人間の 3 つの重要な領域が存在します。

物理ドメインは、私たちが住んでいる世界です。特定の場所に関するコンテキストには、現実世界の座標（つまり地理的位置）、環境スキャンデータ、物体の位置、天候、周囲の画像など、特定のニーズに対するソリューションの生成に関連した現実世界に関するあらゆるパラメーターが含まれます。

仮想ドメインには、現実世界の位置と有意な相関を持つあらゆるデータが含まれます。ざっくりとした定義ですが、これが根本にある考えです。AR 体験は、複雑な 3D アセットやモデルがなくても、その価値を発揮することができます。例えば、降雨データや店舗内の在庫の位置など、あらゆる種類の位置メタデータが体験の基盤となり得ます。

最後に、人間ドメインとは、機械が理解できる言葉で表現された人間からのリクエストの総体です。これが AI の出発地点であり、自然言語処理（NLP）と生成的事前学習済み変換器（GPT）モデルは、人間のコンテキストを機械語に変換する上で重要な役割を果たします。人間ドメインには、機械によって生成されたデータをどのように伝達するか、ということも含まれます。

ドメインコンテキストの生成は比較的単純なタスクです。難しい点は、コンポーネント間のリレーションシップを使用可能な状態にすることです。物理座標と仮想座標が一致している、最新の物理世界の状態がデジタルツインに反映されている、人間の説明が訓練可能な行動とマッピング可能である必要があります。

AI、ロボット工学、IoT など、新しいテクノロジーに関連するソフトウェアとハードウェアの両方が、急速な発展を遂げています。その実装を規定した規格（相互運用性など）やベストプラクティスが導入されるまでの間、効果的な活用方法と互換性は、ネットワーク化されたコンポーネントの優れた設計に依存します。しかし、ひとたびシステムの設計が完了すれば、産業、小売、一般的な生産性の向上など、あらゆる用途で拡張現実体験を創造するための一般化された基盤を手にすることができます。

クロスドメインマッピングが AI によってどのように可能になるかを示す例として、人間が遠くの物体を指差す場面を考えることができます。これは多くのテクノロジーによって提供可能な物理的コンテキストですが、ジェスチャー自体は本質的な意味を持たず、解決したい問題を定義するには不十分です。進行方向を指しているのかもしれないし、対象物について尋ねているのかもしれません。「あそこへの行き方は？」というような言語と関連づけられることで、コンテキストは完全なクエリを形成します。このように、AI は私たちが日々何気なく行っている自然なやりとりを「理解」し、適切なレスポンスを生成することができるようになります。このリクエストとレスポンスの透明性は、私たちの生活をより快適なものにするという究極の目標の下、あらゆる種類の AR 体験を向上させています。

応用場面に応じたコンテキストの定義方法の例をいくつか見てみましょう。AI の役割は主に人間ドメインに属します。ユーザーのリクエストを処理し、ユーザーのニーズを予測し、関連データを利用し、人とデバイス間のコミュニケーションを取り持ちます。

部屋のペンキ塗り：ユーザーが、空間を塗装するのに必要なペンキの量を知りたいと考えています。仕様：ユーザーは、空間の測定と、必要なペンキの量を尋ねるための音声コマンド機能を持ったデバイスを持っています。

• 物理：物理空間の LiDAR スキャン
• 仮想：壁の表面を正確に判断するため、物理スキャンを元にその場で作成された、窓、ドア、壁を含む空間のデジタルツイン
• 人間：平方フィートとペンキ 1 缶で覆える表面の関連性

ランニングルートの作成：ユーザーが、通常のルートとは違うランニングルートをリクエストします。仕様：ユーザーは、位置の特定および視覚情報のプロジェクション機能が搭載され、以前走ったルートの情報が記録されたヘッドセットデバイスを持っています。

• 物理：ユーザーの位置と過去のランニングデータ
• 仮想：トレイルや歩道の情報を提供するその地域の地図
• 人間：新しいルートを計算するために必要なルート構成の理解

空港の最適化：運航管理を改善するための状況認識と自動化。ユーザーは、飛行場で安全に運航管理を行うため、ジャストインタイムプロンプトを必要としています。仕様：ユーザーは、自身の位置を特定できる手首装着型のウェアラブルを着用しています。このデバイスは運用の中核を担うデジタルツインとデータ連携されています。

• 物理：ユーザー、航空機、アセット、物理世界の物体の位置
• 仮想：シミュレーション予測、ナビゲーション、POI の特定、地理空間処理などを可能にする空港のデジタルツイン
• 人間：ミッション、課題、主要な安全目標の理解

上記の例から分かるように、リアルタイム 3D の価値は、印象的な映像の制作のみにとどまりません。これは、問題に対する空間ソリューションを生成するためのクロスドメインコンテキスト処理を行うコアエンジンです。私たちの住む世界が 3D であることを考えれば、リアルタイム 3D が中心的な役割を担うことは当然とも言えるでしょう。

Unity は、コアデータエンジンとしてゲーム市場で絶大な支持を得ているため、ゲーム以外のユースケースへの応用性は見過ごされがちです。ウェアラブル、デバイス、AI モデル技術の進歩に伴い、取得可能なデータの質と量が向上することで、今まで以上に豊かなコンテキストの定義が可能になり、生成されるソリューションの精度も向上します。Unity は、このデータを収集するための主要なツールとなり、仕事や遊びの場面で私たちの生活を向上させる体験を創造する助けとなるでしょう。

開発者の皆さんがどのような作品を生み出すのか、とても楽しみです。本ブログ記事が、次世代体験の構築に関するアイデアを生み出すきっかけとなることを願っています。

AI で没入型体験を促進する方法をもっと知りたい場合は、デジタルツインの可能性についてもご確認ください。加えて、Unity AI ベータプログラムへの登録もお忘れなく。