Unity Slices: Table にソーシャルな複合現実の未来を垣間見る

本日開かれた Facebook Connect で、Unity Labs チームは、新しい概念実証である「Unity Slices: Table」を発表しました。これはタンジブルインターフェースに焦点を当てた複合現実による社会体験を、Passthrough VR がどのようにサポートできるかを示すものです。

本日開催された Facebook Connect イベントで、Unity チームは「Unity Slices: Table」と名付けた新しい複合現実（MR）体験を披露しました。Oculus の Passthrough 機能を使って VR、AR、MR を融合させ、人類が社会的ハブとして最も長く使ってきたもの、すなわちテーブルの周りに人々を集める体験を通じて、タンジブルインターフェースの未来を探る Unity Labs のプロジェクトです。

私たちは、Unity Slices: Table のことを、同じテーブルを共有している人も海を隔てた場所にいる人も、お互いの物理的距離に関わらず結びつけるために構築された、複合現実による社会的な概念実証であると考えています。

Unity Labs チームのシニアリサーチエンジニアとして、XR の未来をめぐるアイデアを具体的なプロトタイプの形に落とし込んでいく手助けをしています。その仕事の中で Unity Slices: Table がスタートしました。

これは Oculus App Lab のために制作された、今回の概念実証のためのゲームのバーティカルスライスです。最大 4 人のプレイヤーが一緒にクラシックなテーブルゲームを遊ぶことができます。この 1 年間、Unity Labs のチームはこの体験のプロトタイピングと改良を重ねてきました。今回はこの体験を実現させたその舞台裏をご紹介します。

プロトタイプを作る上で最初に到達しなければならなかった最初のマイルストーンは、バーチャル空間に表現されたテーブルを、実物のテーブルや机に合わせることでした。Oculus Quest 2 には、Unity で平面を正確に検出するための方法がまだないため、ユーザーが素早く正確にバーチャル空間の机とテーブルの位置合わせができるよう、手動でコントローラーを使うアプローチを取る必要がありました。

位置合わせの問題が済んだら、次はそれをネットワークに持ち込む方法が必要になりました。一見簡単そうに見えますが、テーブルを中心としたソーシャル体験を実現するためには、いくつもの要素を考慮する必要があります。同じ空間にいても、リモートで接続されていても、手に触れられるテーブルのインターフェースが共有され、参加している全員から見て適切な見た目になるようにしなければなりません。

そのようにして、共有されたコンピューティング体験のイメージを具体化していきました。Oculus Quest 2 の高度な多関節ハンドトラッキングに助けられ、どんなテーブルも巨大なタッチスクリーンに変えることができるシステムを構築することができました。しかし、せっかく VR を使っているのですから、私たちは平面的なインターフェースを超えたものを作ることを目標に、リアクティブな 3D オブジェクトを使った実験を始めました。

私たちは主にチェスのゲームでテストを行いました。ボリュームを持つ 3D の駒を試作し、ユーザーが手を近づけると縦方向に倒れるようにしました。しかし初期のユーザーテストで、オブジェクトの形状がプレイヤーにオブジェクトを扱う方法について誤解を与えることがあるとわかりました。駒が縦方向に倒れるため、ユーザーは動かしたい駒を操作するには手を上げて下を指さなければならないと思ったのです。これは、ハンドトラッキングシステムが、手の上部のシルエットをはっきりと認識できないとうまく機能しないというところから来る問題でした。

未来的な 3D インターフェイスの魅力を手放すのは惜しかったですが、ユーザーが平面で駒を動かせるようにすることにしました。この方針転換には 2 つの大きなメリットがありました。1 つ目は、ユーザーがターゲットとする駒を選びやすくなったことです。2 つ目は、ユーザーが手を動かす必要がなく、タッチしてドラッグするだけで済むことです。

平面上でのインタラクションは、従来のタッチスクリーンに似たシンプルで遊びがあるものであるべきですが、3D 空間上のオブジェクトに対するユーザーの手の位置関係から得られるものには、新たな可能性があることを学びました。タッチパネルとは異なり、インターフェイスが触られそうになると光らせることができるので、結果的に遊び心や予測性を高めることができます。

スムーズに動くようになるまでにはしばらく時間がかかりましたが、表情豊かなアバターを使ったネットワークセッションに初めて参加し、ボイスチャットで相手がテーブルをトントンと叩いているのを、まるで同じ部屋にいるかのように見聞きできたときは、本当に感動しました。私たちが触れている現実世界の一部を共有の体験に持ち込むことは、ほとんど魔法のように感じられました。

Passthrough VR をまだご存じない方のために説明すると、ヘッドセットの中に現実世界の映像を映し出すことで、VR ヘッドセットに AR を導入するという斬新な方法です。距離を隔てたバーチャル体験が素晴らしいものであることはすでに知られていますが、Passthrough を使えば、同じバーチャル体験をしている他の人と、自分が今いる現実の空間を共有することができます。遠くからつながっている友人のアバターを見るだけでなく、すぐ隣に座っている人たちを観察することもできます。

この体験に Passthrough を組み込んだところ、様々な実装方法が考えられるようになりました。従来の AR では、現実世界に重ねてコンテンツが見えるだけで、たとえばコンテンツに手を近づけた時に手が隠れるのが見えてしまうと、臨場感がすぐに失われてしまいます。しかし Passthrough では、現実とバーチャルの世界をどのような割合で混ぜ合わせるかを選択することができるので、自分の手がコンテンツの世界に本当に入り込んでいるように感じられるオクルージョンメッシュを作成することができました。

さらに、コンテンツを重ねるだけでなく、現実とバーチャルがどう関わり合うかを制御するしようという考えのもと、頭や手を突っ込むことができるバーチャル世界へのポータルというアイデアの検討を始めました。

そのアイデアは、テーブルを包み込む「現実のバブル」という形に帰着しました。ゲームやアプリをプレイしているときは、バーチャルなコンテンツに意識が集中し、そのコンテンツを取り巻くバーチャルな世界にも生命が宿ります。しかし、テーブルから目を離すとそこには現実世界が広がっています。ここでたとえばヘッドセットを外さなくても簡単に物を飲んだり食べたりすることができます。手がバブルの中に入ったり出たりして変化していく様子は、Labs チームメンバーの間でも人気の XR 体験となっています。

AR、VR、MR の 3 つのモードでコンテンツを体験する方法を具体化していく中で、ユーザーが簡単な操作で 3 つのモードを自由に行き来できるようにしたいと考えました。そこでたどり着いたのが、スライダーを使った手法です。バーチャルリアリティと現実空間を自由に行き来できるということが、実際に体験してみないとわからない感動的な体験を作り出しています。

Unity Slices: Table の体験をクリエイターのコミュニティと共有できることを嬉しく思います。Unity Labs チームを代表して、この実験が皆さん自身が複合現実体験を作り出すきっかけとなることを願います。また、Unity アセットストアの Oculus SDK にある実験的機能を使って、独自の Oculus Passthrough 体験を構築することもできます。

私たちは、近日中にどなたにでも Unity Slices: Table をすぐにお試しいただける状態にするため、現在も懸命に作業を続けています。私たちのソーシャルチャンネルに注目しつつ、今後の発表をお待ちください。