Apple の新しい iPad Pro には LiDAR スキャナーが搭載されており、シーン理解と実世界の奥行き情報の取得が強化されたことで、拡張現実（AR）体験がもたらす現実感のレベルがさらに向上しました。Unity は AR Foundation を拡張して、この新しい深度データとシーンジオメトリを取り込んだ ARKit 3.5 と ARKit 4 の新機能を追加しました。

AR Foundation に以下の新機能が追加されました。

• 自動環境オクルージョン
• 深度画像
• シーン再構築

ARKit 4 を実行している iPad Pro は、毎フレーム深度画像を生成します。深度画像の各ピクセルは、デバイスと現実世界のオブジェクトとの間のスキャンされた距離を示します。

AR Foundation 4.1 には、背景をレンダリングするときにこの深度情報を取り込む AR Occlusion Manager が含まれています。カメラの背景がレンダリングされると、背景のレンダラーはスキャンされた深度画像からのデータに基づいて深度バッファを更新します。バーチャルコンテンツが現実世界のコンテンツよりもカメラに近い場合、仮想シーンがレンダリングされると、仮想オブジェクトが現実世界を覆い隠します。同様に、バーチャルコンテンツが遠くにあり、現実世界のオブジェクトの後ろにある場合、バーチャルコンテンツは現実世界のオブジェクトに対応するピクセルの上にはレンダリングされず、物理的なオブジェクトがバーチャルコンテンツを隠します。

このビデオでは、自動環境オクルージョンにより、バーチャルコンテンツと現実世界のコンテンツの視覚的統合がどのように改善されるかを示しています。

開発者は、追加で CPU ベースの処理を行うために生データを取得することもできます。AR Foundation 4.1 では、深度画像を構成するピクセルデータに直接アクセスして、カスタムアプリケーションを動作させるために使ったり、コンピュータビジョンアルゴリズムへの入力させたりすることができます。

ARKit のシーン再構築では、Apple の新しい iPad Pro に搭載されている LiDAR センサーを使用して環境のスキャンを行い、現実世界の環境を表すメッシュジオメトリを作成します。さらに ARKit は、スキャンされたメッシュ内の各三角形を分類するオプションを提供しています。三角形ごとの分類結果に基づいて、現実世界でその三角形が置かれる位置に対応する平面のタイプを識別することができます。

ARKit 3.5 と AR Foundation 4.0 で導入されたシーン再構築は、ARMeshManager を介して動作します。環境がスキャンされると、ARMeshManager はバーチャルシーンにメッシュジオメトリを構築します。このメッシュジオメトリは、物理演算用の衝突ジオメトリを提供するなど、いくつかの方法で使用できます。

このビデオでは、メッシュの分類機能を使って分類の異なる平面のタイプごとに色分けした画像と、バーチャルコンテンツとの物理的な相互作用を行う衝突ジオメトリとして使用されるメッシュの両方を同時に表示させた様子を示しています。

AR Foundation と ARKit XR プラグインパッケージの 4.1 バージョンには、開発を始めるために必要なものがすべて含まれています。これらは Unity 2019 LTS 以降に対応しています。自動オクルージョンの設定方法を示すサンプルは、GitHub の AR Foundation Samples にあります。

ご質問があれば、いつものように、Unity Handheld AR フォーラムにお気軽にお問い合わせください。

AR Foundation を通じて ARKit の最新機能をお届けできることを嬉しく思います。皆さんが創り出したものに出会うのが待ち遠しいです。

フォーラムの投稿を参考に、まずは始めてみてください。