Unity、Apple WWDC21 で最新の AR コンパニオンアプリ機能を発表

今年の WWDC で、Apple は現実世界の物体をキャプチャするエキサイティングな新技術を発表しました。Unity は、コンパニオンアプリとエディターをつなぐワークフローに Object Capture を取り入れるために、Apple と緊密に協力してきました。

Apple のモバイルテクノロジーが登場して以来、Unity はユーザーの皆さんが Apple の最先端デバイス上で新しい技術の力を活用した体験を簡単に、シームレスに作れるようにしてきました。今年後半には、Unity AR コンパニオンアプリに Object Capture が追加され、XR クリエイターが現実世界の物体をスキャンして 3D アセットを生成できるようになる見込みです。

多くの Unity 開発者が、予測不可能な現実世界の事象をどのようにしてデジタル体験に取り込んでいくかに頭を悩ませています。どこに何があるのかを把握したり、現実世界の情報を取り込んで体験に埋め込んだりするために現実空間をスキャンし、そうして得られるさまざまな情報をどのように使えばよいか、それが非常に難しいのです。Unity AR コンパニオンアプリは、エディターにとらわれない形でのオーサリングを可能とし、コンテキストに基づいて体験を作り出したりキャプチャを行ったりする方法を提供します。これまでにも、平面やメッシュなどの環境情報をキャプチャしてアプリの構築に使うことができましたが、ついに現実世界の物体をアプリの構築に活用することができるようになりました。

Object Capture プロジェクトは、制作ツールの大きなトレンドを示すものでもあります。つまり、特定のハードウェア上でコンパニオンアプリを Unity エディターと組み合わせて使用することで、メディアと個別のデバイスをそれぞれ最適な形で使用できるようになるということです。AR に対応したスマートフォンは、環境のキャプチャ、AR セッションの記録に加え、物体のキャプチャにも優れたデバイスにもなったのです。 

この新技術が既存の写真セットの処理にも対応していることは注目すべき事柄でしょう。このような「従来のカメラ」のユースケースをサポートすることは重要です。技術の間口が広くなりますし、過去に撮影した画像を使ってフォトグラメトリができるという魅力的な機能が実現できるからです。例えば今は無くしてしまった大事なものも、この技術を使って何年も前に撮った写真から 3D で再現して見ることができるかもしれません。

この新しい Object Capture 機能は、iOS 版の Unity AR コンパニオンアプリに組み込まれます。この機能を搭載した AR コンパニオンアプリは今年の秋以降にリリースされる予定で、リリースの際には使い方を解説した完全なドキュメントをご提供する予定です。今回はこのワークフローの全体像を説明し、そこに込められた思想についてお伝えしたいと思います。  

この体験は AR コンパニオンアプリから始まります。今年の秋に、「Object Capture」という新しいモードが追加されたことに気づきます。  

撮影前にインタラクティブな UI が表示され、被写体の上にガイドオブジェクトが表示されます。ガイドに被写体を重ねたら、あとは自由に写真を撮り始めることができます。

他のフォトグラメトリの手順と同様に、被写体の写真をあらゆる角度から、かなりの枚数撮影することになるでしょう。写真を 1 枚撮るごとに、この角度からの撮影が終わったことを示すために、ガイドオブジェクトの面に「ピン」を差します。いつでも被写体をひっくり返したり横にしたりして、底の部分や縁がせり出した部分を撮影することができます。  

撮影した写真を 1 枚ずつ分析し、良くない結果につながる品質の低い画像がないかチェックします。ブレていたりして使えない写真を見つけたらその部分のピンを赤にして原因を調べ、その写真を削除または再撮影します。 

写真をすべて撮り終えたら、Mac 上の Unity で写真を処理し、モデルを生成して実際に使用してみましょう。  

この時、作業の始め方をいくつか選ぶことができます。1 つ目は、このプロジェクトに新しく追加されたローカルのワイヤレスファイル転送を使用する機能を使う方法です。また、既存の堅牢な Companion Resources Sync ワークフローもサポートしています。このワークフローではイメージマーカーや環境スキャンなどの既存のリソースタイプに加え、「Captured Objects」が使えるようになっています。最後に、画像を収めたローカルディレクトリを使う方法です。iPhone のコンパニオンアプリで撮影したものでも、従来のデジタル一眼レフカメラで撮影したものでもサポートされます。  

どのソースを使う場合でも、使いたい画像を選択したら次は画像の処理に移ります。  

この工程は 2 段階で行われます。まず、プレビュー品質のモデルが生成されます。そのプレビューをもとに、バウンディングボックスや、位置や向きの調整を行うことができます。 

調整が済んだ後にもう 1 回ボタンをクリックすると、完成版の品質のモデルが生成されます。このステップではプレビュー品質のモデルを生成する時のデータの多くが使用されるため、より高品質なモデルが生成されるにもかかわらず、2 回目のモデルの生成時にはプレビュー品質のモデル生成時に比べて、生成までの時間が大幅に延びることはありません。

これで完了です。完成版のモデルはプレハブとしてプロジェクトにインポートされ、アプリで使用することができます。

AR コンパニオンアプリの初期バージョンの Object Capture モードをテストしたところ、このアプリは AR を使ってフォトグラメトリのための写真撮影のベストプラクティスをユーザーに伝える良いガイドとして使えるように思われました。また、最初のバージョンでは文字ベースで簡単な説明が用意されていたのですが、ユーザーはそうした説明を読まず、プロンプトもすぐに閉じ、何も見ないで進んでしまうという昔からよくある事態が繰り返されていました。そこで、ガイドオブジェクトを導入しました。  

厳密にはガイドは必要ではありませんが、上手に撮影する方法をユーザーにフィードバックしたり、未撮影部分を明確にして撮影のカバレッジを最大化するには、ガイドは非常に有効だと考えられます。ガイドの他にも、すでに撮影した場所を示すために写真に差すピンや、品質の低い写真の検出やフィードバックが導入されました。 

このガイドとピンは非常に便利なのですが、新たな問題が発生しました。それは、スキャンの被写体を追跡していないため、被写体を移動させるとガイドは自動的についてこないという問題です。ガイドとピンの位置を変えずに被写体を裏返した場合、ピンが示す写真は被写体の私たちの方を向いている面とはつながりのないものになってしまいます。これを解決するために 2、3 の巧妙な方法を試してみましたが、最終的には最もシンプルな方法にたどり着きました。それはユーザーに被写体を動かした後は、ガイドを再配置して、ピンもリセットするように促すというものでした。被写体全体のうちカバーされている部分の割合を把握し続けることで、そこまでに撮影した写真が失われていないことを伝えることができます。  

これらの AR アフォーダンスを総合すると、特に物理的に動き回るような新しいインタラクションにおいて、AR はガイドのための有用な技術として使えることが明らかになりました。 

このプロジェクトが私たちにとってエキサイティングな理由はいくつかありますが、まず第一に、コンテンツ制作の民主化を引き続き推進していく私たちのミッションに深く合致しているということです。ゲーム開発者の中には、何年も前からパイプラインにフォトグラメトリを使用している人もいますが、まだまだ専門知識が必要で、またフラストレーションのたまる作業になることもあります。今回 Apple から Object Capture 機能がアナウンスされたことは、フォトグラメトリがより広くクリエイターに開かれたことを意味しています。私たちは、インディーズゲーム開発者、中規模スタジオ、学生クリエイターなどのプレイヤーが、現実世界の物体キャプチャを制作に活用し始めることを期待しています。

しかし、私たちにとってそれ以上にエキサイティングなのは、この強力なツールセットが、日常的に使っているデバイスでも使えるようになったことで、開発者ではない人でもコンテンツの制作やキュレーションができるようになったことです。私たちはプロジェクトを開始するにあたり、フォトグラメトリ技術のユースケースを収集しましたが、その結果ゲームだけではなく、もっと広い範囲に影響を与えることができることに気づかされました。例えば、ある楽器店のオーナーは、これまでは店内の楽器の画像を投稿することしかできませんでしたが、Object Capture を使って店内の楽器をキャプチャし、魅力的でリアルで高品質な 3D モデルを作成し、オンラインや（私たちが熱意を注いでいる）AR を使ってシェアすることができるようになりました。  

この強力な制作のためのテクノロジーをツールに直接組み込むことで、これまでツールを使ってこなかったユーザーの方にもこのテクノロジーを活用していただけるようにします。キュレーター、建築家、アーティスト、デザイナーといった職種の方にとって、自分のアイデアをほとんど瞬時に実現できる環境が実現します。今年の後半、この機能をお届けできる日が私たちも楽しみです。

Unity MARS を使ったインテリジェントな AR アプリケーションの構築については、こちらのページをご覧ください。