AR で皇龍寺の中門と南回廊を探検する

韓国・慶州市にあった仏教寺院、皇龍寺は、仏国寺と並んで新羅時代を代表する寺院でした。しかし、不幸な出来事で建物全体が破壊され、現在は皇龍寺の跡地だけが残っています。韓国の国立文化財研究院は、壮大な新羅の遺産が失われたことを惜しみ、熟考の末、皇龍寺を復元することを決定しました。AR（拡張現実）による文化財の修復は簡単な仕事ではありません。そこで、VR（バーチャルリアリティ）や AR コンテンツを専門に扱う VIRNECT 社との連携が不可欠だったのです。歴史調査と研究を重ね、皇龍寺の中門と南回廊が AR によって復元されました。この AR コンテンツは最近になってその質の高さが認められ、2021 年の Korean Made With Unity (MWU) Best Visualization Award を受賞しています。この文化財の修復過程について、VIRNECT 社のプロジェクトマネージャー、チェ・ジュゴン氏と開発者のカン・ヒョンソク氏にお話を伺いました。

チェ氏は、文化財研究院からこの文化財の修復に協力するオファーを受けたとき、とても喜びました。それは、新しい挑戦への興奮と際立った成果を挙げることへの期待が隠せなかったからです。チェ氏は、AR を未来志向の技術のままにとどめるのではなく、過去・現在・未来をつなぐコンテンツとして発展させるべきと考えており、その意味でも文化財修復プロジェクトは非常に魅力的だったのです。

当時、このプロジェクトはまだ国立文化財研究院の内部プロジェクトでした。当初は研究者の学術・研究成果の可視化を目的としていましたが、チェ氏とカン氏が積極的に関与したことにより、一般向けにサービス展開できるコンテンツに発展していきました。皇龍寺の中門と南回廊の AR 実装は、歴史的な研究の域を超え、またその見た目は期待以上のリアルさを持つものに仕上がりました。

「新しい課題はいつでも大歓迎です。技術が確立されているので、そこに制限を設ける必要はありません。」 ― VIRNECT 社プロジェクトマネージャー、チェ・ジュゴン氏

XR 体験コンテンツとして生まれ変わった皇龍寺の中門と南回廊では、平屋部分の内部と 2 階建て部分の中層の内部を実寸で実装しています。ユーザーは敷地内を歩き、建物のあちこちで写真撮影を楽しみ、訪れた時期に合わせて描かれる四季折々の変化を感じることができます。特に中層の内部は、実際に建物の 2 階にいるような感覚を味わえるようにデザインされています。そのため、1 年間の実証期間中、世論やメディアから高い評価を受けました。しかし、そこに至る道筋は楽なものではありませんでした。文化財の修復ということで、歴史調査が最重要課題でした。しかし、皇龍寺の資料が不足していたため、さまざまな資料を同時に分析・研究する必要がありました。研究院から基本的なデータをもらうだけでなく、教授陣から積極的にアドバイスを受ける必要もありました。チェ氏とカン氏は、皇龍寺を既存の見取り図から 3D に復元するために試行錯誤を繰り返しました。 

「垂木、格子窓、基壇、屋根の棟飾......聞き慣れない言葉ばかりでした。用語に慣れるまで時間がかかりました。ですので、試行錯誤は避けられませんでしたね。」 ― チェ・ジュゴン氏

こうした試行錯誤が必要になった理由の 1 つは、3D モデリングをしようとすると、2D の平面図では見えない隙間や高さなど、構造的な欠陥が見つかってしまうことでした。不具合を発見するたびに、他の事例を探しながら、調査、修正、実装することを強いられ、多くの時間を費やすことになりました。また、対面での会議における物理的な制約にも直面しました。彼らは対面での会議を行う代わりに、Unity を使って 3D モデルのビューワーを作り、リアルタイムでフィードバックを受け、確認するという方法をとりました。これにより、効率的なコミュニケーションと時間の節約と共に、ミスの範囲の縮小を実現したのです。

開発者のカン・ヒョンソク氏は、インタビューの最初に開発中にこれだけ歩いたのは初めてだったと発言しました。AR コンテンツの制作で欠かせないのは、ユーザーにとっていかにリアルに感じられるかということです。現実のように感じられる実装をするためには、実際の位置とコンテンツ内の位置との誤差範囲を小さくすることが重要でした。

「中門自体も大きかったのですが、南回廊も含めると 270 メートル近くあります。誤差範囲の問題を解決する方法は、足を使うこと、自分たちで遺跡に出向くことでした。」- VIRNECT 社の開発者、カン・ヒョンソク氏

カン氏は、中門から南廊下まで 270 メートルもの距離があるという条件で、誤差範囲をいかにして小さくするかを考えました。270 メートルというのは相応に長い距離なので、単純に高性能なタブレットや AR コアを導入しただけでは誤差範囲の問題は解決できません。GPS も試してみたものの、これも誤差が大きいので、中間に多数のマーカーを置いて進めたといいます。さらにカン氏はマーカーを置く最適な間隔を決めるために、これも自分の足を使って何度もテストを繰り返しました。270 メートルの建物は少しでも傾くと何十メートルも傾いてしまうので、正確な測定のためにあらゆる努力が払われました。また、光と影の再現もリアルな体験のためのポイントです。現実世界の環境の影の方向とデジタルオブジェクトの影の方向を一致させることで、没入体験のリアルさを高めることができたのです。

カン氏は Unityを使うことが最適な選択であると述べました。それは 1 つや 2 つの理由からではなく、Unity があらゆる面で最先端の技術を見せてくれるものだったからでした。さらに、Unity はモバイルを含むさまざまなプラットフォーム向けのサービスを提供していました。加えて、カン氏が検討した選択肢の中で、解像度の異なるさまざまなタブレット端末に単一のユーザーインターフェース（UI）で対応する技術を持っていたのは Unity だけでした。それは、Unity が提供するプリセットという機能です。解像度が変わるたびにプリセットに保存されている UI 情報を読み込んで動作するため、単一の UI で動作させることができます。

また、このプロジェクトは体験であるため、ユーザーが楽しめるような設定を開発するためにも Unity が積極的に使われました。皇龍寺をバックにした記念撮影機能がその代表的なものといえるでしょう。撮影した写真の上に 3D を表示すると、カメラの背景の上に 3D オブジェクトが表示されるため、写っている人が隠れてしまうという問題がありました。これに対処するために Unity のオクルージョン技術を使って、3D オブジェクトが人物の後に行くようにしました。この技術のおかげで、皇龍寺を背景にした写真を撮ることができるようになりました。

「没入体験を完成させるのは、結局は技術なんです。この技術を実装するうえで、Unity 以外の選択肢は見つけられませんでした。」 ― カン・ヒョンソク氏

チェ氏とカン氏はともに、AR コンテンツ開発の鍵は、人と人とのコミュニケーションを可能にするインタラクションにあると述べています。メタバースが注目される理由は、その中でさまざまなインタラクションが可能だからです。インタビューの中で、VIRNECT は今後、人と人との活発なコミュニケーションの間に意味を持たせることに重点を置き、プロジェクトを拡大していく予定であることを明らかにしました。コミュニケーションに満ちた AR を実現する VIRNECT の活動にご期待ください。

このプロジェクトについてさらに情報を得たい方は、Unity Korea の YouTube チャンネルで動画インタビューをご覧ください。