航空整備訓練向け XR コンテンツ「AK GO」

Augmented Knowledge Corporation は、Unity を用いて構築された没入型の航空機整備トレーニングを可能にする産業用ソリューション、「AK GO」を開発しました。文字で書かれたアナログのマニュアルは、スマートグラスや人工知能（AI）を活用した拡張現実（AR）に取って代わられました。 

AK GO にまつわる物語は 2008 年に始まりました。Augmented Knowledge Corporation の CEO 兼創設者である Kevin GS Jo 氏に、開発の経緯と Unity が果たした役割について聞いてみました。彼は、以前からバーチャルリアリティ（VR）や AI への支持を表明しつつ、これらの技術の航空整備の分野への応用を研究してきました。

CEO の Jo 氏は、大学教授だった 2008 年に Airbus 社から資金提供を受け、南カリフォルニア大学、大韓航空と共同で、現場での航空整備の実施に関する AR、AI 技術の活用について、実証研究を行いました。

彼の研究では、紙のマニュアルではなく、AR や AI 技術を使うことで、メンテナンスの効率が 30% 以上向上することが確認されました。また Jo 氏は、経験の浅い作業員でも、品質的にはほぼエラーのないメンテナンスが可能であることも見出しました。この結果を受けて、関連する基礎技術とその応用についての論文を、AI に関する国際会議 AAAI（Association for the Advancement of Artificial Intelligence）で発表しました。

当時、AR や複合現実（MR）用のグラスは少なかったのですが、技術の進歩により、現在では HoloLens 2 や Magic Leap など、さまざまなスマートグラスが手軽に市場に出回るようになり、実用化の基盤が整いました。Jo 氏は、研究成果を元にアメリカ、中国、韓国で特許を取得し、産業分野向けの商品化に向けて動き出しました。

整備不良は致命的な事故につながるため、航空機の整備は必要不可欠なプロセスです。2016 年の ICAO（国際民間航空機関）の調査によると、航空機事故の約 14% は整備不良が原因とされています。航空機や複雑な機械の整備は、文書化された手順通りに行われるよう厳しく管理されていますが、整備作業の前に PDF ファイルや紙のマニュアルに書かれた膨大なコンテンツを探し出して理解し、さらに 2 次元の図面が実際の航空機とどのように対応しているかを確認するのは、複雑で時間のかかる作業です。 

航空機の整備マニュアルを搭載した AI ソリューション AK GO は、作業者が装着するスマートグラスを通して、立体的な航空機の部品とマニュアルを同時に表示します。エクステンデットリアリティ（XR）コンテンツ、AI、音声インタラクションを用いたシミュレーションにより、作業者は効率的な整備工程のトレーニングを受けることができます。

AK GO を使えば、作業者はまるで実際の航空機の中で訓練を受けているような環境で、リアルな整備工程を繰り返し学ぶことができ、訓練機関は高価な機材を用意することなく、質の高い訓練を提供することができます。

航空機は高価で、1 台で最低 1,000 億ウォンはかかると言われています。航空整備の訓練を行う機関では、航空機を取得するためのリソースが限られています。訓練機関では、引退した機体や飛行しなくなった軽飛行機など、古い機体を訓練機材として利用することが多いです。しかし、古い機体であっても機器の損傷が懸念されるため、現在ではその役割も縮小され、単なるディスプレイモデルになりつつあります。

これらの課題を解決するために、Jo 氏は、XR 技術の典型的な使用例である、実際の現場での整備工程を正確に模倣した没入型の訓練コンテンツの開発を目指しました。

航空整備の訓練のためのコンテンツを効果的に提供するためには、産業分野の現場でのあらゆる作業と同様に、ユーザーが情報に容易にアクセスでき、作業を行うために両手が自由でなければなりません。この機能を実現するのが、現在市販されているウェアラブルスマートグラス HoloLens 2 であり、Jo 氏のチームはこのデバイス向けの航空整備コンテンツの開発に注力しました。また、音声認識技術を応用し、作業者が簡単に情報にアクセスできるようにしました。

私たちの開発チームが開発を始めた当初は、エンジンの経験がなかったため、エンジンの選定に苦労しました。Unity エンジンは、他のエンジンに比べて、初心者でも利用しやすいのが大きな魅力でした。また、Unity エンジンは高度な開発にも対応しているので、長期的な開発プロセスの中でさまざまな変更を加える際、負担が少ないと判断しました。また、HoloLens 2 用の MR コンテンツの開発が容易になり、開発に必要なプラグインやアセットなどを入手・利用できる環境が整いました。これらが、Unity を選んだ理由です。

- Augmented Knowledge Corporation、CEO 兼創設者、Kevin GS Jo 氏

スマートグラス用の VR コンテンツを開発する際に問題となるのが、デバイスを装着した人だけがグラスを通して表示されるコンテンツを見ることができるという点です。そこで、AK GO チームはユーザーにとっての利便性を向上させる方針を取りました。訓練を受ける人がそれぞれ個別に高価なスマートグラスや VR デバイスを PC と組み合わせて使うのではなく、ある人がデバイスを使っている間、グラスからの映像をタブレット PC などの他の画面に共有できるようにしたのです。

AK GO では、スマートグラスに映し出された実際の航空機の映像を見ながら、作業手順のガイダンスを実際に航空機の中にいるような形で受けることができます。また、ディープラーニングを応用した音声認識技術により、訓練を受ける人はどの手順でもメニューやコンテンツに簡単にアクセスすることができます。また、HoloLens 2 の映像をタブレットに転送し、他の人と共有することで、訓練を受けている人が使っているコンテンツをリアルタイムで見ることができます。

航空機の着陸装置の分解・組み立ての動画では、AI が訓練を受けている人とコミュニケーションを取りながら、マニュアルに掲載されている手順を訓練を受けている人の視界内に表示します。AI と XR を組み合わせることで、訓練を受ける人はメンテナンス時に必要な情報を AR の 3 次元モデルに重ねて、メンテナンスのナレッジベースと通信して見ることができます。

チーフアーキテクト兼 AR 開発者の Chidon Ahn 氏によると、今回のプロジェクトでは Unity のエディタースクリプトが非常に役に立ったとのことです。単一のプロジェクトでだけではありません。同じようなプロジェクトを複数行っている場合、エディタースクリプトでタスクを定義してしまえば、そのタスクを簡単に繰り返すことができます。

繰り返すたびに変化する膨大な量のデータを扱うコンテンツを開発する場合、開発者はすべてを手作業で処理しなければなりません。しかし、Unity では、適切に作成された meta ファイルと定義済みのプレハブを使用することで、このプロセスを自動化することができます。

Unity には、私たちのような小規模な開発チームでも効果的に利用できる様々なアセットがあります。また、Unity はクラウド技術を利用することでコード開発に最適化されていることもあるので、このプロジェクトでは最初から Unity を利用しています。

- Chidon Ahn 氏、チーフアーキテクト兼 AR 開発者、Augmented Knowledge Corporation

AK GO は、航空整備分野を中心に、AI と XR の融合したコンテンツの設計、テスト、そしてその実現に取り組んできました。AK GO は、自動車の電子機器や家電製品、工場などの産業資産に対するリアルタイムなメンテナンスが求められるデジタルツインの分野にも進出する予定です。

Augmented Knowledge Corporation は、さまざまな種類の航空機のクラウドベースのコンテンツを、SaaS（Software-as-a-Service; サービスとしてのソフトウェア）モデルとして世界に提供することを目指しています。さまざまなソースからのコンテンツを融合させるために、Unity が積極的に活用されています。

AK GO は、Unity 2019.1.14 を使用して開発されました。詳細は、Augmented Knowledge Corporation のウェブサイトをご覧ください。

没入型トレーニングアプリケーションなど、Unity をデジタルツイン向けに使用する方法についてはこちらのページをご覧ください。