AK GO——用于航空维护培训的XR应用

由Augmented Knowledge Corporation开发的AK GO是一款使用Unity开发的工业解决方案，其作用在于开展沉浸式飞机维护培训。以文字为基础的传统模拟手册如今正逐渐被人工智能（AI）驱动的智能眼镜和增强现实（AR）所取代。 

AK GO的故事始于2008年。我们特地邀请到了Augmented Knowledge Corp.的CEO兼创始人Kevin GS Jo为我们讲述公司的发展历程及Unity在期间的作用。作为虚拟现实（VR）和人工智能技术的拥护者，Kevin一直在探索相关技术在航空维修领域的应用。

在2008年担任大学教授期间，Jo就在空客公司的资助下与南加州大学及大韩航空一起验证了AR和AI技术在实地航空维修上的可行性。

研究证明，用AR和AI技术取代纸质手册可以提高30%以上的维修效率。Jo还发现在技术的帮助下，即使是缺乏经验的工人也能近乎不出错地完成高质量维护。他在国际先进人工智能协会（AAAI）的AI会议上介绍了自己在相关基础技术及其应用上取得的成果。

当时，AR和MR（混合现实）眼镜数量稀少，但随着技术进步，市面上逐渐出现了HoloLens 2和Magic Leap等各品牌的智能眼镜，为技术的实际应用奠定了基础。Jo在美国、中国和韩国申请了专利，并开始推进研究成果的商业化。

飞机维护是航空业一个必不可少的流程，飞行器维护不善会引发惨烈的航空事故。据国际民用航空组织（ICAO）2016年的一项研究所示，约有14%的飞机事故是由维护不当引发的。尽管飞机及其他复杂器械的维护都有着严格的规定，维修人员需按照规定程序进行维护，但他们需要查找并理解大量的PDF或纸质内容，还需反复用图纸确认飞机结构，这是一个及其复杂、费时的过程。 

AK GO是一个配备了飞机维修手册的人工智能解决方案，可在佩戴的智能眼镜上同时显示3D飞机零件和手册。 维修人员可借助XR、AI和语音，在模拟中高效地完成维修培训。

有了AK GO后，工作人员可在高度逼真的虚拟飞机环境里学习和练习维修步骤，而培训方则能省去一大笔购买昂贵真机的成本，并提供高质量的培训。

飞机是一种非常昂贵的交通工具，单架市价至少需1000亿韩元。如此高昂的价格让大部分航空维修培训机构感到难以获取真机来进行培训。因此，他们常采购退役的或不再使用的轻型飞机作为培训器材。然而，由于担心设备会进一步损坏，许多培训用的老飞机现在也沦为了单纯的模型展示。

为了应对这些挑战，Jo希望开发出一种能精准还原实地维护流程的沉浸式培训应用，这也是XR技术的一种典型用例。

要想让航空维修培训产生效果，受训者必须在工作流程中可以快捷地取得必需信息，同时腾出双手来完成工作。已投入商用的HoloLens 2智能眼镜便可以实现这种功能，所以Jo的团队决定将其作为应用的目标设备。团队还应用了语音识别技术让工人能够轻松地获取信息。

当开发初期，我们并没有游戏引擎的使用经验，因此选择起来比较困难。Unity引擎有着不小的吸引力，与其他引擎相比，它对新手更加友好。另外，引擎还支持上层开发，让我们能在以后的长期工作中减轻项目改动带来的负担。此外，Unity提供了一个高效的开发环境，让各种开发所需的插件或资源触手可及，加快了HoloLens 2的MR内容开发。因此我们选择了Unity。

— Kevin GS Jo，Augmented Knowledge Corp的CEO兼创始人。

为智能眼镜开发的VR内容有一个问题：只有佩戴设备的人可以看到眼镜内显示的内容。为了改善AK GO的好用程度，团队决定让每个受训者在使用昂贵的智能眼镜或VR设备时，有能力将眼镜内的画面共享给其他的平板等设备。

在使用AK GO时，受训者可在眼镜上看到逼真的飞机零部件，以及显示在四周的对应流程指南。并且在深度学习语音识别技术的帮助下，受训者可以用语音随时打开菜单或特定手册内容。HoloLens 2设备的视频画面也可以传输到平板电脑上与其他人分享，让旁人能实时查看学员所看到的内容。

在飞机起落架的拆卸装配教学里，AI会与受训者交流，然后在画面中显示对应的流程步骤。在结合AI和XR后，受训者能与维修知识库进行沟通，在维修过程中调取必要信息，并显示在3D模型之上。

据团队的首席架构师和AR开发Chidon Ahn所说，Unity的编辑器编程功能对项目来说极其宝贵。它的好处不仅仅体现在一个项目里。如果你手头有多个类似的项目，特定的任务可以用编辑器脚本保存用于多次重复。

如果应用需要处理大量的数据，而每次重复性任务所涉及的数据不同，与其手动处理，开发者可使用正确生成的元文件和预制件来自动完成重复性任务。

Unity更有许多方便小型开发团队的资源。Unity还借助云技术优化了编程开发的体验，所以我们从一开始就一直在用Unity。

- Chidon Ahn，Augmented Knowledge Corp首席架构师和AR开发

AK GO主要的目标是在航空维修领域设计、测试和实现一种糅合AI与XR的应用。在未来，AK GO计划进军数字孪生领域，研究怎样对载具电子部件、家用电器和工厂设备等工业资产进行实时维护。

Augmented Knowledge Corporation打算以软件即服务（SaaS）的模式在全世界推广各种飞机模型的云端应用。Unity将被积极用于整合多种类的数据源。

AK GO使用了Unity 2019.1.14开发。若了解更多信息，请访问Augmented Knowledge Corp.官网。

在此处了解Unity数字孪生在沉浸式培训等方面的应用。