搜索 Unity

使用VirtaMed LaparoS模拟器进行混合现实手术培训

2021年11月29日 类别 制造业 | 11 分 阅读
Medical students training
Medical students training
分享

全球公认的尖端医疗技术开发商VirtaMed LaparoS使用了Unity的实时3D数字孪生技术和集成触觉反馈开发了超逼真的虚拟手术培训。

注:文中部分解剖图可能会导致不适。

座落于瑞士的医学教育混合现实模拟器开发商VirtaMed新推出的手术培训解决方案极大地降低了培训的风险。荣获瑞士MedTech Award 2020的LaparoS采用了Unity的数字孪生技术来重现复杂的手术培训场景,以此来彻底改变手术的学习方式。

Broward Health的FACS项目主任Ivan Puente博士说:“在进入模拟器那一刻起,你就可以像在真实的手术室里一样准备培训。我们能完整模仿实际的手术操作,更棒的是我们还能加上出血、胆汁渗漏等并发症,让手术医生在培训时就学会应对方法。很明显,在手术前进行模拟训练既能提高医生的技能水平,又能改善病人的安全。”

在本文中,我们将详细了解下这款基于实时3D数字孪生技术打造的模拟培训项目,认识手术模拟培训的好处。

打造更好的培训项目

转移培训中患者所承受的风险

传统外科培训一直以来遵循着“看一次、做一次、教一次”(see one, do one, teach one)的模式。然而,这种模式正逐渐落后于当今先进的医疗技术和工艺。VirtaMed认为外科医生的首次手术实践不能在活体病人身上进行。LaparoS混合现实模拟器允许外科医生在逼真、无风险的环境下对“数字人”进行腹腔镜普通外科手术(在腹壁切口中插入一个小型摄像机)和妇科手术的训练。

VirtaMed将超逼真的实时3D可视化与带有触觉反馈的模拟平台相结合,打造出了一款腹腔镜培训模拟器,打破了传统的医学培训模式。培训的风险也从真正的病人身上转移到了模拟器里。  

Image of laparoscopic surgery training
超逼真模型资源是模拟培训的关键

改善培训表现

科学研究已经证明,模拟训练的效果相比于传统训练有着显著的改善。高质量的模拟可以在一定程度上打破不真实感,让受训者沉浸到培训场景中。比如,虚拟病人可在培训期间出现非常真实的出血现象,让受训者能感受到问题的急迫感、真正投入到解决问题的过程中。 

LaparoS模拟器还能以毫米级精度记录受训者的活动,不仅能对手术表现提供有价值的反馈,还能预测手术操作的潜在后果。 

在腹部及其他部位的数字孪生上开展模拟训练不仅加快了学习速度,让新手能更快地站上手术台,而且还使得团队训练成为可能,降低整体培训成本。

Hernia Incision for medical training
在模拟手术中精确测量器械的摆放不仅对术后总结至关重要,还是培训成功与否的关键。

普及外科技能培训

传统上,外科专家们都采用学徒制来教授技能,此方法的效果取决于老师的水平。VirtaMed的目标是收录享誉全球的专家们的技术,将其移植到模拟程序中,让每一位受训者都向顶尖专家们学习。 

VirtaMed的模拟平台还使用了机器学习和外科专家输入的数据来量化最佳手术实践,用数字化标准来衡量受训者的表现,并为受训者提供标准化的反馈。这样一来,不断增长的数字孪生模拟就能消除许多手术培训的门槛、普及专业手术技能。

“我们颠覆性的技术可以改善外科培训,让病人享受更好的服务。Unity让我们能够利用起游戏行业雄厚的投资和技术进步在我们擅长的地方发挥影响力——不论是现在还是将来。”

——Stefan Tuchschmid,VirtaMed联合CEO和创始人

以假乱真的实时3D模型与触觉反馈相结合可带来超逼真的模拟培训。

从理论到现实

LaparoS的组成

VirtaMed需要实时3D引擎上拓展公司已有的技术,用最先进的图形重现最真实的手术流程和细节。 

VirtaMed公司的高级软件工程师Basil Fierz解释了他们为什么选择Unity。

  • Unity一直致力于投资技术、改进技术,并且其高清渲染管线(HDRP)有着极大的潜力。
  • Unity与生俱来的可扩展性让引擎可以整合现成的物理模拟工具,团队不必从头熟悉一个新的物理引擎。
  • Unity的Integrated Success 提供的全方位支持让VirtaMed团队可以放心地推进开发。

“Unity开发者关系经理是我们与整个Unity的桥梁,让我们能联系到从工程师到市场人员的每个人。我们双方定期讨论的远不止日常的开发问题,还包括参考内容推荐、工作流改进等,他们为我们提供了极大的帮助。”

——Basil Fierz,PhD,高级软件工程师,VirtaMed

Ovarian artery bleeding on the right
VirtaMed的物理引擎在整合到Unity后可以模拟出血等真实的手术反应。

开发超逼真的模拟器体验

VirtaMed能在Unity中结合起逼真的模型和触觉反馈,形成LaparoS特有的出色培训体验。公司建立的物理引擎可作为模块直接整合至Unity中,用于准确地表现人体器官的物理性质及手术时的反应。 

模拟器的开发初期以器官的物理仿真为主要重点。VirtaMed为此整理了大量的参考信息,包括手术录像、专业手术知识、手术观察资料及从业医生的建议。器官会对工具的触碰作出反应,物理引擎则负责计算反作用力,将其转移到模拟的穿刺套针工具上来产生触觉反馈。 

基于Unity打造的模拟平台还能根据不同地区的手术习惯差异来灵活地进行调整,比如手术会在身体的哪一侧进行,培训人员可根据喜好来轻松启用/禁用此类功能。

在实际开发阶段,VirtaMed团队使用了Unity的Furioos流媒体解决方案来组织内部测试。Furioos云端流传输技术允许用户在网页浏览器中轻松打开复杂的互动式3D应用、让多人一同完成应用检验。 

同时,得益于Furioos的低设备要求和灵活性,VirtaMed不必为制作模拟器械而拖延额外的时间。  

The laparoscopic surgery app built in Unity
在Unity编辑器中组合逼真的模型资源与精确的器官物理性质。

用Unity规划未来

在看到LaparoS模拟器取得成功后,VirtaMed计划在未来12个月内将所有产品都移植到Unity,并用Unity开发未来的产品。 

VirtaMed在Unity编辑器的帮助下能更快地制作出内容,并将其优势扩展到更多的产品上,为其他行业的客户定制小型项目。公司计划在未来建立一个涵盖多种罕见情景的培训技能库,用Unity的数字孪生技术建立模拟平台,为未来的模拟产品开发和扩张做好准备。 

“我们所认为的高质量培训要能为外科医生提供对的工具、让实操在安全的环境中进行,不能给病人带来任何风险。培训流程在数字化的同时也变得更为可控,外加上自我指导、游戏化训练、自我调节的学习节奏,外科培训的面貌将完全地改变。”

——Stefan Tuchschmid,VirtaMed联合CEO和创始人

____________________________________________________________________________________________________

如果你想了解更多Unity数字孪生的现实例子,请在我们的资源页面查看更多的案例研究、项目演示和网络研讨会。你也可以立刻联系我们来与Unity专家团队洽谈。

2021年11月29日 类别 制造业 | 11 分 阅读