未来VR医疗培训技术即将改变医学教学方式

06/06/2018

3D与VR等技术正在全球各个领域蓬勃发展,得益于其高精度、便利性和多功能性,它们已成为医疗领域广泛应用的一项技术。Artec长期客户之一IMA solutions正参与一项结合最新3D扫描与VR技术的项目,其结果预计将会对医学教学方式产生巨大影响。

蒙彼利埃医学院

事情要从两位来自蒙彼利埃医学院城市解剖实验室的外科医生Guillaume Captier博士和Mohamed Akkari博士说起,他们希望找到一种方法,解决医学教学过程中的特定难题。这些课程需使用真正的尸体,尽管这是学习人体解剖的有效方式,但尸体的数量和成本常常造成不小的问题。直接使用实体尸体进行解剖,成本很高,而且缺乏经验的学生往往在第一次尝试过程中操作不当,不小心破坏多具尸体。

仔细考虑过诸多方案后,他们决定设计一款精确度较高的实时3D解剖应用,让学生练习操作方式,等达到一定标准,再开始在实体尸体上操作,这样可以让老师采用一种全新的高效教学方式。这款独特的多功能应用既可以用于考试场景,考察学生的知识掌握情况,又可以让他们不断练习自己的医学水平,而不用担心破坏尸体。

为确保应用程序中的数据尽可能逼真,所有实体解剖步骤都经过3D扫描,再转移到培训应用中。IMA Solutions的专家承担了这项重要工作。他们使用高精度Artec Space Spider 3D扫描仪,捕获了所有解剖步骤,为应用程序制作出了栩栩如生的3D模型。

使用Artec Space Spider制作的颈部3D解剖模型。几何渲染

外科医生首先提出需扫描的解剖部位。其中一个就是颈部,这里需要看到面部神经、血管解剖、气管等部位。为确保培训应用中包含所有部位的数据,我们总共进行了8次独立扫描,或者说解剖层次,从皮肤一直深入到内层。由于尸体会随着时间不断变色,所有扫描都必须尽快完成,且不超过每日工作量上限,以确保每个阶段的颜色保持统一。

待Artec Space Spider 3D扫描仪捕获全部数据后,这些数据需通过处理正确堆放,制作虚拟3D解剖模型。为此,IMA Solutions使用了操作方便、功能齐全的Geomagic Freeform 3D软件,这款软件对于有机形状的建模能力极强,因此为业界广泛使用。作为此款软件的资深用户,IMA Solutions非常欣赏Freeform在3D场景下快速操作3D物体的能力,以及配套的触觉设备,给您带来近乎真实的体验。

“Freeform是我们一直以来使用的一款软件,它能实现3D场景下的快速3D物体操控,还能通过触觉设备模拟触感。我们这里结合使用了Phamtom Omni触觉设备和Freeform。该软件基于体素黏土模型,您可快速使用一些操作器,比如布尔运算,或仅保留场景下最大物体等操作。此外,您还能通过模拟真实黏土模型的触感,在3D物体上雕刻,比如增添细节、修饰形状……当然,也有其他3D软件可以实现这些功能,但速度远没有Freeform来得快。”

对于这项VR解剖项目,IMA Solutions专家通过Freeform软件对3D模型的几何与纹理进行了修正和改善。这些修正包括去除孤岛、3D雕刻部分小型几何与3D纹理。要捕获尸体解剖过程中的每个步骤也充满了挑战性,尤其在扫描脂肪组织和血管尤甚。这些组织通常有部分透明,还能吸收、反射光线。这些因素都会影响扫描品质和最终效果。因此,对于一些复杂区域而言,比如3D扫描一些小型制品,Geomagic Freeform就是一款出色的几何纹理修正方案。所有这些工作都可以通过Freeform软件与触觉设备轻松完成,整个过程就好比真实环境下的操作和3D物体雕刻。

IMA Solutions创始人兼CEO Benjamin Moreno表示,结合使用Artec 3D扫描仪与Freeform软件可谓是一项完美解决方案,因为它们都能实现“真实手感”,使用设计十分人性化,能让用户全身心投入创作工作中,而不会为技术问题或复杂操作而干扰。

结合使用Artec扫描仪与Freeform对数字艺术家眼中的完美解决方案,因为它们都能轻松上手,而且操作简单。您只需要专注于您的创作,无需担心出现技术问题或因复杂操作而困扰。”

使用Freeform制作颈部解剖3D模型数字雕刻

解剖过程中,本杰明和他的团队需要接触各类组织,而且需要体现它们的纹理和材质特征。首先,他们对三个解剖区进行了可行性测试:颈部两处,骨盆腔一处。IMA Soultions扫描专家希望扫描效果达到预期,还能发现难以预料的问题。最初的结果非常棒,整个3D扫描过程都得到了团队支持。

“Artec扫描仪捕获几何与纹理的能力令人惊叹,尤其对于那些半透明、或有光折射现象的高难度扫描区。通过调节扫描仪敏感度,我们能够100%捕获几何与色彩,且无需对尸体进行任何事先准备!”

IMA Solutions创始人兼CEO Benjamin Moreno

3D扫描和数据处理阶段采用了最新版Artec Studio软件,在此过程中,他们采用了小型物体滤网,移除了悬浮孤岛,并使用了网格简化工具,降低3D实时引擎3D模型的多边形数。

3D颈部解剖导入Artec Studio 12

这款应用程序的最新测试版预计将于2018年第四季度在蒙彼利埃医学院正式推出。同时,IMA Solutions将持续推进试点项目,收集充足的数据,为选定解剖区域制作至少五套数据组,完成整个工作流,此外,还将不断改善用户界面,增添医学生与外科医生所需的工具,以实现最佳互动效果。

大学解剖实验室主任Guillaume Captier教授在蒙彼利埃医学院展示第一版应用程序

Guillaume Captier教授在程序开发早期与培训程序互动

这些数据组将由瑞典高科技公司Interspectral通过Inside Explorer技术运行。这项伟大的科技给我们带来了互动式的人性化3D学习体验,它能以3D形式展现多模态的实时采集过程,还能在3D场景下结合CT、MRI和3D扫描。

最新3D与VR技术的组合帮助医疗培训行业向前跨进一大步。互动式培训应用在医疗教育过程中的成功融合将为学生、教授与博士带来诸多利益。未来的年轻医学专家也将有机会在虚拟尸体上实践操作,不用受到数量、成本等因素的影响,同时,教师、博士和其他资深医学人士也将迎来全新的医学教学方式。类似的创新发明几年以前还难以想象,但通过前沿技术,我们已经踏上了全新征程。

联系我们