Artec Space Spider в подготовке виртуального вскрытия – образовательного материала для медицинских вузов

Кратко: Проведение вскрытия трупов – важная составляющая обучения студентов медицинских вузов. Но настоящие кадавры стоят дорого и их трудно достать.

Задача: Посредством 3D-сканирования визуализировать процесс вскрытия настоящего трупа в виртуальной среде с учётом глубоких слоёв. Создать многослойную 3D-модель, пригодную для помещения в систему виртуального вскрытия.

Инструменты: Artec Space Spider, Artec Studio, Geomagic Freeform

3D-технологии и технологии виртуальной реальности, благодаря своей точности, простоте использования и универсальности, набирают всё большую популярность по всему миру в различных отраслях – особенно в медицине. Один из давних клиентов Artec, компания IMA Solutions, приняла участие в захватывающем проекте, который использует сочетание последних достижений в области 3D-сканирования и виртуальной реальности. Данный проект обещает в значительной степени изменить применяемые в медицине теоретические и практические методы обучения.

Медицинский факультет Университета Монпелье

Все началось с идеи двух врачей городской анатомической лаборатории Университета Монпелье – кандидата наук и практикующего хирурга Гийома Каптье и хирурга  Мохамеда Аккари, которые искали решение некоторых проблем в системе обучения студентов медицинских факультетов. Практические занятия требуют использования настоящих трупов, или кадавров, как их называют в научной среде. Это наиболее эффективный метод изучения анатомии, но трудности с получением кадавров и их стоимость всегда будут стоять на пути этого учебного процесса. Проведение вскрытия тел умерших в обучающих целях – это дорогостоящая возможность, поскольку неопытный студент-медик далеко не всегда с первого раза может провести вскрытие надлежащим образом. Зачастую это приводит к повреждению или приведению обучающего материала в негодное состояние.

После тщательного рассмотрения всех возможных вариантов было принято решение создать приложение высокоточного 3D-вскрытия в реальном времени, которое бы позволило студентам получать практический опыт и достигать необходимого уровня подготовки прежде, чем переходить к вскрытию настоящего кадавра. А для преподавателей это возможность применять совершенно новый и более эффективный подход к обучению. Это уникальное универсальное приложение можно будет использовать и во время экзамена для проверки уровня знаний, что также позволит оттачивать мастерство без использования настоящих кадавров.

Для того чтобы обеспечить максимальную реалистичность и точность 3D-данных в приложении, необходимо было отсканировать в 3D все этапы вскрытия настоящих трупов и перенести эти данные в обучающее приложение. Специалисты из IMA Solutions принялись за эту важную работу. С помощью высокоточного 3D-сканера Artec Space Spider они оцифровали все этапы вскрытия для загрузки в приложение реалистичных 3D-моделей.

3D-изображение одного из этапов вскрытия шеи, полученное с помощью Artec Space Spider. Рендеринг геометрии

Хирурги предложили отснять вскрытие определенных зон. Одно из оцифрованных вскрытий проводилось в области шеи, где очень важно, чтобы был хорошо виден лицевой нерв, строение сосудов шеи, трахея и некоторые другие ткани. Для внесения всех этих данных в приложение было сделано восемь отдельных 3D-сканов, или анатомических слоёв, начиная с кожного покрова и до глубоких зон. Поскольку цвет кадавра изменяется со временем, сканирование нужно было завершить как можно скорее, максимум за один день, чтобы застать один и тот же цвет на всех этапах.

После считывания всех необходимых данных 3D-сканером Space Spider, их нужно было обработать и правильно разделить на слои в 3D-модели, которая будет использоваться для виртуального вскрытия. Для этого в компании IMA Solutions применили практичную и универсальную 3D-программу Geomagic Freeform, которая пользуется в отрасли большой популярностью благодаря огромным возможностям для моделирования органических объектов. Опытный пользователь этой программы, работавший в ней над предыдущими проектами, IMA Solutions ценит то, что Freeform позволяет быстро манипулировать 3D-объектами в 3D-среде, а также дает ощущение осязания при использовании тактильного устройства.

Freeform – это программа, которой мы пользуемся с самого начала потому, что она дает возможность быстро манипулировать 3D-объектами в трехмерной среде и подключить тактильное устройство, которое обеспечивает чувство осязания. Мы остановили свой выбор на тактильном устройстве Phamtom Omni Haptic для работы во Freeform. Поскольку программа основана на  системе воксельного моделирования глины, некоторые операции, как булевые, например, можно выполнять очень быстро, или просто оставлять самый крупный объект изображения. Можно также скульптурировать 3D-объекты, ощущая касание, как при лепке из настоящей глины, добавлять фрагменты, придавать им новую форму … Всё это, конечно, возможно и в других 3D-программах, но не с такой скоростью как во Freeform.”

Для проекта виртуального вскрытия специалисты IMA Solutions работали в программе Freeform, чтобы скорректировать изображение геометрии и текстуры полученных 3D-моделей. Это касалось удаления отдельных участков, 3D-скульптурирования мелких элементов и 3D-текстурирования. Оцифровка различных этапов вскрытия настоящего кадавра может оказаться очень сложной задачей, в особенности, когда необходимо отснять жировые ткани и кровеносные сосуды. Эти ткани частично пропускают, поглощают или отражают свет. Это может влиять на качество сканирования. Поэтому для таких сложных участков, которые могут привести к мелким дефектам 3D-сканирования, Geomagic Freeform – фантастическое решение, позволяющее корректировать геометрию и текстуру. Все эти задачи легко решаются сочетанием программы Freeform и тактильного устройства, которое дает возможность манипулировать и скульптурировать 3D-объекты, как при работе с реальными объектами.

По словам Бенджамина Морено, основателя и генерального директора IMA Solutions, сочетание 3D-сканеров Artec и ПО Freeform – это превосходное решение, поскольку обе технологии интуитивно понятны, что позволяет концентрировать все внимание на творческом процессе, не отвлекаясь на технические аспекты или сложные операции.

“Сочетание сканеров Artec и программы Freeform может быть идеальным решением для цифровых художников, поскольку ими легко управлять. Можно сосредоточить все внимание на творческом процессе, не отвлекаясь на технические аспекты или сложные операции”.

3D-изображение этапа вскрытия шеи во Freeform для цифрового скульптурирования

В процессе проведения вскрытия Бенджамину и его команде пришлось иметь дело с различными видами тканей с разной текстурой и свойствами. Вначале требовалось протестировать качество изображения трех процессов вскрытия: два в области шеи и третий – в зоне паха. Специалисты IMA Solutions хотели увидеть качество получаемых сканов и убедиться, не возникнут ли какие-либо непредвиденные трудности. Первые результаты оказались потрясающими, и специалисты смогли высоко оценить процесс 3D-сканирования.

 “Мы были под впечатлением о того, насколько сканеры Artec хорошо справляются с оцифровкой мелких деталей и текстуры трудно сканируемых тканей, которые пропускают, рассеивают или полностью поглощают свет. Возможность менять чувствительность сканера помогла нам считать 100% геометрии и цвета, что не потребовало никакой специальной обработки кадавров!”

Бенджами Морено, основатель и генеральный директор IMA Solutions

Для 3D-сканирования и обработки данных воспользовались последней версией программы Artec Studio. Для удаления отдельных лишних участков применили фильтр мелких объектов, а с помощью инструмента упрощения сетки создали 3D-модели с малым количеством полигонов для движка трехмерного объекта в реальном времени.

3D-изображение этапа вскрытия шеи в Artec Studio 12

Окончательное тестирование программы запланированное на четвертый квартал 2018 года, будет проходить на медицинском факультете Университета Монпелье. Тем временем в IMA Solutions продолжают работу над пилотным проектом. Ведется сбор данных для создания, как минимум, пяти пакетов данных для каждой анатомической зоны, чтобы иметь возможность тестирования процесса от начала до конца, а также идет работа над улучшением дизайна пользовательского интерфейса, пополнением арсенала инструментов, необходимых как для студентов, так и для хирургов, чтобы извлечь максимум пользы работая в этом интерактивном приложении.

Демонстрация первой версии приложения в Университете Монпелье профессором Гийомом Каптье, руководителем анатомической лаборатории университета

Профессор Гийом Каптье знакомится с обучающим приложением на раннем этапе его разработки

Наборы данных будут работать на технологии Inside Explorer шведской компании Interspectral. Эта технология предлагает интерактивный  и интуитивный процесс 3D-обучения, поскольку способна отображать мультимодальный набор 3D-данных в реальном времени, где можно сочетать сканы компьютерной томографии, магнитно-резонансной томографии и 3D-сканирования в одном изображении.

Сочетание новейших технологий 3D-сканирования и виртуальной реальности дает возможность совершить гигантский скачок в развитии обучающих технологий в медицине. Успешное внедрение этого интерактивного обучающего приложения в систему медицинского образования принесет огромную пользу студентам, профессорам и врачам. Молодые медицинские специалисты получат возможность практиковаться на виртуальных кадаврах, чему не будут препятствовать такие факторы, как труднодоступность и стоимость. Лекторы, врачи и другие опытные медицинские работники получат доступ к революционным методам преподавания. Изобретения, подобные этому, еще несколько лет назад казались невозможными, но с появлением новых передовых технологий – это всего лишь начало.

Связаться с нами