Действующие НИОКР

«Система интраоперационной навигации с поддержкой технологии дополненной реальности на базе виртуальных 3D моделей органов,
 полученных по результатам КТ диагностики, для малоинвазивных операций»

Уникальный идентификатор проекта RFMEFI57717X0254

 Проект «Система интраоперационной навигации с поддержкой технологии дополненной реальности на базе виртуальных 3D моделей органов, полученных по результатам КТ диагностики, для малоинвазивных операций» выполняется в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 – 2020 годы» научным коллективом под руководством д.т.н., профессора Роженцова Алексея Аркадьевича.

Краткая информация о проекте:

Приоритетное направление: Науки о жизни (НЖ)
Критическая технология: Биомедицинские и ветеринарные технологии
Период выполнения: 26.09.2017 - 30.06.2019
Плановое финансирование проекта: 60.00 млн. руб.
Бюджетные средства 29.00 млн. руб., Внебюджетные средства 31.00 млн. руб.
Получатель: федеральное государственное бюджетное образовательное учреждение высшего образования "Поволжский государственный технологический университет"
Индустриальный партнер: АО «Марийский Машиностроительный Завод»
Сайт проекта: vmbs.ru
Ключевые слова: Интраоперационная навигация, формирование 3D моделей органов, лапароскопические операции, томография, комплексирование изображений, автоматизация выбора точек хирургического доступа, дополненная реальность.

Цели проекта

1.Создание программно-аппаратного комплекса для моделирования сегментов органов            человека для выполнения органосохраняющих операций и сегментарных резекций, обеспечивающего возможность реализации технологий мирового уровня при проведении хирургических вмешательств.

2.Замещение импорта в области программно-аппаратных комплексов медицинского назначения, предназначенных для информационной поддержки хирурга при подготовке и проведении малоинвазивных операций, обеспечение экспортного потенциала путем проведения конкурентоспособной ценовой политики при продвижении разработанных комплексов на внешних рынках.

3.Обеспечение гарантий исключительного положения на рынке программно-аппаратных комплексов для систем интраоперационной навигации через использование интеллектуального права.

4.Повышение эффективности применения, находящегося в эксплуатации медицинского томографического оборудования и оборудования для проведения лапароскопических операций за счет обеспечения дополнительных возможностей анализа и обработки данных на предоперационном этапе и в ходе проведения операции.

5.Получение прогрессивных структурных сдвигов в медицинской практике за счет расширения круга специалистов-хирургов, применяющих технологии малоинвазивной хирургии, создание новых рабочих мест за счет создания производства аппаратно-программных комплексов, введения в штат медицинских учреждений специалистов по информационной поддержке малоинвазивных хирургичеких вмешательств.

 Актуальность проекта

Одним из основных направлений развития современной хирургии является применение технологий, обеспечивающих минимальную травматичность при проведении операций. При этом особое внимание уделяется вопросам предоперационной подготовки с целью выбора способа доступа к оперируемому органу, обеспечивающему с одной стороны удобство и безопасность проведения хирургических манипуляций, возможность использования необходимого инструментария, с другой стороны - минимизацию травматичности доступа.

Современное развитие видеоэндоскопических технологий имеет неоспоримые преимущества для больного, связанные с малотравматичностью операции. Однако применение эндоскопических технологий создает дополнительные трудности для хирургической бригады, связанные с непривычной визуализацией, так как хирурги наблюдают за своими действиями на экране монитора с 2D изображением. При проведении лапароскопической операции нет ощущения «глубины» раны, зона обзора ограничена полем зрения видеокамеры, отсутствует тактильная чувствительность.

Развитие компьютерных технологий и методов лучевой диагностики позволят создавать 3D модели зоны хирургического вмешательства или отдельно интересующих органов на основе результатов компьютерной томографии. Изучение 3D модели интересующего органа на экране монитора или напечатанной на 3D принтере помогает не только хирургу оценить особенности предстоящей операции, но пациенту понять суть его заболевания и лечения.

Большим преимуществом виртуального моделирования является возможность получать наружный контур интересующего органа, а также изучить его внутренние структуры, особенности кровоснабжения, создавать режим «полупрозрачности», что особенно важно при проведении орган сохраняющих операций на паренхиматозных органах, например, при опухоли почки. При проведении резекции почки предоперационное планирование позволяет уменьшить время тепловой ишемии почки, что приводит к улучшению результатов лечения.

Проведение видеоэндоскопической операции в условиях реальной КТ, МРТ навигации технически затруднительно и не всегда возможно. В связи с этим перспективным является использование виртуальной модели, основанной на предоперационном обследовании (РКТ, МРТ, УЗИ) непосредственно при проведении видеоэндоскопической операции для интраоперационной навигации, что предоставляет хирургу дополнительную информацию об индивидуальной анатомии пациента.

В настоящее время применяются различные подходы к обеспечению информационной поддержке хирурга, основанные на технологии дополненной реальности. Все они включают КТ (МРТ) исследование, запись его результатов в формате DICOM, генерацию виртуальной 3D модели, соответствующей индивидуальной анатомии пациента и сопряжение 3D модели с видеоизображением реального пациента. Синтез изображений проводится с использованием проецирования виртуальной модели непосредственно на пациента или на экран видеомонитора при проведении лапароскопической операции.

Наиболее сложной проблемой является сопряжение 3D модели и изображения реального органа на экране монитора при проведении эндоскопической операции в режиме реального времени. При этом изображение модели может накладываться на видеоизображение, передаваться на часть экрана или на дополнительный экран монитора.

  Ход выполнения проекта

По итогам работы по первому этапу проекта в 2017 г. были получены следующие результаты:

При анализе научно-технической литературы, нормативно-технической документации и других материалов, относящихся к разрабатываемой теме, изучено 188 источников литературы, из них 164 – зарубежных, преимущественно 2012-2017 гг., которые посвящены современным интраоперационным навигационным системам. Показано, что одним из основных направлений развития этих систем является использование технологии дополненной реальности. Одной из основных проблем, требующих решения в хирургических навигационных системах, является обеспечение требуемой точности совмещения изображений при наличии анатомической деформации между временем сбора данных и интраоперационной динамики. Обоснована актуальность тематики проекта.

Разработана методика автоматизированного построения виртуальных 3D моделей органа и биологических тканей пациента по томографическим снимкам. Для повышения эффективности сегментации используется алгоритм выделения области врачебного интереса, использующий проверку принадлежности пикселя к пограничной зоне. Разработан алгоритм распознавания изображений артериальных и венозных сосудов на основе функции уровня.

Разработана методика автоматической классификации тканей по травмоопасности, основанная на использовании псевдояркостных изображений тканей на томографических изображениях с учетом их травмоопасности.

Рассмотрены способы представления и обработки трехмерных объектов. Для целей медицинской визуализации в реальном масштабе времени выбрано представление анатомических структур пациента в виде полигональных моделей.

Рассмотрены подходы к решению задачи автоматизации предоперационного планирования для оптимизации доступа к оперируемому органу. Предложена методика подготовки врачей и пациентов к проведению малоинвазивных операций в условиях применения программно-аппаратного комплекса.

Разработан и изготовлен макет программно-аппаратного комплекса для интраоперационной навигации при проведении лапароскопических операций. Подготовлен комплект технической документации.

Были осуществлены мероприятия по демонстрации и популяризации результатов, полученных в ходе реализации проекта.

Разработано техническое задание на разработку программы формирования и анализа 3D моделей по томографическим данным.

Выполнено компьютерное моделирование разработанных алгоритмов.

Разработано экспериментальное программное обеспечение.

Выполнено компьютерное моделирование работы алгоритмов предоперационного планирования. Работа алгоритма автоматизации предоперационной подготовки доказала свою эффективность и работоспособность.

Разработанные методики и алгоритмы прошли апробацию под руководством профессора Павла Ханинека на оборудовании Нейрохирургия Третьего медицинского факультета Карлова университета (Чехия, г. Прага).

При отработке методик и компьютерном моделировании разработанных алгоритмов использовалось оборудование Центра коллективного пользования научным оборудованием ФБГОУ ВО «ПГТУ» «Экология, биотехнологии и процессы получения биологически чистых энергоносителей». Проведены исследования с использованием зондового сканирующего микроскопа NTEGRA vita Basic и на базе МР-томографов.

Индустриальным партнером за счет собственных внебюджетных средств проведены работы по доработке технического задания на программное обеспечение программно-аппаратного комплекса, разработаны технические предложения на программно-аппаратный комплекс интраоперационной навигации, включающий пять вариантов исполнения. Разработано программное обеспечение, реализующее функции загрузки данных томографических исследований, сегментации, построения 3D моделей.

Получены охранные документы на результаты интеллектуальной деятельности (РИД).

По итогам работы по второму этапу проекта в 2018г. были получены следующие результаты:

Проведены дополнительные патентные исследования с глубиной исследования 5 лет, с 2013 по 2018 гг., а для некоторых предметов поиска 15 лет. В результате поиска найдено 39 патентов, наиболее близких к тематике проекта, остальные – зарубежные. Странами патентования являются Российская Федерация, США, Китай, Республика Корея, Нидерланды, Австралия. Среди научно-технической документации за последнее пять лет найдено 13 источников, представленных в виде статей в ведущих российских и зарубежных журналов, материалов симпозиумов и конференций IEEE. Авторами статей являются ученые из Японии, США, России и Италии. Отмечена схожесть подходов к построению систем интраоперационной навигации. Отличия между системами обусловлены особенностями, направленными на повышение точности позиционирования инструмента, совершенствование методов передачи данных и т.п. Указано на перспективность роботассистированных хирургических систем и применения в них интраоперационной навигации. Результаты проведенного патентного исследования использованы при разработке блоков программно-аппаратного комплекса и подготовке заявок на результаты интеллектуальной деятельности.

Проведены теоретические исследования в области разработки методов контроля безопасности для пациента найденных путей доступа к точке хирургического интереса. Предложенный метод базируется на контроле текущего положения хирургического инструмента, определяемого с помощью устройства позиционирования, и сопоставлении его с определенной ранее траекторией доступа к точке хирургического интереса.

Выполнены теоретические и экспериментальные исследования в области согласования виртуальной модели с телом пациента и трансляция результатов, полученных на математической модели, на изображение тела пациента при предоперационном планировании и непосредственно при проведении операции. Рассмотрены четыре основных подхода к совмещению изображений в лапароскопических хирургических системах: базирующийся на ручном вводе и регистрации данных на лапароскопическом изображении; подход с автоматическим поиском характерных точек на изображениях; подход, базирующийся на автоматическом совмещении поверхностей; подход, основанный на полной трехмерной реконструкции операционного поля в реальном масштабе времени. Описаны математические модели преобразований изображений реальных и виртуальных объектов, обеспечивающие их совмещение при визуализации. Описана процедура калибровки реальной камеры и порядок расчета параметров ее модели. Выполнено сравнение математических моделей лапароскопов с прямым и боковым обзором. Приведен пример совмещения изображений реального объекта и его виртуальной модели. Исследована возможность построения системы трекинга на основе TOF камеры. Разработана методика совмещения видеоэндоскопических изображений с изображениями виртуальных 3D моделей.

Выполнены теоретические и экспериментальные исследования в области разработки методов объективного контроля за действиями хирурга при проведении малоинвазивных операций и повышения точности наведения хирургического инструмента. Представлена структура биотехнической системы контроля над действиями хирурга при проведении малоинвазивных операций. Для решения поставленной задачи предложены три системы координат: абсолютная, естественная и динамическая. Решена задача их взаимной привязки. Показано, что точность наведения хирургического инструмента определяется точностью совмещения текущих координат хирургического инструмента и выбранной на предоперационном этапе оптимальной траекторией движения хирургического инструмента. Разработаны методика и алгоритм объективного контроля за действиями хирурга.

Проведены теоретические исследования в области разработки методики 3D визуализации при планировании и проведении операции с использованием 3D дисплеев, в том числе многоракурсных. Рассмотрены существующие подходы, обеспечивающие возможность трехмерной визуализации изображений. Разработаны методики и алгоритмы визуализации медицинских изображений на многоракурсных дисплеях, дисплеях с поляризационной технологией разделения ракурсов, очках дополненной реальности. Рассмотрены особенности передачи данных на очки дополненной реальности Epson Moverio BT-200.

Разработан электронный атлас 3D-моделей. Представлены 25 примеров томографических обследований с медицинскими заключениями и результатами построения 3D моделей органов в области хирургического интереса. Построенные модели могут являться наглядным пособием при подготовке практикующих врачей, использоваться для трехмерной визуализации и трехмерной печати моделей органов, использоваться при изучении характерных патологий и методик их оперативного лечения. Электронный атлас 3D моделей обеспечивает возможность демонстрации органов забрюшинного пространства, в том числе при наличии различных патологий. Поданы заявки на регистрацию атласа в качестве базы данных и электронного издания. Электронная версия атласа, доступная для как для online-, так и для offline-работы, размещена на сайте проекта https://vmbs.ru/atlas/.

Разработана методическая документация на проведение операций с использованием ПАК. Описан порядок работы с программой «3D-med» для решения задач просмотра, анализа и визуализации томографических данных, построения трехмерных моделей органов и поиска путей доступа к точке хирургического интереса. Для методического обеспечения проведения малоинвазивных операций с использованием ПАК даны рекомендации по работе с программным обеспечением, включающие описание работы в режиме настройки оборудования, привязки систем координат, в режиме дополненной реальности непосредственно при проведении операции. Описано использование функций программы, обеспечивающих контроль безопасности действий хирурга во время операции.

Выполнен анализ полноты решения задач и достижения поставленной цели ПНИЭР, в том числе оценка эффективности полученных результатов в сравнении с современным научно-техническим уровнем. Показано, что проект выполнен в полном соответствии с техническим заданием, полученные результаты соответствуют современному уровню развития науки и техники в области создания медицинских навигационных систем с элементами дополненной реальности. Указана предпочтительная область применения, разработанного ПАК, включающая системы для роботассистированной хирургии. Определены социально-экономические эффекты от внедрения ПАК в медицинскую практику.

Произведена доработка макета системы интраоперационной навигации с поддержкой технологии дополненной реальности – макета программно-аппаратного комплекса. Показана работоспособность принятой конструктивной схемы макета ПАК, определены основные размеры составных частей ПАК, уточнены способы сопряжения составных частей объекта исследовательских испытаний, показана возможность достижения технических параметров объекта исследовательских испытаний, указанных в техническом задании. На основании результатов испытаний произведена доработка структурной и функциональной схем макета, доработан чертеж общего вида. Разработан комплект конструкторской документации на доработанный макет ПАК. На основании проведенных исследований поданы три заявки на полезные модели. Полученные результаты обеспечили необходимый задел для разработки экспериментальных образцов ПАК.

Определены требования к программе интраоперационной навигации и дополненной реальности. Показано, что программа должна обладать такими функциональными возможностями, как сопряжение с 3D дигитайзером; сопряжение систем координат 3D модели и дигитайзера; указание области хирургического вмешательства и выбор направления прохождения хирургического инструмента; контроль ориентации лапароскопического инструмента во время операции; сопряжение с видеоэндоскопической аппаратурой; реализация режима дополненной реальности путем сопряжения изображений 3D модели и видеоэндоскопических изображений. На основании указанных требований разработано техническое задание на программу интраоперационной навигации и дополненной реальности. Выполнено компьютерное моделирование алгоритма контроля безопасности для пациента найденных путей доступа к точке хирургического интереса. Результаты моделирования подтвердили работоспособность предложенных подходов и возможность их реализации в разрабатываемом программном обеспечении. Разработаны рекомендации по использованию результатов ПНИЭР в реальном секторе экономики. Показано, что перспективным инструментом, обеспечивающим продвижение ПАК на рынок медицинской техники, является лизинг. Выполнен обзор технологических возможностей индустриального партнера. Разработаны технические требования и предложения по разработке, производству и эксплуатации продукции с учетом технологических возможностей, и особенностей индустриального партнёра. Указанные результаты стали основой для разработки технических заданий на ОКР.

Разработаны проекты технических заданий на проведение ОКР по темам: «Разработка аппаратно-программного комплекса информационной поддержки хирурга при проведении малоинвазивных операций на базе технологий 3D моделирования и дополненной реальности», «Разработка устройств позиционирования хирургического инструмента при проведении малоинвазивных операций на базе технологий 3D моделирования и дополненной реальности».

Индустриальным партнером за счет собственных средств выполнены работы по корректировке технического задания на программное обеспечение, разработаны программные модули программы «3D-med» для формирования и анализа 3D моделей по томографическим данным и программы интраоперационной навигации и дополненной реальности. Выполнены кодирование, сборка, тестирование программных модулей. Проведена опытная эксплуатация программ, на основании результатов которой произведена доработка программного обеспечения. Разработана эскизная конструкторская документация на экспериментальный образец ПАК, в том числе, документация, предназначенная для изготовления и испытания экспериментального образца. Изготовлено и испытано два экспериментальных образца ПАК. В ходе испытаний подтверждено соответствие разработанных технических решений требованиям технического задания. По результатам испытания экспериментальных образцов произведена корректировка конструкторской документации.

Были осуществлены мероприятия по демонстрации и популяризации результатов, полученных в ходе реализации проекта.

Результаты проекта в 2018 г. были представлены на следующих мероприятиях:

1.    Радиопрограмма в ГТРК «Марий Эл» радио «Маяк в Йошкар-Оле 102,7 FM» (г. Йошкар-Ола).
2.    Телепрограмма в ГТРК «Марий Эл» «Канал Россия 24» (г. Йошкар-Ола).
3.    Выставка молодёжных инновационных проектов в рамках молодёжного форума «Вперёд и вверх» организованное Министерством молодёжной политики, спорта и туризма Республики Марий Эл (г. Йошкар-Ола).
4.    Участие в 21-м Московском международном Салоне изобретений и инновационных технологий «Архимед» (г. Москва). Золотая медаль.
5.    Организация открытия пространства коллективной работы «Точка кипения» при поддержке Агентства стратегических инициатив (ФГБОУ ВО «Марийский государственный университет», г. Йошкар-Ола).
6.    «Accomplishment of Scientific & Research Projects Based on the Intellectual Property» в каталоге «Тесла Фест». Выпуск от 15.10.2018 (г. Нови-Сад, Сербия). Золотая медаль.
7.    Выставка «Taiwan Innotech Expo 2018» (г. Тайбэй, Тайвань). Золотая медаль.

В печатных СМИ проекту были посвящены следующие публикации:

1.    «Технологии современной хирургии. Как 3D-моделирование органов человека помогает при проведении операций» в журнале «Изобретатель и рационализатор». Выпуск №2/2018 от 08.06.2018 (г. Москва). https://i-r.ru/upload/iblock/6d0/2018_2.pdf
2.    «Accomplishment of Scientific & Research Projects Based on the Intellectual Property» в каталоге «ТеслаФест». Выпуск от 15.10.2018 (г. Нови-Сад, Сербия).
3.    «Taiwan Innotech Expo». Winner list. https://cloudcdn.taiwantradeshows.com.tw/2018/inst/download/2018-winner.pdf

Интернет-ресурсы, подготовленные в результате реализации проекта:

4.    Официальный сайт ФГБОУ ВО «ПГТУ», на котором сведения о ходе выполнения проекта: https://science.volgatech.net/granty/dniokr/.
5.    Сайт проекта, предназначенный для популяризации полученных результатов https://vmbs.ru/.

Публикации в сети Интернет:

6.    Выставка молодёжных инновационных проектов в рамках молодёжного форума «Вперёд и вверх» http://mari-el.gov.ru/president/Pages/news/2018/180314_1.aspx
7.    21-ый Московский международный Салон изобретений и инновационных технологий «Архимед» (г. Москва) www.archimeds.ru
8.    Выставка в рамках организация открытия пространства коллективной работы «Точка кипения» при поддержке Агентства стратегических инициатив (ФГБОУ ВО «Марийский государственный университет», г. Йошкар-Ола) https://leader-id.ru/event/11269/
9.    Выставка «Accomplishment of Scientific & Research Projects Based on the Intellectual Property» в рамках Международного фестиваля инноваций «ТеслаФест» (г. Нови-Сад, Сербия). www.teslafest.com
10. Международная выставка «Taiwan Innotech Expo» (г. Тайбей, Тайвань), http://www.inventaipei.com.tw

Получены охранные документы на полученные результаты интеллектуальной деятельности.

Полученные результаты апробированы в ходе семинаров, проведенных на базе Объединенного института проблем информатики Национальной академии наук Беларуси (ОИПИ НАН Беларуси) и ЦКП «Клинические нейронауки и нейровизуализация».

В настоящий момент создано два экспериментальных образца программно-аппаратного комплекса, успешно прошедших испытания.

Контактное лицо:
Роженцов Алексей Аркадьевич
E-mail: RozhencovAA@volgatech.net
тел. +7(8362)-68-78-05