Применение нейронной сети для восстановления утраченной поверхности костей черепа

EDN: CLLWLK

Corresponding author — Sergey V. Mishinov

Тел.: +7 (913) 9391700

и технологиям здоровьесбережения, передовым цифровым, интеллектуальным производственным технологиям, созданию систем обработки больших объемов данных, машинного обучения и искусственного интеллекта. Первая часть указанной стратегии уже прочно вошла в практическую медицину, и география применения индивидуальных имплантатов для закрытия дефектов костей черепа постепенно расширяется [2–4]. В то время как второй ее аспект применительно к медицинской отрасли в большинстве случаев находится на стадиях разработок и концептуальных идей. В ходе научно-исследовательских работ, проводимых с 2018 г. на базе ФГБУ «ННИИТО им. Я. Л. Цивьяна» Минздрава России, ФГБУН «ИСИ им. А. П. Ершова» СО РАН и ООО «АкадемДжин», создан подход по использованию нейронных сетей, позволяющий в автоматическом режиме создавать утраченную поверхность костей черепа на основе данных МСКТ-грамм пациента. Разработанный алгоритм может быть использован для целей проектирования индивидуальных имплантатов в клинической практике и позволит интегрировать перечисленные стратегии для создания экосистемы персонализированных медицинских изделий.

Цель — оценка чувствительности, специфичности и точности работы разработанного цифрового алгоритма для замещения утраченной поверхности костей черепа.

Материал и методы.

Разработка нейронной сети. В качестве основы для алгоритма построения утраченной поверхности черепа решено применить нейронную сеть с использованием сверточных слоев на икосаэдральной сферической сетке (ИСС), адаптировав и усовершенствовав ее для поставленной задачи. Определение отсутствующей области черепа происходило на шаге преобразования полигональной сетки в вектор расстояний на ИСС. В результате этой процедуры алгоритм находил набор индексов вершин ИСС, с которыми ассоциировался дефект. Для этого вычислялись расстояния от вершин ИСС до 3D-модели черепа по направляющим лучам из этих вершин в центр. При этом расстояния, соответствующие лучам, попадающим в область дефекта, превышали единицу (поскольку они проходили большее чем единица расстояние от узла ИСС до центра и пересекали поверхность черепа за ним) и могли быть ассоциированы с областью дефекта. Небольшие (по площади или количеству точек) отверстия, которые присутствовали на поверхности из-за погрешностей сканирования или являлись естественными отверстиями, не считались дефектом. Размер порога площади для отсечения таких малых связных компонент подбирался эмпирически.

Обучение нейронной сети. Выборка из 70 STL (stereolithography) — файлов с полигональными моделями черепов, которые были предварительно конвертированы из МСКТ DICOM-данных пациентов без дефектов костей черепа была распределена на три части: 50 экземпляров для обучения нейронной сети, по 10 экземпляров для тестовой и валидационной выборок. Модель обучалась восстанавливать поверхности на черепах с искусственно созданными повреждениями. За счет выбора шара случайного радиуса проводилось наложение двух пространственных моделей шара и черепа в случайной области со случайной степенью пересечения, таким образом создавалось искусственное повреждение. Указанный подход обеспечивал проведение обучения на сравнительно небольшой выборке данных, то есть на цели обучения использовалась одна и та же STL-модель с различной локализацией и диаметром повреждения. Всего в процессе обучения нейронной сети пройдено 6000 эпох с размером одномоментной выборки 13 моделей, таким образом из 50 моделей для обучения на первом этапе было получено 78000 вариантов черепов с искусственными повреждениями для обучения нейронной сети.

Интерфейс разработанного программного обеспечения представлен в виде веб-приложения , позволяющего авторизованному пользователю (хирургу и/или инженеру по медицинскому моделированию) воспользоваться функцией построения и анализа модели восстановленного черепа через интернет. В основу приложения положен описанный ранее цифровой алгоритм.

Оценка восстановления утраченной поверхности с наличием эталона. Данная группа состояла из 13 пар DICOM-серий МСКТ-снимков пациентов; для каждого пациента имелись две серии исследований: первая — до проведения краниоэктомии, вторая — после таковой. DICOM-данные были преобразованы в STL-модели, далее на серии с дефектами выполнено их закрытие с применением разработанного алгоритма. Затем для воссоздания утраченной поверхности черепа модель помещалась в программу для трехмерного моделирования (Mimics Materialase); в эту сцену программы помещалась трехмерная модель черепа этого же пациента, но без дефекта (эталонный череп). После с целью контроля проводилась визуальная оценка качества совмещения моделей путем подсвечивания моделей различным цветом и поиска сдвига моделей. Для определения адекватности кривизны получаемого имплантата измерялось знаковое расстояние от нижней поверхности восстановленной поверхности до внешней поверхности целого черепа. Сравнение реальной площади дефекта черепа определялось аналогичным способом — путем помещения двух объемных STL-моделей черепа в одну сцену программы для трехмерного моделирования, совмещения их, контроля совмещения и затем вычитания поверхности неповрежденного черепа над проекцией области дефекта на модели черепа с дефектом.

Оценка точности работы цифрового алгоритма. Для оценки качества работы нейронной сети по автоматическому преобразованию МСКТ DICOM-данных в полигональные трехмерные модели, автоматическому удалению артефактов, имеющихся на МСКТ-исследованиях, автоматической детекции области дефекта костей черепа, определению его площади и построению поверхности утраченной части черепа была проведена обработка 222 серий МСКТ DICOM-пациентов с дефектами костей черепа на специальном веб-сервисе .

Статистический анализ, критерии оценки эффективности. Для описательной статистики использовались средние значения и стандартное отклонение средней ( M ±σ); значение медианы, нижнего и верхнего квартилей ( Me [Q1; Q3]); минимальные и максимальные значения переменных, анализируемых в пакетах программы Statistica 10. Корректная детекция области дефекта обозначена как «чувствительность»; правильный выбор опорных точек для построения имплантата категоризован как «специфичность»; правильной визуальной криволинейности построенной поверхности присвоено значение «точность». Криволинейность имплантата оценивалась: 1) как «хорошая», что соответствовало адекватной визуальной кривизне имплантата (по мнению врача-нейрохирурга, без использования каких-либо точных измерений), не требующей доработки в редакторах по трехмерному моделированию (рисунок, A ); 2) «удовлетворительная», что соответствовало в большей степени адекватной криволинейности (рисунок, B ), однако в некоторых областях имплантата требовалась дополнительная обработка в среде для 3D-моделирования; 3) «неприемлемой» считалась криволинейность (рисунок, С ), не соответствующая анатомической области, а сам имплантат требовал существенных дальнейших доработок.

Результаты.

Оценка восстановления утраченной поверхности с наличием эталона. В одном случае из тринадцати было отмечено существенное отклонение кривизны имплантата, равное 19,77 мм, при площади дефекта 43,3 см², что было обусловлено неправильно детектированными опорными точками для построения поверхности. В этом случае отмечалось наибольшее соотношение максимального отклонения кривизны восстановленной поверхности к площади дефекта на 0,5%. В связи со столь выраженной ошибкой для корректной статистической обработки данный случай был исключен, а анализ проводился на 12 парах трехмерных моделей черепа (табл. 1).

Как видно из данных табл. 1, максимальная ошибка при определении площади дефекта соответствовала 2,3 см2, а среднее значение ошибки и ее медиана при определении площади не превышала 1 см2. В двух случаях алгоритм определил площадь в бóльшую сторону: 0,6 и 2,0 см2; в остальных случаях площадь дефекта костей черепа, определяемая алгоритмом, была в среднем на 1 % меньше эталонного значения. Максимальное отклонение кривизны поверхности в 3,89 мм соответствовало площади дефекта 95 см2.

Примеры восстановления утраченной поверхности черепа:

A — хороший результат; B — удовлетворительный результат; C — неприемлемый результат; 1 — в нижней части восстановленной поверхности в качестве опорных точек выбраны участки скуловой дуги, 2 — в нижней части в качестве опорных точек выбраны участки скуловой дуги и участок пирамиды височной кости, что привело к заметной деформации поверхности

Результаты измерений в ходе эксперимента с эталонным черепом

Таблица 1

Параметр	M ±σ	Me [Q1; Q3]	Min–Max
Площадь дефекта, см2	68,87±39,85	69,35 [37,25; 88,80]	14,60–142,20
Площадь дефекта, определенная алгоритмом, см2	68,33±39,39	68,05 [37,20; 89,25]	14,30–139,90
Разница площадей
абсолютная, см2	0,98±0,72	0,90 [0,35; 1,35]	0,00–2,30
относительная, %	0,99±0,02	0,99 [0,98; 0,99]	0,98–1,02
Максимальное отклонение кривизны, мм	1,89±1,19	1,82 [1,01; 3,01]	0,09–3,89

Оценка точности работы цифрового алгоритма. В ходе загрузки данных общим количеством 222 DICOM-серии МСКТ-исследований отмечено, что в одном случае конвертация в STL-файл не была выполнена (соответственно, построение утраченной поверхности также не выполнено), указанный факт обусловлен малым количеством срезов (менее 100) костей черепа в серии МСКТ, что не позволяло выполнить построение объемной трехмерной модели. В семи случаях поверхность не была восстановлена, что вызвано либо малыми размерами дефектов, либо их расположением в области передней стенки лобной пазухи с сохранением задней стенки пазухи (в данных случаях не выполнялась базовая математическая функция по поиску дефекта путем проекции векторов с ИСС).

В 214 случаях загрузка DICOM-данных, конвертация их в STL-модель, построение утраченной поверхности черепа выполнены успешно. Методологически правильное измерение площади дефекта реализовано в 206 случаях, поскольку в четырех МСКТ-сериях у больных имелись двусторонние дефекты, и алгоритмом определялась суммарная площадь каждого дефекта, а не в отдельности.

В 204 из 214 случаев определение области дефекта выполнено корректно (чувствительность = 95,3%). Опорные точки для построения утраченной поверхности черепа правильно определены алгоритмом в 183 случаях из 214 (специфичность = 85,5%). Результаты восстановления утраченной поверхности в 170 случаях соответствовали хорошим, в 25 — были удовлетворительными и в 19 — являлись неприемлемыми. Таким образом, суммарная точность алгоритма с включением удовлетворительного параметра составила 91,1%, а по результатам только хороших результатов равнялась 79,4%. Принимая во внимание, что во всех случаях хорошего построения утраченной поверхности алгоритм правильно детектировал опорные точки для ее построения, сделан вывод о том, что правильность их определения является залогом адекватного построения поверхности. В ходе исследования установлено, что 20 наблюдений содержали артефакты, влияющие на объемную STL-модель. В связи с этим данные серии были исключены, и для оценки указанных параметров оставлено 194 исследования из 214. В 188 из 194 случаев определение области дефекта выполнено правильно, чувствительность составила 96,9%. Опорные точки для построения поверхности правильно определены алгоритмом в 170 из 194 случаев, специфичность была равна 87,6%. Результаты построения поверхности в 162 случаях соответствовали хорошим, в 20 — были удовлетворительными и в 12 — являлись неприемлемыми. Таким образом, суммарная точность алгоритма с включением удовлетворительного параметра составила 93,8%, а по результатам только хороших результатов равнялась 83,5%. В результате исключения моделей с артефактами все перечисленные показатели улучшились (табл. 2). Для проверки гипотезы о том,

Таблица 2

Сводные показатели работы алгоритма по восстановлению утраченной поверхности костей черепа

Параметр	Общая группа, n =214, %	Модели без артефактов, n =194, %	Прирост метрики, %
Чувствительность	95,3	96,9	1,6
Специфичность	85,5	87,6	2,1
Точность по хорошей геометрии	79,4	83,5	4,1
Точность по приемлемой геометрии (хорошие и удовлетворительные результаты кривизны поверхности)	91,1	93,8	2,7

что правильное определение опорных точек позволяло алгоритму моделировать поверхность с требуемой криволинейностью, выполнен анализ качества моделируемых поверхностей только в 170 случаях правильного определения опорных точек. В 160 случаях криволинейность оценена как хорошая, в 9 — как удовлетворительная. При этом отмечен один случай некорректной детекции области дефекта (алгоритм, помимо артифициального дефекта костей черепа, идентифицировал в качестве дефекта область между затылочной костью и С1-позвонком), однако данный факт не повлиял на криволинейность генерируемой поверхности в области истинного дефекта костей черепа. В связи с чем был сделан вывод: специфичность оказывает большее влияние на итоговую точность работы алгоритма.

Средний показатель улучшения всех метрик алгоритма после исключения серий с наличием артефактов составил 2,6%, при этом наилучший результат достигался при условии правильного определения опорных точек и хорошей криволинейности восстанавливаемой поверхности.

При анализе причин ( n =10) неправильной детекции (в общей группе n =214) дефекта костей черепа выявлено, что чаще всего это происходило в случаях дефектов, распространяющихся на область лицевого скелета и вовлекающих лобную пазуху и/или область орбиты ( n =5), а также в случае наличия новообразованной кости на поверхности твердой мозговой оболочки ( n =3).

Для оценки влияния расположения зоны дефекта на правильность определения опорных точек и адекватное построение поверхности проанализированы объемные модели, где дефект определен правильно и не имелось артефактов, мешающих построению поверхности ( n =188). В случае расположения дефекта за пределами височной области ( n =61) в 59 случаях пластина построена хорошо, в одном случае неприемлемо и в одном — удовлетворительно. В случае распространения дефекта в височную область ( n =127) в 101 случае утраченная поверхность имела хорошую криволинейность, в 18 — удовлетворительную и в 8 — неприемлемую. Точность работы алгоритма только по хорошим результатам соответствовала 79,5%, с включением удовлетворительных результатов — 93,7%. Отмечено, что при распространении дефекта в область основания черепа относительная доля неправильно определенных точек для построения поверхности возрастала, что приводило к снижению хороших результатов построения утраченных поверхностей.

Анализ полученных данных позволил установить, что не только наличие артефактов на трехмерных моделях черепа увеличивало удовлетворительные и неприемлемые результаты моделирования, но и низкое расположение дефекта в височной области, когда алгоритм не мог корректно определить опорные точки и соответственно синтезировать хорошую геометрию утраченной поверхности (см. рисунок, С).

Обсуждение. Применение нейронных сетей и подходов машинного обучения в различных областях существенно увеличилось за последние 10 лет. Количество исследований в разных областях медицины ежегодно экспоненциально растет, демонстрируя иногда достаточно впечатляющие результаты. Использование нейронных сетей в разделе реконструктивной нейрохирургии представляет интерес с позиции создания имплантата для закрытия дефекта костей черепа. Ряд исследований [5–10] демонстрируют различные технические аспекты архитектуры и обучения сетей. В исследовании J. Li и соавт. [11] приводят результаты работы обученной нейронной сети на черепах здоровых людей с синтетически генерированными повреждениями, декларируя о том, что разработанный подход имеет перспективы для применения в медицинской практике. C. T. Wu и соавт. [12] показывают клинический пример закрытия простого конвекситального дефекта в лобной области с применением имплантата, автоматически смоделированного нейронной сетью, который в последующем произведен из полиметилметакрилата путем отлития в силиконовую пресс-форму. Несмотря на большое количество работ по данной тематике, в доступной литературе не было найдено данных о проведении непосредственной оценки получаемых результатов медицинскими специалистами, выполняющими указанные хирургические вмешательства.

В ходе текущего исследования после обучения алгоритма на моделях черепов с синтетическими повреждениями проведен ряд проверочных экспериментов. На первом этапе оценена работа алгоритма с наличием исходной (эталонной) модели черепа до проведения у пациента краниоэктомии. В данную группу вошли МСКТ-исследования, выполненные перед оперативными вмешательствами у больных с наличием травматических внутричерепных гематом и оболочечными опухолями, прорастающими в кости черепа. Таким образом, для каждого пациента имелась пара моделей черепа: без дефекта до операции и с дефектом после операции. Полученные в ходе данного этапа результаты продемонстрировали крайне близкое к эталонному замещение дефекта, что позволило перейти к исследованиям на большей выборке.

Оценка 222 МСКТ-исследований показала то, что в 3,6% (n=8) алгоритму не удалось корректно восстановить утраченную поверхность черепа, что связано с особенностями локализации и малыми размерами дефектов. Еще в 9% (n=20) исследования содержали артефакты, которые не позволяли правильно детектировать края костного дефекта, что влияло на криволинейность восстанавливаемой поверхности. Наличие артефактов на трехмерных моделях черепа после их трансфера из DICOM-формата в STL обусловлено их плотностью, близкой к костной ткани (+400 HU). Максимальная точность алгоритма (96,7%) отмечена при локализации дефектов за пределами височной области, при этом площадь дефекта не влияла на качество получаемой поверхности (см. рисунок, А). Однако в клинической практике абсолютное большинство дефектов костей черепа являются последствиями оперативных вмешательств по поводу черепно-мозговой травмы, когда трепанация за редкими исключениями всегда захватывает височную область. Доказано, что залогом эффективности является максимальная резекция височной кости в сторону основания черепа. Следовательно, важный аспект дальнейшего усовершенствования алгоритма — обучение нейронной сети по корректной генерации утраченной поверхности в случаях низко расположенных дефектов.

Ограничением исследования было отсутствие критериев исключения МСКТ исследований, используемых для анализа работы алгоритма. В то же время отсутствие «рафинирования» исходных данных позволило выявить причины неудовлетворительных результатов построения восстанавливаемой поверхности черепа. Полученные результаты позволили выявить дополнительные требования к используемым DICOM-данным: — для корректного построения поверхности они не должны содержать артефактов: дренажей, металлических тел рядом с областью дефекта. Исключение влияния на работу алгоритма такого артефакта, как вновь образованная кость в области дефекта, возможно путем подключения оператора между этапами построения трехмерных моделей черепа и восстанавливаемой поверхности.

Для реализации приоритетных направлений высокотехнологичного здравоохранения и широкого внедрения индивидуальных имплантатов будут требоваться новые подходы, позволяющие снизить временные затраты на их моделирование. Текущее исследование, направленное на оценку эффективности разработанного алгоритма, основанного на работе сверточных нейронных сетей, продемонстрировало высокий потенциал созданных подходов для их практического применения. Алгоритм может быть использован как на медицинском производстве для первичного моделирования утраченной поверхности черепа, так и в медицинских лабораториях 3D-печати при вузах и НМИЦ для отработки навыков моделирования индивидуальных имплантатов. Данная разработка также позволит решить вопрос создания специализированного медицинского программного обеспечения для трехмерного моделирования индивидуальных имплантатов для закрытия дефектов костей черепа [2].

Выводы:

• 1.    Правильность определения алгоритмом опорных точек на трехмерной модели черепа (специфичность) оказывает наибольшее влияние на итоговую точность построения утраченной поверхности.

• 2.    Максимальная точность работы алгоритма, позволяющая использовать получаемые поверхности без дополнительной обработки в среде для трехмерного моделирования, достигалась на сериях без наличия артефактов при МСКТ (точность 83,5%), а также при дефектах, не распространяющихся в область основания черепа (точность 79,5%).

• 3.    Дальнейшая разработка предлагаемого подхода, включающая увеличение обучающих выборок с эталонными моделями и добавление сложных дефектов, распространяющихся в область основания черепа, позволит увеличить показатели точности работы алгоритма.