Оценка диагностической точности технологии искусственного интеллекта при выявлении переломов проксимального отдела бедренной кости в условиях реальной клинической практики

К переломам проксимального отдела бедренной кости (ПОБК) относят переломы собственно анатомической шейки бедра и переломы межвертельной области, которые встречаются с одинаковой частотой. Оба типа переломов ВЗК чаще встречаются в зимний и весенний периоды. Существуют общие эпидемиологические закономерности: значительное преобладание женщин и увеличение числа переломов с возрастом [1,2].

В последние годы наблюдается тенденция к росту числа низкоэнергетических переломов, включая перелом проксимального отдела бедренной кости, который является одним из наиболее серьезных осложнений остеопороза [1]. Ряд исследователей [1,2] считают увеличение продолжительности жизни и, как следствие, увеличение числа лиц пожилого и старческого возраста в составе населения одной из причин сохранения "стабильности" продолжающегося роста частоты таких переломов, что характерно и для России. Наряду с возрастом, среди факторов риска переломов также следует учитывать особенности физического и функционального здоровья, включая наличие сопутствующих заболеваний и нарушений обмена веществ, влияющих на прочность костей [3].

Рентгенография остается наиболее распространенным и доступным методом выявления переломов костей на уровне первичной медико-санитарной помощи. Растущая нагрузка на рентгенологов может привести к задержке выявления переломов или их пропуску. Искусственный интеллект может стать решением проблемы растущего объема визуализации и может быть использован для оптимизации рабочих процессов [4,5].

На протяжении уже пяти лет в г. Москве проводится эксперимент по внедрению и дальнейшему применению в системе здравоохранения города Москвы инновационных технологий в области компьютерного зрения для анализа медицинских изображений, с подробной информацией о котором можно ознакомиться на официальной странице В рамках этого эксперимента ИИ-сервисы были интегрированы в Единый радиологический информационный сервис Единой медицинской информационноаналитической системы (ЕРИС ЕМИАС) г. Москвы, фактически - в централизованный архив медицинских изображений мегаполиса. После прохождения специальных проверочных процедур ИИ-сервисы допускаются к применению в условиях практического здравоохранения. На всех этапах проверки работа ИИ-сервисов подвергается постоянному и всестороннему научному изучению [6]. Это позволяет накапливать принципиально новые знания о реальных возможностях технологий искусственного интеллекта (ТИИ), научно обосновывать сценарии применения, создавать методики внедрения и контроля качества [7,8]. С марта 2023 г. в Московском Эксперименте применяются ИИ-сервисы для диагностики травм и заболеваний опорно-двигательной системы, что позволило впервые масштабно изучить качество соответствующих инструментов.

Для участия в Эксперименте и успешного прохождения калибровочного тестирования на готовых наборах данных, ИИ-сервисам необходимо пройти проверку точности и качества своей работы на новых данных, полученных из различных медицинских учреждений и не задействованных в обучении модели. Только такая внешняя валидация позволяет получить действительно объективные показатели диагностической точности ИИ для практического применения в медицине. В идеальном случае валидация осуществляется в рамках проспективного мультицентрового клинического исследования.

Цель исследования: изучить диагностическую точность программного обеспечения на основе технологий искусственного интеллекта для выявления переломов проксимального отдела бедренной кости.

Материалы и методы

Дизайн

Исследование, проведённое в формате диагностического, было описано в соответствии с методологией STARD 2015 [9]. Оно включало два этапа: ретроспективный и проспективный, на последнем все исследования обрабатывались в непрерывном режиме. Исследование было одномоментным и проводилось в нескольких центрах.

Критерии соответствия

В рамках Московского Эксперимента было установлено пороговое значение показателя «площадь под характеристической кривой», которое на момент нашего исследования составляло 0,81. Если искусственный интеллект-сервис не достигал этого уровня на ретроспективном этапе, он не мог перейти к следующему, проспективному этапу. Вместо этого его направляли на доработку и дополнительное обучение.

Условия проведения

Данное исследование проводилось в рамках Московского Эксперимента, участие приняли 410 врачей из 190 медицинских организаций, подведомственных Департаменту здравоохранения города Москвы (ДЗМ): 66 городских стационаров, 87 поликлиник с филиалами, клинико-диагностических центров. В общей сложности в Московском Эксперименте задействовано 1507 диагностических устройств.

Продолжительность исследования

Продолжительность исследования - 7 месяцев.

Описание медицинского вмешательства

Клиническая задача для ИИ-сервиса при проведении данного исследования включала выявление рентгенологических признаков переломов проксимального отдела бедренной кости на рентгенограммах тазобедренных суставов и рентгенограммах костей таза.

Основной исход исследования

Показатели диагностической точности: площади под характеристической кривой (далее – AUROC от англ. area under receiver operating characteristic curve), чувствительности, специфичности и точности, значение согласованности врача-эксперта с решением ИИ-сервиса в трактовке и локализации, интегральная клиническая оценка. Значения всех показателей диагностической точности/качества интерпретировали следующим образом: менее 0,7 – неприемлемое, 0,7–0,8 – приемлемое, 0,81–0,9 – хорошее, более 0,9 – высокое [10].

Анализ в подгруппах

Разделение на подгруппы в рамках данного исследования не проводилось. В анализ включались все пациенты из медицинских организаций, подведомственных ДЗМ, которым было проведено рентгенографическое исследование тазобедренного сустава (номенклатура А06.04.011) или костей таза (номенклатура А06.03.041).

Методы регистрации исходов

Ретроспективный этап представлял собой расчёт показателей диагностической точности (AUROC, чувствительности, специфичности и точности). Порог активации определялся по индексу Юдена [11].

Индекс-тест: ИИ-сервис, интегрированный в ЕРИС ЕМИАС. Референс-тест: набор данных (n=100), состоящий из результатов рентгенографии с разметкой квалифицированными врачами-рентгенологами по научно обоснованной и утверждённой методологии [12]. В работе использовался набор данных ( n =100) с деперсонализированными результатами рентгенографии тазобедренного сустава: с признаками травматического повреждения костей. Изучаемый ИИ-сервис получал на вход конкретный набор данных, выполнял его анализ и «возврат» соответствующих результатов в тестовый контур ЕРИС ЕМИАС. Результаты машинного анализа сравнивались с эталонной разметкой, которая служила референс-тестом. Затем определялось количество правильных (истинно положительных) и неправильных (ложноположительных и ложноотрицательных) диагностических решений. На основе этих данных была составлена четырёхпольная таблица, с помощью которой были вычислены показатели диагностической точности.

Проспективный этап состоял в регулярном мониторинге технической надёжности и диагностического качества работы ИИ-сервиса при анализе реального потока результатов рентгенографии ( n =11685).

В основе методологии данного мониторинга лежит случайный отбор результатов лучевых исследований, формирование набора данных с процентным соотношением нормы и патологии 25:75 и тщательный пересмотр этого набора опытными врачами. Для каждого случая врач-эксперт (с опытом работы более 5 лет в данной области) должен был выразить своё согласие с решением искусственного интеллекта (ИИ-сервиса) по двум аспектам: 1. Трактовка патологии — определение её отсутствия, наличия и характера. 2. Локализация патологических изменений. Каждый эксперт должен был представить своё мнение в виде единой формулировки:  «полное соответствие», «некорректная оценка», «ложноположительный результат» или «ложноотрицательный результат». Это позволяло оценить качество ИИ-сервиса в диапазоне от 0 до 100%. Согласие рассчитывалось отдельно для трактовки и локализации, а также для интегральной клинической оценки. Более подробно методология клинической оценки описана в публикации Васильева Ю.А. и соавторов [13] и в нормативных документах Московского Эксперимента.

Все процессы получения, обработки, хранения, использования и проч. данных были выполнены в соответствии с действующим законодательством.

Статистический анализ

Расчёт и обоснование размера выборки. На ретроспективном этапе исследования был использован набор данных, включающий рентгенографические изображения тазобедренного сустава, количество которых составило 100. Этот объем выборки был выбран в соответствии с минимальным требованием к набору данных для проведения калибровочного тестирования ИИ-сервисов, установленным приказом №89 Департамента Здравоохранения г. Москвы от 9 февраля 2024 года «Об утверждении Порядка и условий дальнейшего проведения эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения». Этот документ доступен на сайте Эксперимента по адресу [] 1/, в пункте 7.1.1. Набор данных был сбалансирован по наличию патологии: соотношение нормальных и патологических изображений составляло 50:50 [14].

В рамках проспективного этапа мониторинг работы ИИ-сервисов проводился ежемесячно, в каждый соответствующий набор данных случайным образом отбирались результаты 80 рентгенографий. Такой объём выборки был установлен и опубликован нами ранее [15].

Методы статистического анализа данных. Расчет всех показателей проводился на языке Python с использованием ранее разработанного нами веб-инструмента для выполнения ROC анализа (свидетельство номер: RU 2022617324). Формат представления количественных данных табличный. В данной работе используется описательная статистика и расчет показателей диагностической точности.

Результаты

Объекты (участники) исследования

Изучено программное решение на основе технологий искусственного интеллекта для выявления признаков травматического повреждения области тазобедренного сустава – «Oxytech РГ перелом тазобедренного сустава» (ООО «Оксиджен Технолоджиес Рус»). Информация о качестве продукта представлена на официальном сайте Московского Эксперимента – (Главная>Проекты>Эксперимент>Матрица зрелости ИИ-сервисов>РГ тазобедренного сустава перелом костей).

Основные результаты исследования

Сводные данные о заявленных производителем значениях метрик и результатах ретроспективной оценки ИИ-сервиса для диагностики травматических повреждений тазобедренных суставов представлены в таблице 1.

Табл. 1. Данные калибровочного тестирования ИИ-сервиса на ретроспективном этапе

Показатели	Заявленные значения	Показатели на ретроспективном этапе тестирования	Относительное отклонение
Точность	0,875	0,88 (ДИ 95%, 0,81-0,94)	1,15%

Чувствительность	0,872	0,76 (ДИ 95%, 0,64-0,88)	-12,64%
Специфичность	0,877	1,0 (ДИ 95%, 1.0-1,0)	14,94%
AUROC	0,924	0,887 (ДИ 95%, 0,83-0,95)	-3,55%

Ретроспективный этап тестирования. С использованием размеченного набора данных проведено тестирование ИИ-сервиса для автоматизированного анализа результатов рентгенографии тазобедренного сустава в условиях тестового контура ЕРИС ЕМИАС. При ретроспективном тестировании AUROC составил 0,887 (ДИ 95%, 0,83-0,95), специфичность – 1,0 (ДИ 95%, 1,0-1,0), точность – 0,88 (ДИ 95%, 0,81-0,94), показатель чувствительности – 0,76 (ДИ 95%, 0,64-0,88, что на 12,64% ниже заявленного производителем). Эти результаты свидетельствуют о риске принятия ложноотрицательных решений, однако они не противоречат правилам эксперимента, поскольку пороговое значение площади под характеристической кривой было превышено Рис. 1). По результатам ретроспективного тестирования ИИ был допущен к проспективному этапу.

Рис. 1. ROC- кривая «Oxytech РГ перелом тазобедренного сустава» 1.0.0.

Проспективный этап тестирования. Технически и организационно ИИ-сервис был переведен в промышленный контур ЕРИС ЕМИАС для выполнения автоматизированного анализа реального потока результатов рентгенографии тазобедренных суставов. При работе в клинических условиях ИИ-сервис продемонстрировал высокую скорость обработки данных: в подавляющем большинстве случаев автоматизированный анализ результатов рентгенографии выполнялся менее, чем за 11 секунд (средние значения находятся в пределах от 5 до 9 сек). Период наблюдения составил с 01.02.2024 по 18.07.2024 гг. За это время ИИ-сервис автоматически проанализировал результаты 11685 рентгенографий тазобедренного сустава с целью выявления признаков переломов костей. Проведено 5 клинических мониторингов с оценкой качества автоматизированного анализа результатов 400 рентгенографий. Нижний уровень показателя клинической оценки при проведении проспективного тестирования составил 87,81%, верхний – 93,33% (Табл. 2).

Табл. 2. Результаты клинической оценки работы ИИ-сервиса при проведении мониторингов на проспективном этапе тестирования

1         2         3         4         5

Количество исследований, отправленных на анализ сервису согласно выгрузке ЕРИС ЕМИАС	1106	405	747	1713	5892
Количество исследований, прошедших контроль	1039	395	736	1562	5551
Количество исследований, прошедших выборочный контроль	80	80	80	80	80
Клиническая  оценка  работы  ИИ- сервиса	88,44%	91,13%	93,33%	92,96%	87,81%
AUROC	0,881	0,909	0,854	0,904	0,882

В результате проспективного исследования был выявлен высокий уровень диагностической точности искусственного интеллекта (ИИ) — сервиса: показатель AUROC составил от 0,85 до 0,91 (Табл. 2). Средняя клиническая оценка, включая согласие с заключением и локализацией, составила более 91%. Это свидетельствует о том, что в подавляющем большинстве случаев ИИ-сервис правильно определяет наличие или отсутствие патологических изменений, а также их расположение. Примеры истинно положительного срабатывания ИИ-сервиса можно увидеть на рисунках 2 и частично на рисунках 3 и 4.

Рис. 2. Пример истинно положительного срабатывания ИИ-сервиса. Перелом шейки правой бедренной кости.

Рис. 3. Один из переломов (малого вертела бедренной кости) обозначен верно, второй - ложно (канал винта МОС).

Рис. 4. Один из переломов, расположенный в надвертельной области, был размечен правильно, что соответствует истинному положительному результату. Второй перелом, обнаруженный в канале винта, был размечен ошибочно, что является примером ложноположительного результата работы алгоритма.

Ложноотрицательные результаты работы ИИ-сервиса (Рис. 5) чаще всего встречаются на фоне наличия металлоконструкций у пациентов, а ложноположительные срабатывания (Рис. 6 и 7) в большинстве случаев бывают связаны с артефактами от одежды или с избыточным количеством мягких тканей при ожирении.

Рис. 5. Ложноотрицательный результат срабатывания ИИ-сервиса. Видна линия перелома в шейке правой бедренной кости, но алгоритм на фоне металлоостеосинтеза ( МОС) ее не заметил.

Рис. 6. Пример ложноположительного срабатывания ИИ-сервиса. ИИ-сервис ошибочно принял за линию перелома нормальную скиалогическую картину (наложение тени большого вертела на тень шейки бедренной кости при отведении бедра).

Рис. 7. Примеры ложноположительного срабатывания ИИ-сервиса, когда ИИ-сервис принимает за линию перелома воздух в паховой складке либо артефакты от одежды пациента.

Обсуждение

Резюме основного результата исследования

Было изучено программное решение на основе ТИИ для выявления признаков переломов бедренной кости. ИИ-сервис успешно прошёл этап ретроспективной оценки диагностической точности и был допущен к проспективному этапу. При работе в клинических условиях ИИ-сервис продемонстрировал высокую скорость обработки данных и высокий уровень диагностической точности.

Обсуждение основного результата исследования

В ряде зарубежных исследований, посвящённых применению технологий искусственного интеллекта для диагностики травматических повреждений тазобедренного сустава, были получены впечатляющие результаты, подтверждающие высокую диагностическую ценность ТИИ [16-23]. Особенно стоит отметить исследование, в котором была создана база данных, состоящая из 5242 рентгенограмм тазобедренных суставов, полученных в период с 2009 по 2019 годы. На этой базе данных было проведено глубокое обучение модели, а её диагностическая точность сравнивалась с результатами, полученными 31 ординатором. Точность оценки патологических изменений, проведённой моделью, составила 0,961, чувствительность — 0,952, специфичность — 0,969, а площадь под кривой (AUC) — 0,990 [17].

В целом, согласно данным различных исследований, общая AUC, чувствительность и специфичность составили 0,96 (95% доверительный интервал — от 0,94 до 0,98), 90% (95% доверительный интервал — от 0,87 до 0,92) и 0,92 (95% доверительный интервал — от 0,90 до 0,94) соответственно. При анализе подгрупп многоцентровые исследования продемонстрировали более высокую чувствительность (0,92 против 0,88) и специфичность (0,94 против 0,91), чем одноцентровые. Более того, искусственный интеллект достиг сопоставимых результатов с людьми (AUC 0,97 против 0,97) и лучших результатов, чем у читателей — людей, не являющихся экспертами (AUC 0,98 против 0,96; чувствительность 0,95

против 0,88) [24]. На ретроспективном этапе мы получили аналогичные результаты. Это свидетельствует о том, что исходная точность диагностики зарубежных и отечественных разработок примерно одинакова. Однако стоит отметить, что российские специалисты пока не уделяют данной проблематике должного внимания.

Качественным отличием нашего исследования стало проведение проспективной мультицентровой внешней валидации на реальном потоке клинических данных ( n =11685). Достижение высоких показателей точности (>0,91) на ограниченных наборах данных не имеет особенной ценности для медицинской науки. Напротив, нами получены данные о точности ТИИ в реальных клинических условиях.

В отечественной литературе в настоящее время практически игнорируется вопрос сценария применения ТИИ в контексте диагностики переломов костей [25]. Искусственный интеллект, будучи одной из многочисленных информационных технологий, должен решать конкретные проблемы клинических производственных процессов. Перелом шейки бедренной кости занимает одну из лидирующих позиций по частоте встречаемости [1], а летальность у пациентов старшей возрастной группы в течение года после перелома шейки бедра даже в развитых странах достигает 30% [2]. Эпидемиологические исследования, проведённые во многих странах мира, показали, что переломы проксимального отдела бедренной кости встречаются довольно часто. Выявлены значительные различия в частоте переломов как между регионами земного шара, так и между странами и отдельными центрами одной страны. Наиболее высокая частота переломов наблюдается среди европейцев и белого населения США, Канады и Новой Зеландии. В то же время, самые низкие показатели отмечаются у африканцев и аборигенов Новой Зеландии. Население Азии и Латинской Америки занимает промежуточное положение. Несмотря на эти различия, во всех исследованиях прослеживаются общие эпидемиологические тенденции. Частота переломов экспоненциально возрастает с возрастом, достигая максимальных значений в старших возрастных группах (от 75 лет и старше). Кроме того, отмечается значительное преобладание женщин в группе риска (за исключением некоторых популяций Азии) [1,2].

Важнейшей задачей лечения переломов бедренной кости является предотвращение длительной иммобилизации пациента, так как длительная иммобилизация практически неизбежно приводит к тромботическим и гипостатическим осложнениям, обострению сопутствующих заболеваний, в том числе сердечно-сосудистых, и, как результат, к снижению качества и продолжительности жизни. При данной разновидности переломов в подавляющем большинстве случаев пациенту требуется незамедлительное оперативное вмешательство. Выбор метода оперативного лечения осуществляют с учетом возраста больного и уровня его физической активности до возникновения перелома [26]. Таким образом, актуальной становится возможность применения ИИ-сервисов в работе врачей ортопедов-травматологов. Сервис на основе искусственного интеллекта, безусловно, может быть полезен благодаря своей способности выявлять патологические изменения в кратчайшие сроки после проведения исследования. Это открывает интересные возможности для оптимизации производственных процессов в медицинских учреждениях. Тем не менее этот вопрос требует дальнейшего изучения.

Следует подчеркнуть, что в настоящее время ИИ-системы способны анализировать только актуальные изображения, не учитывая дополнительную клиническую информацию и данные предыдущих исследований. Для того чтобы сделать следующий шаг в развитии ИИ и приблизить его к уровню работы врача-рентгенолога, необходимо разработать методологию подготовки динамических наборов данных, а также обогатить их дополнительной клинической информацией. Это позволит оценивать возможности естественных процессов восстановления костной ткани и выбирать наиболее подходящий вид хирургического вмешательства с учётом возраста, пола и наличия сопутствующих заболеваний у пациента. Именно поэтому для развития теории искусственного интеллекта (ТИИ) так важно иметь соответствующие типы наборов данных и продолжать совершенствовать методологию.

Ограничения исследования

В рамках данного исследования не проводилось сравнение результатов работы нескольких ИИ-сервисов. Это связано с тем, что другие подобные сервисы для диагностики травматических повреждений костей находятся в стадии разработки и не были протестированы. Также стоит учесть, что ИИ-сервис не предназначен для анализа изображений, на которых видны протезированные тазобедренные суставы. Поэтому он не может выявлять и оценивать перипротезные переломы бедренных костей.

Перспективы дальнейших исследований

Перспективы дальнейших исследований состоят в изучении медицинской, социальной и экономической эффективности внедрения технологий искусственного интеллекта в процессы лучевой диагностики заболеваний и травм опорно-двигательной системы; в разработке ТИИ для комплексного анализа разных видов медицинских данных, в том числе, с целью прогнозирования течения дегенеративно-дистрофических, посттравматических и, возможно, репаративных процессов. Особое внимание следует уделить научно-практической разработке методологии применения ИИ-сервисов для автоматизированного анализа результатов лучевых исследований непосредственно врачами-ортопедами и травматологами. Это позволит оптимизировать производственные процессы и эффективно использовать кадровые ресурсы медицинских учреждений.

Заключение

В условиях проспективного многоцентрового клинического исследования (Московского Эксперимента) представленным программным продуктом на основе искусственного интеллекта обработаны результаты 11685 рентгенографий тазобедренного сустава с целью выявления признаков перелома костей, установлен высокий уровень диагностической точности ИИ-сервиса: показатель AUROC составил от 0,85 до 0,91, а медиана клинической оценки (включая согласия с заключением и локализацией) составила более 91%. Достигнутый уровень развития данного программного обеспечения на основе искусственного интеллекта позволяет применять соответствующие разработки в клинической практике для интерпретации результатов рентгенографии тазобедренных суставов (в контексте диагностики переломов проксимального отдела бедренной кости).

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: Е.В. Астапенко - написание текста, анализ изображений, подбор иллюстраций; Ю.А. Васильев - разработка концепции, подготовка и написание текста; А.В. Владзимирский - разработка концепции, подготовка и написание текста; К.М. Арзамасов - предоставление и обработка данных.

Финансирование. Данная статья подготовлена авторским коллективом в рамках НИОКР "Разработка платформы подготовки наборов данных лучевых диагностических исследований" (№ ЕГИСУ: 123031500003-8) в соответствии с Приказом от 17.12.2024 № 1184 "Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2025 год и плановый период 2026 и 2027 годов" Департамента здравоохранения города Москвы.

Этическая экспертиза. Данное исследование основано на результатах Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы, утвержденного этическим комитетом (выписка из протокола №2 НЭК МРО РОРР от 20 февраля 2020 года), также зарегистрированного на ClinicalTrials (NCT04489992).