Сравнительный анализ эффективности искусственного интеллекта и радиологов в обнаружении рака молочной железы при маммографии

Рак молочной железы остается ведущей причиной смертности от рака среди женщин во всем мире, несмотря на значительный прогресс в методах лечения [1]. Маммографический скрининг считается эффективным методом снижения смертности от рака молочной железы [25]. Однако существующие программы скрининга требуют значительных трудозатрат из-за большого числа обследуемых женщин и практики двойного чтения снимков, особенно в европейских программах скрининга. Кроме того, до 25% видимых на маммограммах раковых образований все еще не выявляются при скрининге [6-9]. Учитывая растущую нехватку радиологов в некоторых странах [10-12], необходимы альтернативные стратегии для обеспечения продолжения и развития существующих программ скрининга. Кроме того, крайне важно предотвратить пропуск или неверную интерпретацию видимых поражений на цифровых маммограммах. В последние годы были разработаны несколько алгоритмов на основе глубокого обучения для автоматизированного анализа маммограмм, некоторые из которых уже показали многообещающие результаты при сравнении с радиологами, но в очень ограниченных и однородных сценариях [18,19]. Целью данного исследования было сравнить на уровне отдельных случаев эффективность обнаружения рака с помощью коммерчески доступной системы искусственного интеллекта (ИИ) с результатами 3 радиологов, которые оценивали девять различных когорт маммографических исследований от четырех разных производителей в рамках ранее проведенных исследований.

Материалы и методы

Система искусственного интеллекта

В исследовании использовалась система ИИ для обнаружения рака молочной железы на цифровых маммограммах (Transpara 1.4.0, ScreenPoint Medical BV, Нидерланды). Система использует сверточные нейронные сети глубокого обучения, классификаторы признаков и алгоритмы анализа изображений для обнаружения кальцификаций и поражений мягких тканей в двух разных модулях. Для каждого исследования система предоставляет непрерывную оценку от 1 до 10, отражающую уровень подозрения на наличие рака.

Цифровые маммограммы

Были собраны наборы цифровых маммографических исследований, которые ранее оценивались несколькими радиологами в рамках других завершенных ретроспективных многоцентровых исследований. Всего было получено девять отдельных наборов данных из разных учреждений Узбекистана. В общей сложности было собрано 2575 независимых интерпретаций 289 случаев (63 злокачественных) от 3 радиологов.

Статистический анализ

Точность радиологов сравнивалась с точностью системы ИИ с использованием гипотезы о не меньшей эффективности, основанной на различиях в площади под ROC-кривой (AUC). Граница не меньшей эффективности была установлена на уровне 0,05.

Результаты

Общая эффективность: система ИИ против 3 радиологов

AUC системы ИИ (0,840, 95% ДИ = 0,820-0,860) была статистически не хуже, чем у 3 радиологов (0,814, 95% ДИ = 0,787-0,841). Разница AUC составила 0,026 (95% ДИ = 0,003-0,055), что немного выше для системы ИИ в диапазоне низкой и средней специфичности. Система имела более высокую AUC, чем радиологи (61,4%), и более высокую чувствительность, чем радиологи (57,9%), но ее эффективность всегда была ниже, чем у лучшего радиолога.

Сравнение эффективности для каждого набора данных

Для каждого набора данных AUC и чувствительность системы ИИ были сходны с показателями среднего радиолога. Абсолютные различия (AUC системы ИИ - AUC среднего радиолога) варьировались от -0,008 до +0,038 для каждого набора данных. Средняя рабочая точка радиологов различалась между наборами данных, со специфичностью от 0,49 до 0,79 и чувствительностью от 0,76 до 0,84. При средней специфичности радиологов система ИИ имела более высокую чувствительность в пяти из восьми наборов данных (на 1,0%-8,0%) и более низкую в трех наборах данных (на 1,0%-2,0%).

Обсуждение

Результаты исследования показывают, что недавние достижения в алгоритмах ИИ сократили разрыв между компьютерами и экспертами-радиологами в обнаружении рака молочной железы на цифровых маммограммах. Тем не менее, эффективность ИИ была стабильно ниже, чем у лучших радиологов во всех наборах данных. Большая и гетерогенная популяция случаев, использованная в этом исследовании, показывает, что полученные результаты могут быть справедливы для различных типов поражений, маммографических систем и практик, специфичных для разных стран. Хотя результаты многообещающие, эффективность и способ внедрения такой системы ИИ в условиях скрининга требуют дальнейшего изучения. В частности, хотя большинство исследований в оригинальных исследованиях были из скрининга, и всем радиологам было поручено оценивать снимки, имитируя практику скрининга, основным ограничением данного исследования является то, что оно основано на ретроспективных исследованиях с участием читателей на обогащенных наборах случаев. Поэтому эффективность работы человека была подвержена "лабораторному эффекту", который отражает чтение обогащенных наборов данных [20,21].

Заключение

Тестируемая система ИИ на основе алгоритмов глубокого обучения демонстрирует эффективность, сходную с эффективностью среднего радиолога в обнаружении рака молочной железы при маммографии. Эти результаты последовательно наблюдались в большой, гетерогенной, многоцентровой когорте маммограмм от разных производителей, обогащенной случаями рака. Хотя результаты многообещающие, эффективность и способ внедрения такой системы ИИ в условиях скрининга требуют дальнейшего изучения.