Исследование изображений в открытых датасетах глазного дна при диабетической ретинопатии, предназначенных для обучения нейросетевых алгоритмов

Сахарный диабет - распространенное инвалидизирующее заболевание, которое без надлежащего лечения приводит к ухудшению зрения и слепоте. В данной статье представлены результаты анализа дубликатов и модифицированных изображений в открытых датасетах (наборы данных, которые можно свободно скачать в сети Интернет), содержащих снимки глазного дна с проявлениями диабетической ретинопатии.Цель: определение качества и пригодности открытых датасетов, доступных по запросу «диабетическая ретинопатия» («diabetic retinopathy») на платформе Kaggle.com, для использования в обучении моделей машинного обучения.Материал и методы. Было проанализировано более 100 открытых источников данных с суммарным количеством изображений глазного дна с диабетической ретинопатией, составившим почти 2 млн. Исследование изображений проводилось в несколько этапов: сначала датасеты скачивались, имя и уникальная хеш-сумма каждого изображения по алгоритму SHA-3 сохранялись в специально созданную базу данных, затем считались повторные вхождения хешсумм внутри базы данных в разных наборах, производился поиск модифицированных имен файлов.Результаты. Исследование показало, что дубликаты изображений достаточно распространены, максимальное количество повторений в разных датасетах достигало 14 . Было выявлено, что 56% всех изображений повторяются хотя бы дважды в разных наборах данных. Также была проведена работа по поиску модифицированных изображений, то есть изображений с измененным размером. В ходе анализа было обнаружено 9 наборов данных с такими изображениями, что составляет 24% от общего числа изображений в базе.Заключение. Полученные результаты могут быть использованы для оптимизации процесса обучения и улучшения качества работы алгоритмов компьютерного зрения в офтальмологии. Также они указывают на необходимость разработки мер по предотвращению дублирования и модификации изображений в наборах данных, чтобы обеспечить их высокое качество и надежность результатов обучения нейросетевых моделей, так как создание датасетов без стандартизации и верификации не приведет к улучшению результатов машинного обучения.