Интеллектуальная система анализа несбалансированных гетерогенных дерматологических данных на основе мультимодальной нейронной сети
Автор: Ляхова У.А.
Журнал: Инфокоммуникационные технологии @ikt-psuti
Рубрика: Новые информационные технологии
Статья в выпуске: 4 т.20, 2022 года.
Бесплатный доступ
На сегодняшний день рак кожи является наиболее часто диагностируемой формой онкопатологии. Визуальная диагностика данного вида рака на ранних стадиях затруднительна из-за схожих визуальных проявлений у доброкачественных и злокачественных типов пигментных образований, а ее точность зависит от опыта дерматолога. Технологии искусственного интеллекта способны сравняться и превзойти по точности методы визуальной диагностики, но обладают риском возникновения ложноположительного прогноза, когда злокачественное пигментное образование может распознаваться как доброкачественное. Одним из возможных способов увеличения точности распознавания и снижения количества ложноположительных прогнозов является одновременное использование различных методов предварительной обработки, анализ разнородных данных, а также использование модифицированных функций потерь при обучении для устранения негативного влияния несбалансированных дерматологических данных. В работе представлена интеллектуальная система анализа несбалансированных гетерогенных дерматологических данных на основе мультимодальной нейронной сети, обученная с использованием модифицированной функции кросс-энтропийной потери. Точность классификации пигментных образований кожи по 10 диагностически-значимым категориям у предложенной системы на основе сверточной нейросетевой архитектуры AlexNet составила 83,87%. Новизна предлагаемой системы заключается в одновременном использовании метода предварительной очистки волосяных структур на визуальных данных и мультимодальном обучении на гетерогенных данных с применением модифицированной функции кросс-энтропийных потерь. За счет возникающей синергии при использовании различных методов повышения качества работы интеллектуальных систем было снижено количество ложноположительных прогнозов интеллектуальной системы, а также увеличена точность на1,31-4,91 процентных пункта в зависимости от сверточной нейросетевой архитектуры. Внедрение разработанной системы в качестве инструмента вспомогательной диагностики может позволить сократить потребление финансовых и трудовых ресурсов, задействованных в медицинской отрасли, а также повысить шанс раннего выявления пигментных онкопаталогий.
Искусственный интеллект, сверточные нейронные сети, мультимодальные нейронные сети, несбалансированное обучение, рак кожи, меланома
Короткий адрес: https://sciup.org/140302043
IDR: 140302043 | DOI: 10.18469/ikt.2022.20.4.11
Список литературы Интеллектуальная система анализа несбалансированных гетерогенных дерматологических данных на основе мультимодальной нейронной сети
- Leiter U., Keim U., Garbe C. Epidemiology of skin cancer: Update 2019 // Advances in Experimental Medicine and Biology. Springer. 2020. Vol. 1268. P. 123–139.
- Barata C., Celebi M.E., Marques J.S. A Survey of Feature Extraction in Dermoscopy Image Analysis of Skin Cancer // IEEE Journal of Biomedical and Health Informatics. Institute of Electrical and Electronics Engineers, 2019. Vol. 23, no. 3. P. 1096–1109.
- Accuracy of dermatoscopy for the diagnosis of nonpigmented cancers of the skin / C. Sinz [et al.] // Journal of the American Academy of Dermatology. Mosby, 2017. Vol. 77, no. 6. P. 1100–1109.
- Dermoscopy compared with naked eye examination for the diagnosis of primary melanoma: a meta-analysis of studies performed in a clinical setting / M.E. Vestergaard [et al.] // British Journal of Dermatology. John Wiley & Sons, 2008. Vol. 159, no. 3. P. 669–676.
- Inter-observer variation in the histopathological diagnosis of clinically suspicious pigmented skin lesions / L. Brochez [et al.] // The Journal of Pathology. John Wiley & Sons, 2002. Vol. 196, no. 4. P. 459–466.
- Discordance in the histopathologic diagnosis of difficult melanocytic neoplasms in the clinical setting / S. Lodha [et al.] // Journal of Cutaneous Pathology. John Wiley & Sons, 2008. Vol. 35, no. 4. P. 349–352.
- Artificial intelligence-based image classification methods for diagnosis of skin cancer: Challenges and opportunities / M. Goyal [et al.] // Computers in Biology and Medicine. Pergamon. 2020. Vol. 127. P. 104065.
- Dermatologist-level classification of skin cancer with deep neural networks / A. Esteva [et al.] // Nature. 2017. Vol. 542, no. 7639. P. 115–118.
- An Epidemiologic Analysis of Melanoma Overdiagnosis in the United States, 1975–2017 / N.R. Kurtansky [et al.] // Journal of Investigative Dermatology. 2022. Vol. 142, no. 7. P. 1804-1811.
- Hypothesis generation by interactive visual exploration of heterogeneous medical data / C. Turkay [et al.] // Lecture Notes in Computer Science (LNCS) (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Berlin, Heidelberg: Springer, 2013. Vol. 7947. P. 1–12.
- Lyakhov P.A., Lyakhova U.A., Nagornov N.N. System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network // Cancers. 2022. Vol. 14, no. 7. P. 1819.
- Integrating Patient Data Into Skin Cancer Classification Using Convolutional Neural Networks: Systematic Review / J. Höhn [et al.] // Journal of Medical Internet Research. 2021. Vol. 23, no. 7. P. 20708.
- Seger C. An investigation of categorical variable encoding techniques in machine learning: binary versus one-hot and feature hashing // Degree project technology. 2018.
- Baltrusaitis T., Ahuja C., Morency L.P. Multimodal Machine Learning // IEEE Trans Pattern Anal Mach Intell. Washington: IEEE Computer Society, 2019. Vol. 41, no. 2. P. 423–443.
- Liu K., Li Ya., Xu N. Learn to Combine Modalities in Multimodal Deep Learning. URL: https://arxiv.org/pdf/1805.11730.pdf (дата обращения: 15.01.2023).
- Lyu J. et al. Prediction model for suicide based on back propagation neural network and multilayer perceptron / K. Liu [et al.] // Frontiers in Neuroinformatics. 2022. Vol. 16. P. 79.
- Recent advances in convolutional neural networks / J. Gu [et al.] // Pattern Recognit. Pergamon. 2018. Vol. 77. P. 354–377.
- Bias and Class Imbalance in Oncologic Data- Towards Inclusive and Transferrable AI in Large Scale Oncology Data Sets / E. Tasci [et al.] // Cancers. 2022. Vol. 14, no. 12. P. 2897.
- Chicco D., Jurman G. The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation // BMC Genomics. 2020. Vol. 21, no. 1. P. 1–13.
- Yap J., Yolland W., Tschandl P. Multimodal skin lesion classification using deep learning // Experimantal Dermatology. John Wiley & Sons, Ltd. 2018. Vol. 27, no. 11. P. 1261–1267.
- Co-Attention Fusion Network for Multimodal Skin Cancer Diagnosis / X. He [et al.] // Pattern Recognit. Pergamon. 2023. Vol. 133. P. 108990.
