Классификация мультимодальных данных о заболеваниях легких на основе позднего слияния модальностей
Автор: Иванова О.Н., Кумар С., Цымблер М.Л., Иванова Е.В.
Статья в выпуске: 1 т.13, 2024 года.
Бесплатный доступ
С развитием аппаратных технологий высококачественные рентгеновские снимки стали доступны для диагностики заболеваний легких с помощью специалистов-радиологов. Однако процесс диагностики занимает много времени и зависит от наличия в медицинском учреждении специалистов соответствующего профиля. В то же время информация о пациенте может включать не только рентгеновские снимки грудной клетки разного качества, а также результаты медицинских анализов, записи и предписания врача, сведения о приеме лекарств и другие. В данном исследовании предложена модель классификации легочных заболеваний на основе мультимодальных данных о клинических исследованиях пациентов и рентгенографических изображений. При подготовке данных использованы различные методы генерации искусственных образцов как для изображений, так и для табличных данных о результатах лабораторных исследований. Предложен метод установления соответствия для сгенерированных образцов между модальностями. Предложенная мультимодальная модель имеет архитектуру позднего слияния. Проведены эксперименты на наборах данных с одной и двумя модальностями. Предложенная модель показала точность на 5.5% выше, чем модели, основанные на одной модальности (91.3% против 86.11% на наборе данных из 1 156 пациентов).
Мультимодальные данные, заболевания легких, глубокое обучение, позднее слияние
Короткий адрес: https://sciup.org/147243210
IDR: 147243210 | DOI: 10.14529/cmse240105
Список литературы Классификация мультимодальных данных о заболеваниях легких на основе позднего слияния модальностей
- 2019 I.-l.V. Chapter X. Diseases of the respiratory system (J00-J99). 2019. URL: https: //icd.who. int/browsel0/2019/en (дата обращения: 27.10.2019).
- 1998 I.-9.V. Diseases of the respiratory system (460-519) Chapter Pneumonia and influenza (480-488). 2019. URL: https://www2.gov.bc.ca/assets/gov/health/practitioner-pro / medical - services - plan / diag - codes _ respiratory . pdf (дата обращения: 27.10.2019).
- Sen I., Hossain M.I., Shakib M.F.H., et al. In Depth Analysis of Lung Disease Prediction Using Machine Learning Algorithms / / Communications in Computer and Information Science. 2020. Vol. 1241. DOI: 10.1007/978-981-15-6318-8_18.
- Bharati S., Podder P., Mondal M.R.H. Hybrid deep learning for detecting lung diseases from X-ray images // Informatics in Medicine Unlocked. 2020. Vol. 20, no. 100391. DOI: 10.1016/j.imu.2020.100391.
- Mustafa E., Selim A. Detection of lung disorders using embedded and wrapper feature selection methods // Kahramanmara^Sutcu Imam Universitesi Muhendislik Bilimleri Dergisi. 2022. Vol. 25, no. 100391. P. 452-460. DOI: 10.17780/ksujes. 1138377.
- Gu Y., Lu X., Yang L., et al. Automatic lung nodule detection using a 3D deep convolutional neural network combined with a multi-scale prediction strategy in chest CTs // Computers in Biology and Medicine. 2018. Vol. 103. P. 220-231. DOI: 10.1016/j .compbiomed.2018. 10.011.
- Setio A.A.A., Traverso A., de Bel Т., et al. Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: The LUNA16 challenge // Medical Image Analysis. 2017. Vol. 42. P. 1-13. DOI: 10.1016/ j.media.2017.06.015.
- Zhu W., Liu C., Fan W., Xie X. DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification // 2018 IEEE Winter Conference on Applications of Computer Vision, WACV 2018, Lake Tahoe, NV, USA, March 12-15, 2018. IEEE Computer Society, 2018. P. 673-681. DOI: 10.1109/WACV.2018.00079.
- Kong W., Hong J., Jia M., et al. YOLOv3-DPFIN: A Dual-Path Feature Fusion Neural Network for Robust Real-Time Sonar Target Detection // IEEE Sensors Journal. 2020. Vol. 20, no. 7. P. 3745-3756. DOI: 10.1109/JSEN.2019.2960796.
- Ronneberger О., Fischer P., Brox Т. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015 - 18th International Conference Munich, Germany, October 5-9, 2015, Proceedings, Part III. Vol. 9351 / ed. by N. Navab, J. Hornegger, W.M.W. Ill, A.F. Frangi. Springer, 2015. P. 234-241. Lecture Notes in Computer Science. DOI: 10.1007/978-3-319-24574-4_28.
- Kallianos K., Mongan J., Antani S., et al. How far have we come? Artificial intelligence for chest radiograph interpretation // Clinical Radiology. 2019. Vol. 74, no. 5. P. 338-345. DOI: 10.1016/j . crad. 2018.12.015.
- Bhandary A., Prabhu G.A., Rajinikanth V., et al. Deep-learning framework to detect lung abnormality - A study with chest X-Ray and lung CT scan images // Pattern Recognition Letters. 2020. Vol. 129. P. 271-278. DOI: 10.1016/j .patrec.2019.11.013.
- Bharati S., Podder P., Paul P.K. Lung Cancer Recognition and Prediction According to Random Forest Ensemble and RUSBoost Algorithm Using LIDC Data // Int. J. Hybrid Intell. Syst. 2019. Vol. 15, no. 2. P. 91-100. DOI: 10.3233/HIS-190263.
- Behzadi-khormouji H., Rostami H., Salehi S., et al. Deep learning, reusable and problem-based architectures for detection of consolidation on chest X-ray images // Computer Methods and Programs in Biomedicine. 2020. Vol. 185. P. 105162. DOI: 10.1016/j .cmpb.2019. 105162.
- Kumar S., Ivanova O., Melyokhin A., Tiwari P. Deep-learning-enabled multimodal data fusion for lung disease classification // Informatics in Medicine Unlocked. 2023. Vol. 42. P. 101367. DOI: 10.1016/j .imu.2023.101367.
