Невыпуклая оптимизация с положительно-отрицательной оценкой момента и ее применение для нейросетевого распознавания рака кожи
Автор: Ляхов Павел Алексеевич, Ляхова Ульяна Алексеевна, Абдулкадиров Руслан Ибрагимович
Журнал: Компьютерная оптика @computer-optics
Рубрика: Обработка изображений, распознавание образов
Статья в выпуске: 2 т.48, 2024 года.
Бесплатный доступ
Основная проблема использования стандартных методов оптимизации заключается в необходимости изменять все параметры шагами одинакового размера, независимо от поведения градиента. Более эффективный способ оптимизации нейронной сети состоит в том, чтобы установить адаптивные размеры шага для каждого параметра. Стандартные методы основаны на квадратных корнях экспоненциальных оценок моментов квадратов прошлых градиентов и не используют локальное изменение градиентов. В работе представлены методы адаптивной невыпуклой и доверительной оптимизации с положительно-отрицательной оценкой моментов с соответствующими теоретическими гарантиями сходимости. Данные подходы позволяют более точно сходиться функции потери в области глобального минимума за меньшее количество итераций. Использование преобразований положительно-отрицательной оценки момента и дополнительного параметра, регулирующего размер шага, позволяют обходить локальные экстремумы для достижения более высокой производительности по сравнению с аналогичными методами. Внедрение разработанных алгоритмов в процесс обучения различных архитектур мультимодальных нейросетевых систем анализа гетерогенных данных позволило повысить точность распознавания пигментных новообразований кожи на 2,33 - 5,69 процентных пункта по сравнению с известными методами оптимизации. Мультимодальные нейросетевые системы анализа разнородных дерматологических данных, обученные с применением предложенных алгоритмов оптимизации, могут использоваться в качестве инструмента вспомогательной медицинской диагностики, который позволит сократить потребление финансовых и трудовых ресурсов, задействованных в медицинской отрасли, а также повысить шанс раннего выявления пигментных онкопатологий.
Оптимизация, натуральный градиентный спуск, искусственный интеллект, мультимодальные нейронные сети, разнородные данные, рак кожи, меланома
Короткий адрес: https://sciup.org/140303303
IDR: 140303303 | DOI: 10.18287/2412-6179-CO-1308
Non-convex optimization with using positive-negative moment estimation and its application for skin cancer recognition with a neural network
The main problem of using standard optimization methods is the need to change all parameters in same-size steps, regardless of the behavior of the gradient. A more efficient way to optimize a neural network is to set adaptive step sizes for each parameter. Standard methods are based on the square roots of exponential estimates of the moments of the squares of past gradients and do not use the local variation in gradients. The paper presents methods of adaptive non-convex and belief-based optimization with a positive-negative estimate of the moments with the corresponding theoretical guarantees of convergence. These approaches allow the loss function to more accurately converge in the neighborhood of the global minimum in a smaller number of iterations. The utilization of transformed positive-negative moment estimates and an additional parameter that controls the step size allows one to avoid local extremes for achieving higher performance, compared to similar methods. The introduction of the developed algorithms into the learning process of various architectures of multimodal neural network systems for analyzing heterogeneous data has made it possible to increase the accuracy of recognizing pigmented skin lesions by 2.33 - 5.69 percentage points, compared to the original optimization methods. Multimodal neural network systems for analyzing heterogeneous dermatological data, using the proposed optimization algorithms, can be applied as a tool for auxiliary medical diagnostics, which will reduce the consumption of financial and labor resources involved in the medical industry, as well as increase the chance of early detection of pigmentary oncopathologies.
Список литературы Невыпуклая оптимизация с положительно-отрицательной оценкой момента и ее применение для нейросетевого распознавания рака кожи
- Kaul V, Enslin S, Gross SA. History of artificial intelligence in medicine. Gastrointest Endosc Mosby 2020; 92(4): 807-812. DOI: 10.1016/J.GIE.2020.06.040.
- Hamet P, Tremblay J. Artificial intelligence in medicine. Metabolism 2017; 69: 36-40. DOI: 10.1016/J.METABOL.2017.01.011.
- Brinker TJ, Hekler A, Enk AH, et al. Deep learning outperformed 136 of 157 dermatologists in a head-to-head dermoscopic melanoma image classification task. Eur J Cancer 2019; 113: 47-54. DOI: 10.1016/J.EJCA.2019.04.001.
- Esteva A, Kuprel B, Novoa RA, Ko J, Swetter, SM, Blau HM, Thrun S. Dermatologist-level classification of skin cancer with deep neural networks. Nature 2017; 542: 115-118. DOI: 10.1038/nature21056.
- Haggenmüller S, Maron RC, Hekler A, et al. Skin cancer classification via convolutional neural networks: Systematic review of studies involving human experts. Eur J Cancer 2021; 156: 202-216. DOI: 10.1016/J.EJCA.2021.06.049.
- Wiens J, Saria S, Sendak M, et al. Author correction: Do no harm: A roadmap for responsible machine learning for health care. Nature Medicine 2019; 25(9): 1337-1340. DOI: 10.1038/S41591-019-0548-6.
- Hwang J, Bose N, Fan S. AUV adaptive sampling methods: A review. Appl Sci 2019; 9: 3145-2019. DOI: 10.3390/APP9153145.
- Hospedales T, Antoniou A, Micaelli P, Storkey A. Meta-learning in neural networks: A survey. IEEE Trans Pattern Anal Mach Intell 2022; 44: 5149-5169. DOI: 10.1109/TPAMI.2021.3079209.
- Gao S, Pei Z, Zhang Y, Li T. Bearing fault diagnosis based on adaptive convolutional neural network with Nesterov momentum. IEEE Sens J 2021; 21: 9268-9276.
- Kingma DP, Ba JL. Adam: A method for stochastic optimization. 3rd Int Conf on Learning Representations (ICLR 2015) 2015: 1-13. DOI: 10.48550/arxiv.1412.6980.
- Wang S, Yang Y, Sun J, Xu Z. Variational HyperAdam: A meta-learning approach to network training. IEEE Trans Pattern Anal Mach Intell 2022; 44: 4469-4484. DOI: 10.1109/TPAMI.2021.3061581.
- Abdulkadirov RI, Lyakhov PA, Nagornov NN. Accelerating extreme search of multidimensional functions based on natural gradient descent with Dirichlet distributions. Mathematics 2022; 10: 3556-2022. DOI: 10.3390/MATH10193556.
- Dubey SR, Chakraborty S, Roy SK, Mukherjee S, Singh SK, Chaudhuri BB. DiffGrad: An optimization method for convolutional neural networks. IEEE Trans Neural Netw Learn Syst 2020; 31: 4500-4511. DOI: 10.1109/TNNLS.2019.2955777.
- Zaheer M, Reddi SJ, Sachan D, Kale S, Research G, Kumar S. Adaptive methods for nonconvex optimization. Proc 32nd Int Conf on Neural Information Processing Systems (NIPS'18) 2018: 9815-9825.
- Zhuang J, Tang T, Ding Y, Tatikonda SC, Dvornek N, Papademetris X, Duncan JS. AdaBelief optimizer: Adapting stepsizes by the belief in observed gradients. Adv Neural Inf Process Syst 2020; 33: 18795-18806.
- Xie Z, Yuan L, Zhu Z, Sugiyama M. Positive-negative momentum: Manipulating stochastic gradient noise to improve generalization. Thirty-eighth Int Conf on Machine Learning (ICML 2021) 2021: 11448-11458.
- Kurtansky NR, Dusza SW, Halpern AC, Hartman RI, Geller AC, Marghoob AA, Rotemberg VM, Marchetti MA. An epidemiologic analysis of melanoma overdiagnosis in the United States, 1975-2017. J Invest Dermatol 2022; 142: 1804-1811. DOI: 10.1016/J.JID.2021.12.003.
- Turkay C, Lundervold A, Lundervold AJ, Hauser H. Hypothesis generation by interactive visual exploration of heterogeneous medical data. In Book: Holzinger A, Pasi G, eds. Human-computer interaction and knowledge discovery in complex, unstructured, big data. Third international workshop (HCI-KDD 2013). Berlin, Heidelberg: Springer-Verlag; 2013: 1-12. DOI: 10.1007/978-3-642-39146-0_1.
- Wang S, Yin Y, Wang D, Wang Y, Jin Y. Interpretability-based multimodal convolutional neural networks for skin lesion diagnosis. IEEE Trans Cybern 2022; 52(12): 12623-12637.
- Goh G, Carter S, Petrov M, Schubert L, Radford A, Olah, C. Multimodal neurons in artificial neural networks. Distill 2021; 6: 30. DOI: 10.23915/DISTILL.00030.
- Liu K, Li Y, Xu N, Natarajan P. Learn to combine modalities in multimodal deep learning. arXiv Preprint. 2023. Source: https://arxiv.org/abs/1805.11730.
- Lyakhov PA, Lyakhova UA, Nagornov NN. System for the recognizing of pigmented skin lesions with fusion and analysis of heterogeneous data based on a multimodal neural network. Cancers 2022; 14: 1819-2022. DOI: 10.3390/CANCERS14071819.
- Banerjee. S. Estimatation of body weight at different ages using linear and some non linear regression equations in a duck breed reared in hot and humid climate of Eastern India. Am-Eurasian J Sci Res 2011; 6(4): 201-204.
- Tukey JW. The practical relationship between the common transformations of percentages or fractions and of amounts. In Book: Mallows CL, ed. The collected works of John W. Tukey. Volume VI: More mathematical. Pacific Grove, CA: Wadsworth & Brooks-Cole; 1990: 211-219.
