Сравнительный анализ методов градиентного спуска и их модификаций для оптимизации сложных функций

В данной статье представлен сравнительный анализ различных методов оптимизации градиентного спуска, включая классический градиентный спуск, градиентный спуск на основе импульса, адаптивный градиентный спуск (Adam) и метод спада скорости обучения. Эти методы были применены к двум тестовым функциям, функции Матьяша и функции Леви № 13, для оценки их производительности с точки зрения точности, скорости сходимости и вычислительной эффективности. Исследование показало, что оптимизатор Adam последовательно превосходил другие методы, демонстрируя самую высокую точность и самую быструю сходимость, особенно на сложных нелинейных ландшафтах. Градиентный спуск на основе импульса улучшил сходимость по сравнению с классическим методом, но не достиг точности Adam. Метод спада скорости обучения стабилизировал процесс оптимизации, но не достиг производительности Adam. Эти результаты подчеркивают эффективность алгоритмов адаптивной оптимизации при решении сложных задач оптимизации, предоставляя ценную информацию для их применения в машинном обучении, нейронных сетях и других областях, требующих эффективных методов оптимизации.