Градиентные методы для задач оптимизации, допускающие существование неточной сильно выпуклой модели целевой функции
Автор: Агафонов А.Д., Стонякин Ф.С.
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Информатика и управление
Статья в выпуске: 3 (43) т.11, 2019 года.
Бесплатный доступ
Введены некоторые аналоги известной концепции (d, L, m)-оракула Деволдера-Глинера-Нестерова для задач оптимизации. При этом выделены различные типы условий относительной гладкости, а также относительной сильной выпуклости оптимизируемой функции. Приведены примеры задач выпуклой и сильно выпуклой оптимизации, допускающих существование неточных моделей такого типа. В частности, это задачи сильно выпуклой композитной оптимизации, а также решение оптимизационной задачи, возникающей при рассмотрении модели электоральных процессов Ю. Е. Нестерова. Исследуются адаптивный и неадаптивный градиентный методы для задач оптимизации, допускающих неточные модели в рассматриваемом нами смысле. Обоснована линейная скорость сходимости этих методов и показано, что на итерациях не накапливаются погрешности. Приведены некоторые численные эксперименты по сравнению скорости сходимости адаптивного и неадаптивного методов. Предложен подход к проблеме накопления погрешностей для быстрого градиентного метода с помощью специальной техники его рестартов (перезапусков).
Градиентный спуск, быстрый градиентный спуск, рестарты, модель функции, композитная оптимизация
Короткий адрес: https://sciup.org/142223075
IDR: 142223075
Список литературы Градиентные методы для задач оптимизации, допускающие существование неточной сильно выпуклой модели целевой функции
- Devolder O., Glineur F., Nesterov Yu. First-order methods of smooth convex optimization with inexact oracle // Mathematical Programming. 2014. V. 146(1-2). P. 37-75.
- Тюрин А.И., Гасников А.В. Быстрый градиентный спуск для задач выпуклой минимизации с оракулом, выдающим (d, L)-модель функции в запрошенной точке // Журнал вычислительной математики и математической физики. 2019. Т. 59, № 7. С. 1137-1150.
- Lu H., Freund R.M., Nesterov Y. Relatively smooth convex optimization by Firstorder methods, and applications // SIAM Journal on Optimization. 2018. V. 28(1), P. 333-354.
- Gupta M.D., Huang T. Bregman distance to l1 regularized logistic regression // ICPR. 2008. Дост. по ссылке: https://arxiv.org/pdf/1004.3814.pdf.
- Гасников А.В., Камзолов Д.И., Мендель М.А. Основные конструкции над алгоритмами выпуклой оптимизации и их приложения к получению новых оценок для сильно выпуклых задач // Труды МФТИ. 2016. Т. 8, № 3. С. 25-42.
- Nesterov Yu. Soft clustering by convex electoral model // Core Discussion Paper. 2018. Дост. по ссылке: https://ideas.repec.org/p/cor/louvco/2018001.html.
- Devolder O., Glineur F., Nesterov Yu. First-order methods with inexact oracle: the strongly convex case // CORE Discussion Papers. 2013. Дост. по ссылке: https://dial.uclouvain.be/pr/boreal/object/boreal:128723.
- Nesterov Yu. Gradient methods for minimizing composite functions // Math. Program. 2013. V. 140, N 1. P. 125-161.
- Гасников А.В. Современные численные методы оптимизации. Метод универсального градиентного спуска. Москва: МФТИ, 2018.