Градиентные методы для задач оптимизации, допускающие существование неточной сильно выпуклой модели целевой функции
Автор: Агафонов А.Д., Стонякин Ф.С.
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Информатика и управление
Статья в выпуске: 3 (43) т.11, 2019 года.
Бесплатный доступ
Введены некоторые аналоги известной концепции (d, L, m)-оракула Деволдера-Глинера-Нестерова для задач оптимизации. При этом выделены различные типы условий относительной гладкости, а также относительной сильной выпуклости оптимизируемой функции. Приведены примеры задач выпуклой и сильно выпуклой оптимизации, допускающих существование неточных моделей такого типа. В частности, это задачи сильно выпуклой композитной оптимизации, а также решение оптимизационной задачи, возникающей при рассмотрении модели электоральных процессов Ю. Е. Нестерова. Исследуются адаптивный и неадаптивный градиентный методы для задач оптимизации, допускающих неточные модели в рассматриваемом нами смысле. Обоснована линейная скорость сходимости этих методов и показано, что на итерациях не накапливаются погрешности. Приведены некоторые численные эксперименты по сравнению скорости сходимости адаптивного и неадаптивного методов. Предложен подход к проблеме накопления погрешностей для быстрого градиентного метода с помощью специальной техники его рестартов (перезапусков).
Градиентный спуск, быстрый градиентный спуск, рестарты, модель функции, композитная оптимизация
Короткий адрес: https://sciup.org/142223075
IDR: 142223075 | УДК: 519.85
Gradient methods for optimization problems that allow for the existence of an inexact strongly convex model of the objective function
In this paper, some analogs of the Devolder-Glineu-Nesterov (d, L, m)-oracle are introduced for optimization problems.At the same time, various types of conditions of relative smoothness and relative strong convexity of the objective function are highlighted. Examples of convex and strongly convex optimization problems admitting the existence of inexact models of this type, are given. In particular, these are problems of strongly convex composite optimization and the solution of optimization problem arising in the Y. Nesterov’s electoral model. The adaptive and nonadaptive gradient methods for optimization problems that allow for the inexact model are studied. The linear rate of convergence of these methods is justified and it is shown that there is no error accumulation on iterations. Some numerical experiments comparing the rate of convergence of adaptive and nonadaptive methods are presented. An approach to the problem of the accumulation of errors for the fast gradient method is proposed using a special technique of its restarts.
Список литературы Градиентные методы для задач оптимизации, допускающие существование неточной сильно выпуклой модели целевой функции
- Devolder O., Glineur F., Nesterov Yu. First-order methods of smooth convex optimization with inexact oracle // Mathematical Programming. 2014. V. 146(1-2). P. 37-75.
- Тюрин А.И., Гасников А.В. Быстрый градиентный спуск для задач выпуклой минимизации с оракулом, выдающим (d, L)-модель функции в запрошенной точке // Журнал вычислительной математики и математической физики. 2019. Т. 59, № 7. С. 1137-1150.
- Lu H., Freund R.M., Nesterov Y. Relatively smooth convex optimization by Firstorder methods, and applications // SIAM Journal on Optimization. 2018. V. 28(1), P. 333-354.
- Gupta M.D., Huang T. Bregman distance to l1 regularized logistic regression // ICPR. 2008. Дост. по ссылке: https://arxiv.org/pdf/1004.3814.pdf.
- Гасников А.В., Камзолов Д.И., Мендель М.А. Основные конструкции над алгоритмами выпуклой оптимизации и их приложения к получению новых оценок для сильно выпуклых задач // Труды МФТИ. 2016. Т. 8, № 3. С. 25-42.
- Nesterov Yu. Soft clustering by convex electoral model // Core Discussion Paper. 2018. Дост. по ссылке: https://ideas.repec.org/p/cor/louvco/2018001.html.
- Devolder O., Glineur F., Nesterov Yu. First-order methods with inexact oracle: the strongly convex case // CORE Discussion Papers. 2013. Дост. по ссылке: https://dial.uclouvain.be/pr/boreal/object/boreal:128723.
- Nesterov Yu. Gradient methods for minimizing composite functions // Math. Program. 2013. V. 140, N 1. P. 125-161.
- Гасников А.В. Современные численные методы оптимизации. Метод универсального градиентного спуска. Москва: МФТИ, 2018.