Градиентные методы для задач оптимизации, допускающие существование неточной сильно выпуклой модели целевой функции

Автор: Агафонов А.Д., Стонякин Ф.С.

Журнал: Труды Московского физико-технического института @trudy-mipt

Рубрика: Информатика и управление

Статья в выпуске: 3 (43) т.11, 2019 года.

Бесплатный доступ

Введены некоторые аналоги известной концепции (d, L, m)-оракула Деволдера-Глинера-Нестерова для задач оптимизации. При этом выделены различные типы условий относительной гладкости, а также относительной сильной выпуклости оптимизируемой функции. Приведены примеры задач выпуклой и сильно выпуклой оптимизации, допускающих существование неточных моделей такого типа. В частности, это задачи сильно выпуклой композитной оптимизации, а также решение оптимизационной задачи, возникающей при рассмотрении модели электоральных процессов Ю. Е. Нестерова. Исследуются адаптивный и неадаптивный градиентный методы для задач оптимизации, допускающих неточные модели в рассматриваемом нами смысле. Обоснована линейная скорость сходимости этих методов и показано, что на итерациях не накапливаются погрешности. Приведены некоторые численные эксперименты по сравнению скорости сходимости адаптивного и неадаптивного методов. Предложен подход к проблеме накопления погрешностей для быстрого градиентного метода с помощью специальной техники его рестартов (перезапусков).

Еще

Градиентный спуск, быстрый градиентный спуск, рестарты, модель функции, композитная оптимизация

Короткий адрес: https://sciup.org/142223075

IDR: 142223075

Список литературы Градиентные методы для задач оптимизации, допускающие существование неточной сильно выпуклой модели целевой функции

  • Devolder O., Glineur F., Nesterov Yu. First-order methods of smooth convex optimization with inexact oracle // Mathematical Programming. 2014. V. 146(1-2). P. 37-75.
  • Тюрин А.И., Гасников А.В. Быстрый градиентный спуск для задач выпуклой минимизации с оракулом, выдающим (d, L)-модель функции в запрошенной точке // Журнал вычислительной математики и математической физики. 2019. Т. 59, № 7. С. 1137-1150.
  • Lu H., Freund R.M., Nesterov Y. Relatively smooth convex optimization by Firstorder methods, and applications // SIAM Journal on Optimization. 2018. V. 28(1), P. 333-354.
  • Gupta M.D., Huang T. Bregman distance to l1 regularized logistic regression // ICPR. 2008. Дост. по ссылке: https://arxiv.org/pdf/1004.3814.pdf.
  • Гасников А.В., Камзолов Д.И., Мендель М.А. Основные конструкции над алгоритмами выпуклой оптимизации и их приложения к получению новых оценок для сильно выпуклых задач // Труды МФТИ. 2016. Т. 8, № 3. С. 25-42.
  • Nesterov Yu. Soft clustering by convex electoral model // Core Discussion Paper. 2018. Дост. по ссылке: https://ideas.repec.org/p/cor/louvco/2018001.html.
  • Devolder O., Glineur F., Nesterov Yu. First-order methods with inexact oracle: the strongly convex case // CORE Discussion Papers. 2013. Дост. по ссылке: https://dial.uclouvain.be/pr/boreal/object/boreal:128723.
  • Nesterov Yu. Gradient methods for minimizing composite functions // Math. Program. 2013. V. 140, N 1. P. 125-161.
  • Гасников А.В. Современные численные методы оптимизации. Метод универсального градиентного спуска. Москва: МФТИ, 2018.
Еще
Статья научная