Метод проверки стабильности моделей прогнозирования спроса на авиабилеты

Прогнозирование спроса на авиабилеты является одной из ключеввк задач в системах управления доходами и ценообразования авиакомпаний. В условиях вв1сокой конкуренции на рынке авиаперевозок качество прогнозирования становится критически важным аспектом, от которого напрямую зависит эффективноств распределения ресурсов и максимизация прибыли. Для достижения наилучшей точности прогноза в настоящее время все чаще применяются методы машинного и глубокого обучения. Благодаря способности находить сложные закономерности в исторических данных, подходы машинного обучения существенно превосходят классические статистические методы.

Однако, несмотря на успехи, модели машинного обучения могут быть чувствительны к изменениям во входных данных, таким как добавление новых направлений перелетов или изменение расписания. Это может привести к снижению точности прогнозов и, как следствие, к неэффективному управлению рейсами и финансовым издержкам для авиакомпании. Следовательно, современные модели прогнозирования пассажирского спроса, помимо оценки качества предсказания, также требуют разработки методов проверки стабильности предсказаний в зависимости от входных данных.

Современные исследования в данной области в большей степени направлены на повышение стабильности моделей прогнозирования спроса. В частности, в работах по робастному обучению [1,2] авторы применяют подходы распределительно-устойчивой оптимизации (DRO, Distributionally Robust Optimization) для минимизации наихудших потерь при сдвиге распределения и оценивают получаемую устойчивость через сравнение метрик ошибки до и после таких манипуляций. В исследованиях по ранней диагностике деградации [3,4] стабильность проверяется с помощью статистических расстояний StaDRe и StaDRo или гибридных ансамблей, когда после искусственного изменения входных данных вычисляется риск падения точности модели. Помимо этого, в прикладных решениях задач управления доходами [5,6] финансовые потери ограничиваются с помощью робастных правил контроля тарифов и специализированных метрик и оценивают стабильность по динамике этих метрик при варьировании иерархии тарифных классов.

Тем не менее, упомянутые подходы не позволяют в полной мере оценить стабильность модели прогнозирования спроса в период появления данных, которые не встречались в обучающей истории. Таким образом, данное исследование нацелено на разработку метода проверки стабильности моделей, выявляющего чувствительность моделей к внешним изменениям. Достижение цели исследования было обеспечено за счет разработки метода симуляции внешних изменений и оценки их влияния на исследуемую модель.

В основе предложенного метода лежит последовательное исключение групп значений признаков из обучающей выборки с последующей оценкой влияния этих исключений на качество прогноза по метрике WMAPE на фиксированном тестовом периоде данных. Для симуляции внешних изменений предлагается метод, основанный на последовательном исключении групп значений признаков из обучающей выборки. Исследуемые признаки включают направление вылета, день недели и час вылета, а также их комбинации. После каждого исключения модель обучается заново, и ее точность оценивается на тестовом периоде, в котором исключения не проводились.

Эксперименты проводились как для линейной регрессии, используемой в качестве базовой модели, так и для модели градиентного бустинга над решающими деревьями, обученных на исторических данных авиакомпании S7. Полученные результаты показывают, что при отсутствии исключений градиентный бустинг обеспечивает существенно меньшую ошибку WMAPE по сравнению с линейной регрессией, но при этом более чувствителен к исключению данных по географическому направлению вылета, что подчеркивает важность этого признака для прогнозирования спроса. Отмечено, что в некоторых случаях исключение некоторых временных признаков, таких как час вылета, приводило к улучшению точности модели градиентного бустинга, что может быть связано с изменениями в расписании рейсов в тестовом периоде данных.

Структура работы организована следующим образом: в разделе 2 представлены описание используемых данных и модели прогнозирования спроса; в разделе 3 изложен предложенный метод оценки стабильности; в разделе 4 приводится метод оценки результатов; раздел 5 посвящен обсуждению полученных результатов; в разделе б подведены итоги исследования и намечены перспективные направления для дальнейших исследований.

2.    Данные и модель прогнозирования

В данном исследовании использовались исторические данные о продажах авиабилетов компании S7 за 2024 год по 4 направлениям. Данные включают информацию о рейсах, ценообразовании и расписании. К первому относятся дата и время вылета, время в пути, координаты аэропортов, а ко второму доступные тарифы и цены.

В качестве целевой переменной прогнозирования спроса выступает неограниченный спрос — гипотетическое количество билетов, которое могло бы быть продано по заданной цене в некоторый период до вылета при отсутствии внешних ограничений (например, вместимости самолёта). Таким образом, объект выборки - неограниченный спрос на некоторый рейс по некоторой цене в некоторый период до вылета.

В табл. 1 продемонстрирован пример трех объектов выборки данных. Каждый объект имеет следующие характеристики:

• •    Направление рейса - пара «город отправления - город назначения», которая определяет географический маршрут полёта.

• •    Номер рейса - соответствует конкретному воздушному судну (обычно с фиксированной вместимостью), которое выполняет полёт по данному направлению в указанное время.

• •    Дата и время вылета - включает фактическую дату и время вылета рейса.

• •    Ценовой уровень - один из непересекающихся диапазонов стоимости пассажирского кресла за километр, формируемых исходя из плотности распределения фактических цен продаж. Использование ценовых уровней позволяет с большей гибкостью осуществлять прогнозирование спроса по сравнению с использованием традиционных тарифных классов бронирования.

• •    Период до вылета (DCP, data collected point) - объединение нескольких дней до вылета с одинаковой покупательской способностью (например, 0-2, 3-5, 6-8 дней до вылета). Данная группировка позволяет нивелировать колебания спроса по дням.

3.    Метод проверки стабильности

Таблица!

Пример объектов выборки данных

Направление	Рейс	Дата и время вылета	Ценовой уровень	Период до вылета	Неогр. спрос
ААА-ВВВ	218	2024-02-11 10:00	5	0	1
ААА-ВВВ	218	2024-02-11 10:00	5	1	6
ВВВ-ССС	504	2024-02-14 12:00	10	6	4

Для построения прогнозов в качестве базовой модели использовалась линейная регрессия, а в качестве более сложной модели — градиентный бустинг над решающими деревьями (CatBoost). В качестве признаков были использованы ценовой уровень и период до вылета, характеристики направления перелета и календарные признаки расписания на основе даты и времени вылета. Обучение обеих моделей производилось на периоде с сентября 2023 года по сентябрь 2024 года. Тестовый период был с октября по ноябрь 2024 года и оставался неизменным во всех экспериментах.

В данной работе предлагается метод оценки устойчивости модели к изменениям входных данных, основанный на имитации внешних изменений путем модификации обучающей выборки. Метод заключается в последовательном исключении из обучающей выборки объектов, обладающих определенными значениями признаков.

Метод проверки стабильности прогнозирования представим в виде следующего алгоритма:

• 1)    Выбирается один или несколько признаков для анализа (например, направление вылета, день недели вылета, час вылета).

• 2)    Выбирается уникальное значение признака или уникальная комбинация значений, если признаков несколько.

• 3)    Из обучающей выборки исключаются все объекты с соответствующим значением (комбинацией значений) признака.

• 4)    Модель прогнозирования обучается на модифицированной обучающей выборке.

• 5)    Обученная модель тестируется на данных тестового периода, в рамках чего рассчитывается метрика качества прогноза.

• 6)    Пункты 2-5 повторяются для комбинаций значений признаков (например, исключение объектов с определенным направлением и определенным днем недели).

• 7)    Результаты, полученные для каждого исключения комбинации значений, агрегируются для получения итоговой оценки стабильности по данной комбинации значений признаков.

4.    Оценка результатов

Представленная на рис. 1 схема иллюстрирует пример работы метода для оценки стабильности к изменениям в одном признаке, включающим четыре уникальных значения. Всего же для проведения экспериментов были выбраны признаки направления перелета, а также дня недели и часа вылета рейса. Выбранные признаки исследовались как самостоятельно, так и в комбинации друг с другом.

Исключение групп значений

Рис. 1. Схема проверки па стабильность

В качестве метрики качества предсказания модели выступает относительное отклонение суммарного прогноза спроса за весь рейс от суммарного фактического спроса в разрезе ценовых уровней. Далее, ошибки по всем рейсам и всем ценовым уровням усредняются. Формула оценки качества может быть представлена в следующем виде.

Пусть D — множество направлений, Р — множество выделенных ценовых уровней, S — множество моментов времени вылета, а Т — множество всех периодов до вылета (на тестовой выборке).

Для каждого направления d G D, ценового уровня р G Ри времени вылета s G S определим суммарный фактический и предсказанный (неограниченный) спрос:

Y_d p,_s = X^t ,    Y d,p,_s = ^^

tET tET

^гД^е y d,p,s, _t и y d,p,s, _t обозначают фактический и прогнозный неограниченный спрос на направление d, по ценовому уровню р, для вылета в момент s, в период до вылета t.

Введём вес W d, _p, равный доле продаж по ценовому уровню р внутри направления d на обучающей выборке:

W d,p =

V V w^{orp y} dp,s,t

^ E S train ^tET trai

E E E W‘,s,;

12 ^W dp = 1 , P E P

P’ e Ps e S train t e T train

где у^огр — фактический ограниченный спрос (число продаж).

Тогда взвешенная средняя абсолютная процентная ошибка (WMAPE) определяется как

WMAPE =

EEE -»d,P dEDpEP sES

- Yi ² d,p,s ² d,p,s

T dps

EEE ^p dEDpEPsES

x 100% .

Применение относительного отклонения делает возможным сравнение качества работы модели на разных ценовых уровнях, а также для разных рейсов с различной вместимостью. Данная метрика рассчитывается при тестировании модели после исключения каждого значения выбранного признака. Для получения общей оценки стабильности к значению этого признака все показатели метрик усредняются.

5.    Результаты и обсуждение

Анализ стабильности прогнозирования спроса проводился для обеих моделей — линейной регрессии и градиентного бустинга над решающими деревьями — по признакам направления перелета, дня недели и часа вылета рейса. Эксперименты выполнялись как по каждому признаку по отдельности, так и по их комбинациям. Гиперпараметры модели градиентного бустинга были предварительно подобраны на всех данных и не менялись по мере исключения групп объектов данных. В варианте без исключений на тестовом периоде данных модель линейной регрессии продемонстрировала ошибку 45,02% WMAPE, модель градиентного бустинга - 13,36% WMAPE. Далее, эти результаты рассматриваются как опорные для сравнения с экспериментами по исключениям.

На рисунках 2 и 3 продемонстрированы агрегированные результаты оценки качества с помощью метрики WMAPE для различных сценариев исключения значений признаков. На графике отражены среднее, минимальное и максимальное значения WMAPE, полученные при исключении каждого из значений соответствующего признака или их комбинаций.

ф

Направление

День недели

Час

Направление и День недели

Направление и Час

День недели и Час

Направление, День недели и Час

Рис. 2. Диаграмма агрегированных значений WMAPE для различных групп исключений значений признаков для линейной регрессии

Рис. 3. Диаграмма агрегированных значений WMAPE для различных групп исключений значений признаков для градиентного бустипга

На основе проведенного анализа можно сформулировать следующие выводы:

• •    Значения метрики WMAPE для линейной регрессии ожидаемо выше, чем для градиентного бустинга, что соответствует наличию существенных нелинейных зависимостей между признаками и целевой переменной: линейная модель аппроксимирует их хуже, чем модель на решающих деревьях.

• •    Предлагаемый метод анализа стабильности применим к градиентному бустингу и к

линейной регрессии, что позволяет сопоставлять чувствительность моделей к изменениям во входных данных.

• •    Для градиентного бустинга наибольшее негативное влияние на ошибку оказывает исключение данных о географическом направлении вылета. В этом случае среднее значение метрики WMAPE возрастает с 13,36% до 18,5%, а максимальная ошибка превышает 21%. Такой результат представляется ожидаемым, поскольку направление перелета является одним из наиболее значимых факторов, определяющих уровень спроса.

• •    Для линейной регрессии исключение направлений приводит к менее выраженному росту ошибки. При этом ошибка линейной модели во всех сценариях остается заметно выше, чем у градиентного бустинга, то есть варьирование или исключение отдельных групп значений признаков не позволяет приблизить ее качество к более сложной модели.

• •    Исключение данных по дню недели и часу вылета по отдельности также приводит к ухудшению точности обеих моделей, однако выраженность этого эффекта значительно ниже по сравнению с влиянием направления, особенно для градиентного бустинга.

• •    Среди комбинированных исключений для градиентного бустинга наиболее критичным является одновременное исключение значений направления перелета и дня недели вылета: средняя ошибка WMAPE равна 14,0%, максимальная - 15,6%. При этом во всех случаях, кроме одиночного исключения направления, исключение отдельных значений временных признаков иногда приводит к улучшению качества предсказания по сравнению с вариантом без исключений. Вероятной причиной данного явления может быть единичное изменение расписания для некоторых рейсов, вызванное переносом на несколько часов, то есть изменение распределения в обучающей и тестовой выборках. Исключение таких данных может способствовать уменьшению шума во время обучения, что привело к лучшей обобщающей способности модели.

6.    Заключение

Результаты исследования демонстрируют важность проведения анализа стабильности моделей прогнозирования спроса и показывают, что предложенный метод удобен для сопоставления поведения разных моделей. В рассматриваемых экспериментах градиентный бустинг оказывается существенно более чувствительным к географическому направлению рейса и при этом обеспечивает более низкую ошибку прогнозирования, тогда как линейная регрессия менее чувствительна к этому признаку и в целом демонстрирует худшее качество во всех сценариях исключений. Выявленная чувствительность модели к исключению данных по направлениям указывает на необходимость особого внимания при вводе новых маршрутов или изменении характеристик существующих. Возможность улучшения точности при исключении некоторых временных признаков может свидетельствовать о наличии нерелевантных или устаревших данных в обучающей выборке, что требует дальнейшего анализа и потенциальной корректировки процесса подготовки данных [6, 7].

Проведенное исследование в данной работе подтвердило актуальность задачи оценки устойчивости моделей машинного обучения для прогнозирования пассажирского спроса на авиабилеты в условиях изменяющихся входных данных. Для анализа устойчивости моделей прогнозирования был разработан метод симуляции внешних изменений, основанный на последовательном исключении групп значений признаков из обучающей выборки. Предложенный метод позволил выявить наиболее чувствительные к изменениям признаки данных и оценить влияние изменений на качество прогноза.

Предлагаемая методика анализа на стабильность может применяться к разным моделям и согласованно отражать поведение ошибок. В проведённых экспериментах она была использована для сравнения линейной регрессии и градиентного бустинга над решающими деревьями. Градиентный бустинг показал существенно более низкие значения WMAPE по сравнению с линейной регрессией, однако оказался более чувствителен к исключению данных, связанных с географическим направлением рейсов.

Полученные результаты с использованием модели градиентного бустинга над решающими деревьями, обученной на исторических данных авиакомпании S7 за 2024 год, продемонстрировали, что критически важным признаком для обеспечения высокого качества прогнозирования является географическое направления рейсов. При этом исключение некоторых значений часа вылета в отдельных случаях может даже повысить точность предсказания, вероятно, за счет удаления рейсов с переносами, которые вносят шум в обучение модели.

Предложенный метод может быть использован как этап оценки модели прогнозирования спроса, а порученные с его помощью результаты могут быть использованы для совершенствования прогнозирующей модели и системы управления доходами в целом. Потенциальным эффектом является повышение стабильности прогнозирования в условиях изменяющихся входных данных и минимизация финансовых рисков, связанных с внешними изменениями.

Дальнейшее развитие приведенного исследования видится в расширении набора анализируемых признаков, проведение экспериментов с моделями глубокого обучения для прогнозирования пассажирского спроса, а также разработка подходов по повышению стабильности предсказания спроса на основании полученного анализа восприимчивости к изменению входных данных.