Прогнозирование биржевых котировок Amazon Inc. с использованием Bilstm-Attention нейронной сети

Фондовый рынок стремительно растет и развивается, многие крупные компании стремятся выйти на IPO с целью привлечения дополнительных финансовых средств, а инвестиционные компании и частные инвесторы стремятся вложить деньги в компанию с целью получения прибыли в долгосрочном периоде. Необходимо отметить, что биржевая торговля несет не только возможность получить высокую прибыль, но и заключает в себе ряд рисков, связанных с потерей части или всей инвестированной суммы. В такой ситуации высокое значение приобретает качественный анализ и прогнозирование биржевых котировок как по компаниям, уже включенным в инвестиционный портфель, так и по компаниям, которые рассматриваются в качестве актива. Многие крупные российские и зарубежные компании представляют аналитические отчеты по фондовому рынку, которые разрабатывают команды аналитиков и трейдеров с использованием различных методов анализа рынка: технический анализ, фундаментальный анализ, предиктивная аналитика с использованием машинного обучения и различных архитектур нейронных сетей.

Популяризация технологий машинного обучения и появление разновидностей архитектур, применимых для анализа изображений, звука и временных рядов привело к повсеместному использованию этой технологии как в научной сфере, так и реальным бизнесом. Для прогнозирования биржевых котировок необходимо использовать нейронные сети, способные взаимодействовать с временными рядами, к таким базовым сетям относятся модели: линейная регрессия, дерево решений, случайный лес и XGBoost. Более продвинутыми и мощными решениями выступают искусственные нейронные сети (ANN), представляющие собой методы моделирования человеческого мышления. В свою очередь, с развитием нейронных сетей все большее внимание привлекает глубокое обучение. Разница между ANN и глубоким обучением заключается в том, что количество уровней сети различно. Глубокое обучение заключается в обучении большого количества слоев нейронных сетей. С развитием глубокого обучения появился ряд новых архитектур и методов, которые можно дорабатывать и совершенствовать в зависимости от задачи и формата входных данных. Новые архитектуры включают в себя нейронные сети: CNN, LSTM, ResNet и другие. Кроме того, существуют некоторые алгоритмы, такие как ограниченная машина Больцмана (RBM), многослойный персептрон (MLP) и автоэнкодер.

В рамках исследования используется двунаправленная LSTM нейронная сеть с дополнительным слоем внимания (BiLSTM-Attention). Long Short-Term

Memory – это тип рекуррентной нейронной сети, способной предсказывать последовательности значений с учетом исторических данных. LSTM используется не только для прогнозирования котировок, но и для машинного перевода, распознавания речи и других задач. К преимуществам использования LSTM следует отнести:

• 1)    сетями LSTM учитываются долгосрочные зависимости. Данный механизм реализован за счет ячеек памяти, способных долго хранить информацию;

• 2)    в традиционных рекуррентных нейронных сетях существует проблема исчезающего градиента. В LSTM данная проблема решается за счет механизма, который выборочно отбирает и вызывает необходимую информацию;

• 3)    LSTM модели улавливают и запоминают важный контекст, даже если существует значительный временной разрыв между соответствующими событиями в последовательности. Поэтому там, где важно понимание контекста, и используются разновидности LSTM нейронных сетей.

К отрицательным чертам LSTM следует отнести:

• 1)    в сравнении с более простыми архитектурами, LSTM сети являются более дорогостоящими в вычислительном отношении, что может ограничить их масштабируемость для больших наборов данных или сред с ограниченными вычислительными возможностями;

• 2)    обучение LSTM сетей может занимать больше времени в сравнении с более простыми моделями из-за вычислительной сложности;

• 3)    так как данные обрабатываются последовательно, трудно реализовать параллельную обработку отдельных участков данных с целью ускорения обучения модели.

К наиболее известным сферам применения LSTM относят:

• 1)    языковое моделирование – Long Short-Term Memory используются для задач обработки естественного языка, таких

как языковое моделирование, машинный перевод и обобщение текста;

• 2)    распознавание речи – LSTM используются для решения задач по распознаванию речи и ее преобразованию в текст. Сети можно обучить выявлять шаблоны в речи и сопоставлять их с соответствующим текстом;

• 3)    прогнозирование временных рядов – прогнозирование цен акций, криптовалют и иных финансовых инструментов. Сети могут изучать закономерности в данных временных рядов и использовать их для составления прогнозов относительно будущих событий;

• 4)    обнаружение аномалий – LSTM используются для обнаружения аномалий, таких как мошенничества и сетевые вторжения;

• 5)    рекомендательные системы – сети долгой краткосрочной памяти используются для рекомендации фильмов и иных услуг или товаров на основе закономерностей в поведении пользователей;

• 6)    видеоанализ – обнаружение объектов на видео, распознавание активностей и классификация действий.

Двунаправленная сеть долгой краткосрочной памяти (BiLSTM) является более сложной версией LSTM, которая учитывает как входные, так и выходные данные, что позволяет сети сохранять контекстную информацию в обоих направлениях. Слой внимания является дополнительным архитектурным слоем, который позволяет модели назначить разные веса факторам в зависимости от их важности.

В рамках исследования для сбора данных, построения и обучения нейронной сети используется высокоуровневый язык программирования python версии 3.9. Использование данного языка обусловлено его универсальностью и наличием большого количества открытых библиотек, необходимых как для сбора и обработки данных, так и для обучения нейронных сетей. Набор python библиотек, используемых в исследовании, отражен в таблице 1.

Таблица 1. Используемые в исследовании библиотеки языка python

Amazon Inc. – основанная в 1994 году компания, оказывающая услуги в сферах электронной коммерции и предоставлении облачных вычислительных мощностей. Компания начала торговаться на бирже в 1997 году и с тех пор значительно выросла и заняла ведущие мировые позиции в своей сфере. Данные о динамике котировок компании собирались на дневном таймф-рейме и содержат котировки за 6643 торговых дня. В качестве учебного датасета используется 95% исходного набора данных или 6311 торговых дней, а оставшаяся часть используется для тестирования модели. Пример собранных данных отражен в таблице 2.

Таблица 2. Пример датасета, используемого для обучения и тестирования BiLSTM-Attention модели

Модель обучается предсказывать одно будущее значение на основе анализа пятнадцати предыдущих значений. Так как для исследования используются дневные котировки, то в качестве спрогнозированного значения получается цена открытия следующего торгового дня. Такой прогноз может быть полезен трейдерам и торговым роботам в качестве ориентира будущего движения цены и, соответственно, сигнала к открытию или закрытию торговой позиции. Количество эпох при обучении модели составляет 170, а размер батча составляет 32. Сравнение спрогнозированных обученной моделью значений и фактических отражено на рисунке 1.

Рис. 1. Прогнозные и фактические значения котировок Amazon Inc.

Необходимо отметить, что уже при визуальном анализе графика с прогнозными и фактическими значениями видно, что модель показывает себя хорошо и прогнозные значения близки к фактическим. Данные значения можно использовать в торговой деятельности в качестве ориентира по будущему направлению движения котировки. Всего тестовый датасет содержит фактические и прогнозные значения за 332 торговых дня.

Для оценки модели используются показатели RMSE (Root Mean Squared Error) и MSE (Mean Squared Error). Среднеквадратичная ошибка (MSE) измеряет среднеквадратичную разницу между прогнозными значениями и фактическими. MSE всегда положителен и уменьшается по мере уменьшения количества ошибок при прогнозировании. Корень среднеквадратичной ошибки (RMSE) представляет собой оценку ошибки, которая вычисляется путем извлечения квадратного корня из MSE. Показатель отражает то, насколько прогнозные значения отдалены от фактических. Значение RMSE модели составляет 3,57, а MSE 12,76, что говорит о высокой точности модели, так как значения не сильно удалены от нуля даже с учетом того, что сравниваются значения за большой промежуток времени – 332 торговых дня.

Таким образом, отметим эффективность построенной в рамках исследования нейронной сети. Сеть может быть использована в качестве торгового советника, сигнализирующего о направлении движения котировок и их примерных будущих значениях. Необходимо также отметить, что при использовании описанной нейронной сети в коммерческих целях необходимо провести эксперименты с количеством предыдущих котировок, используемых при прогнозе, таймфреймами, количеством эпох и размерами батчей для определения наиболее эффективной модели со значениями RMSE и MSE, максимально приближенными к нулю. При обучении нейронной сети также необходимо обращать внимание на размер исходного набора данных. В случаях, когда компания только начала котироваться на бирже, данных будет недостаточно для обучения модели и тогда придется использовать иные методы прогнозирования, либо попробовать обучить модель на основе изменения котировок компаний из одной и той же отрасли.