Применение эволюционных алгоритмов для автоматического проектирования рекуррентных нейронных сетей в задачах регрессии

В ракетно-космической отрасли часто приходится сталкиваться со сложными задачами черного ящика, для решения которых можно использовать нейронные сети. Данный подход сталкивается с проблемой подбора оптимальной архитектуры нейронной сети. Если создать слишком большую сеть, потратив большое количество вычислительных ресурсов на ее обучение, то для получения результатов потребуется большое количество времени или более мощные процессоры, что не всегда целесообразно. Намного лучше спроектировать небольшую нейронную сеть, которая справится с задачей. Решением данной проблемы занимается направление neural evolution, где эволюционные алгоритмы автоматически проектируют структуру нейронной сети на основе естественного отбора. Одним из таких алгоритмов является алгоритм генетического программирования, который строит функции в виде дерева и преобразует их в нейронную сеть. Деревья содержат функциональные узлы с различными операторами. Однако в стандартном представлении для кодирования нейронной сети используются только два оператора, которые позволяют либо добавлять скрытые слои, либо увеличивать количество нейронов в слое. Эти операторы не поддерживают создание рекуррентных связей, которые могли бы увеличить разнообразие решений и повысить качество моделей. В данном исследовании предложен новый унарный функциональный оператор, создающий рекуррентные связи на основе анализа нейронов скрытого слоя. Эффективность предложенного подхода исследована на некоторых задач из Feynman Symbolic Regression Database и результаты сравнены с предыдущими версиями алгоритма. В результате проведенного исследования были получены следующие результаты: алгоритм в среднем решал задачи хуже, чем прошлые версии, однако в некоторых прогонах находил лучшие решения поставленной задачи. О низкой средней эффективности предложенного подхода создания рекуррентных связей было выдвинуто несколько гипотез, направленных на возможное улучшение алгоритма.