Гибридный алгоритм обучения конволюционной нейронной сети

Автор: Иванов И.А., Сопов Е.А.

Журнал: Сибирский аэрокосмический журнал @vestnik-sibsau

Рубрика: Математика, механика, информатика

Статья в выпуске: 4 т.17, 2016 года.

Бесплатный доступ

Задачи распознавания шаблонов в изображениях на сегодняшний день решаются во многих областях - от анализа земной поверхности спутниками до анализа лица человека в системах человеко-машинного взаимодействия. Одним из самых успешных алгоритмов по анализу и распознаванию изображений является конволюционная нейронная сеть. Алгоритм обратного распространения ошибки, используемый при обучении таких сетей, является градиентным алгоритмом, а следовательно, зачастую сходится к локальному оптимуму. Предлагается гибридный алгоритм обучения конволюционной сети, нацеленный на поиск глобального оптимума и состоящий из двух этапов. На первом этапе ведется поиск подобласти глобального оптимума с помощью генетического алгоритма, а на втором этапе используется алгоритм обратного распространения ошибки для нахождения глобального оптимума. Генетический алгоритм обладает внутренней процедурой поддержания разнообразия популяции решений, что позволяет более полно исследовать пространство поиска и находить разные удачные конфигурации конволюционной сети. Найденное генетическим алгоритмом решение исполь- зуется на втором этапе в качестве начального приближения весов сети. Далее сеть обучается с помощью алгоритма обратного распространения ошибки. Разработанный гибридный алгоритм был протестирован на задаче распознавания эмоций, было проведено его сравнение с традиционным алгоритмом обратного распространения ошибки. Сравнение проводилось по точности классификации, а также по F-мере для задачи распознавания эмоций в двух постановках: классификация, зависимая от спикера, и классификация, независимая от спикера. Гибридный алгоритм показал лучшую эффективность по обоим критериям в обеих постановках задачи по сравнению со стандартным алгоритмом обучения конволюционной нейронной сети.

Еще

Конволюционная нейронная сеть, генетический алгоритм, алгоритм обратного распространения ошибки, человеко-машинное взаимодействие

Короткий адрес: https://sciup.org/148177648

IDR: 148177648

Список литературы Гибридный алгоритм обучения конволюционной нейронной сети

  • Comparison of learning algorithms for handwritten digit recognition/Y. LeCun //International Conference on Artificial Neural Networks. 1995. P. 53-60.
  • Семенкина М. Е., Семенкин Е. С., Попов Е. А. Исследование эффективности самоконфигурируемого генетического алгоритма выбора эффективного варианта системы управления космическими аппаратами//Программные продукты и системы. 2013. № 4. С. 208-213.
  • Иванов И. А., Сопов Е. А. Исследование эффективности самоконфигурируемого коэволюционного алгоритма решения сложных задач многокритериальной оптимизации//Системы управления и информационные технологии. 2013. Т. 51, № 1.1. С. 141-145.
  • Eiben A. E., Raue P-E., Ruttkay Z. Genetic algorithms with multi-parent recombination//Proceedings of the International Conference on Evolutionary Computation, The Third Conference on Parallel Problem Solving from Nature. 1994. P. 78-87.
  • Ting C-K. On the Mean Convergence Time of Multi-parent Genetic Algorithms Without Selection//Advances in Artificial Life. 2005. P. 403-412.
  • Akbari Z. A multilevel evolutionary algorithm for optimizing numerical functions//IJIEC. 2010. 2. P. 419-430.
  • Панфилов И. А., Базанова Е. П., Сопов Е. А. Исследование эффективности работы генетического алгоритма оптимизации с альтернативным представлением решений//Вестник CибГАУ. 2013. 4(50). С. 68-71.
  • Сопов Е. А., Семенкин Е. С. Исследование эффективности модифицированного вероятностного генетического алгоритма на десептивных функциях-«ловушках» //Системы управления и информационные технологии. 2011. № 3 (45). С. 90-95.
  • Ахмедова Ш. А., Семенкин Е. С. Кооперативный бионический алгоритм безусловной оптимизации//Программные продукты и системы. 2013. № 4 (104). С. 133-137.
  • Michalewicz Z. Genetic Algorithms + Data Structures = Evolution Programs. 3rd Ed. Springer-Verlag, 1996.
  • Flexible, high performance convolutional neural networks for image classification/D. C. Ciresan //Proceedings of the International Joint Conference on Artificial Intelligence. 2011. Vol. 22 (1). P. 1237-1242.
  • Haq S., Jackson P. J. B. Speaker-dependent audio-visual emotion recognition//Proceedings Int. Conf. on Auditory-Visual Speech Processing. 2009. P. 53-58.
  • Sidorov M., Ultes S., Schmitt A. Emotions are a personal thing: Toward speaker-adaptive emotion recognition//IEEE International Conference on Acoustics, Speech and Signal Processing. 2014. P. 4803-4807.
  • Speaker independent emotion recognition by early fusion of acoustic and linguistic features within ensembles/B. Schuller //Proc. INTERSPEECH. 2005. P. 805-808.
  • Brester C., Sidorov M., Semenkin E. Speech-based emotion recognition: Application of collective decision making concepts//Proceedings of the 2nd International Conference on Computer Science and Artificial Intelligence. 2014. P. 216-220.
Еще
Статья научная