Оптимизация структуры сверточной нейронной сети с помощью самоконфигурируемого эволюционного алгоритма в одной задаче идентификации

Автор: Федотов Д.В., Попов Е.А., Охорзин В.А.

Журнал: Сибирский аэрокосмический журнал @vestnik-sibsau

Рубрика: Математика, механика, информатика

Статья в выпуске: 4 т.16, 2015 года.

Бесплатный доступ

Развитие компьютерной техники открывает большие возможности для исследователей в области идентификации динамических систем, предлагая новые алгоритмы и возможности их комбинирования в сложные и мощные интеллектуальные информационные технологии. В последнее время особое внимание в области машинного обучения уделяется идентификации динамических объектов, в частности, распознаванию образов в системах компьютерного зрения. Задачи компьютерного зрения возникают в различных областях: промышленность, системы охраны и наблюдения, системы сбора и обработки информации, системы взаимодействия компьютера с человеком и т. д. При решении задач машинного обучения широко и успешно применяются нейронные сети - компьютерные модели, основанные на сети нервных клеток живого организма. Использование классических нейронных сетей создает серьезные сложности при решении задач компьютерного зрения, так как они требуют значительных вычислительных и/или временных ресурсов для обучения, а также теряют важную информацию о топологии исходных данных. Для подобных задач была разработана разновидность нейронных сетей, названная сверточной нейронной сетью, которая входит в подраздел машинного обучения - глубокое обучение (deep learning). Сверточная нейронная сеть используется в качестве центральной технологии в данной работе. Она позволяет строить сложные иерархии признаков и на их основе проводить идентификацию объектов. Использование слоев субдискретизации обеспечивает инвариантность к масштабу изображения, а концепция разделяемых весовых коэффициентов позволяет значительно сократить количество параметров обучения, уменьшая время работы и вычислительную нагрузку. Использование стандартного метода обучения нейронной сети - обратного распространения ошибки - обладает определенными недостатками, которые частично устраняются с помощью использования эволюционного алгоритма оптимизации. Кроме того, качество решения задачи с помощью сверточной нейронной сети существенно зависит от ее структуры, которая тоже может стать объектом настройки с помощью эволюционных алгоритмов. В работе использован самоконфигурируемый генетический алгоритм SelfCGA для настройки структуры и весовых коэффициентов сверточной нейронной сети. Тестирование полученной системы было проведено на задаче идентификации возраста человека по фотографии.

Еще

Сверточные нейронные сети, эволюционные алгоритмы, самоконфигурирование, компьютерное зрение, машинное обучение, идентификация

Короткий адрес: https://sciup.org/148177504

IDR: 148177504

Список литературы Оптимизация структуры сверточной нейронной сети с помощью самоконфигурируемого эволюционного алгоритма в одной задаче идентификации

  • Gradient-Based Learning Applied to Document Recognition/Y. LeCun //Proceedings of the IEEE. 1998. No. 86(11). P. 2278-2324.
  • Bottou L., LeCun Y., Bengio Y. Global training of document processing systems using graph transformer networks//Proceedings of Computer Vision and Pattern Recognition. Puerto-Rico, 1997. P. 490-494.
  • LeCun Y., Bottou L., Bengio Y. Reading checks with graph transformer networks//International Conference on Acoustics, Speech, and Signal Processing. 1997. Vol. 1. P. 151-154.
  • Comparison of learning algorithms for handwritten digit recognition/LeCun Y. //International Conference on Artificial Neural Networks. 1995. P. 53-60.
  • LeCun Y., Bengio Y. Convolutional Networks for Images, Speech, and Time-Series//The Handbook of Brain Theory and Neural Networks. MIT Press, 1995. P. 255-258.
  • Bengio Y., Goodfellow I. J., Courville A. Deep Learning Book in preparation for MIT Press. 2015. P. 173-190
  • Wright A. Genetic algorithms for real parameter optimization//Foundations of Genetic Algorithms. 1991. P. 205-218.
  • Eiben A. E., Smith J. E. Introduction to evolutionary computing. Berlin: Springer. 2003. 300 p.
  • Сергиенко А. Б. Генетический алгоритм. Стандарт. Версия 3.12. Сиб. гос. аэрокосмич. ун-т, 2015.p.
  • Semenkin E., Semenkina M. Self-configuring genetic algorithm with modified uniform crossover operator//Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. 7331 LNCS (PART 1). P. 414-421.
  • Gomez J. Self Adaptation of Operator Rates Evolutionary Algorithms//Genetic and Evolutionary Computation, GECCO, Lecture Notes in Computer Science. 2004. Vol. 3102. P. 1162-1173.
  • Semenkina M., Semenkin E. Hybrid Self-configuring Evolutionary Algorithm for Automated Design of Fuzzy Classifier//Advances in Swarm Intelligence. 2014. Part 1, LNCS 8794. P. 310-317.
  • Burakov S. V., Semenkin E. S. Solving variational and Cauchy problems with self-configuring genetic programming algorithms//International Journal of Innovative Computing and Applications. 2013. Vol. 5, Iss. 3. P. 152-162.
  • Semenkin E., Semenkina M. Classifier Ensembles Integration with Self-Configuring Genetic Programming Algorithm//Adaptive and Natural Computing Algorithms: Lecture Notes in Computer Science. 2013. Vol. 7824. P. 60-69.
  • Федотов Д. В., Семенкин Е. С. О прогнозировании экономических показателей с помощью нейроэволюционных моделей//Вестник СибГАУ. 2014. № 5 (57). P. 299-304.
  • Fedotov D.V. On financial time series prediction using neural network models and evolutionary algorithms//Materials of the Third International Workshop on Mathematical Models and its Applications (IWMMA-2014). 2014. P. 1-3.
  • Федотов Д. В. О применении сверточных нейронных сетей для решения задач распознавания образов//Проспект Свободный -2015: материалы науч. конф./Сиб. федер. ун-т. Красноярск, 2015. P. 56-57.
  • Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral sciences/Harvard University. Cambridge, MA, 1974. 906 p.
  • Gradient-Based Learning Applied to Document Recognition/Y. LeCun //Proceedings of the IEEE. 1998. No. 86(11). P. 2278-2324.
  • Bottou L., LeCun Y., Bengio Y. Global training of document processing systems using graph transformer networks//Proceedings of Computer Vision and Pattern Recognition. Puerto-Rico, 1997. P. 490-494.
  • LeCun Y., Bottou L., Bengio Y. Reading checks with graph transformer networks//International Conference on Acoustics, Speech, and Signal Processing. 1997. Vol. 1. P. 151-154.
  • Comparison of learning algorithms for handwritten digit recognition/LeCun Y. //International Conference on Artificial Neural Networks. 1995. P. 53-60.
  • LeCun Y., Bengio Y. Convolutional Networks for Images, Speech, and Time-Series//The Handbook of Brain Theory and Neural Networks. MIT Press, 1995. P. 255-258.
  • Bengio Y., Goodfellow I. J., Courville A. Deep Learning Book in preparation for MIT Press. 2015. P. 173-190
  • Wright A. Genetic algorithms for real parameter optimization//Foundations of Genetic Algorithms. 1991. P. 205-218.
  • Eiben A. E., Smith J. E. Introduction to evolutionary computing. Berlin: Springer. 2003. 300 p.
  • Сергиенко А. Б. Генетический алгоритм. Стандарт. Версия 3.12. Сиб. гос. аэрокосмич. ун-т, 2015.
  • Semenkin E., Semenkina M. Self-configuring genetic algorithm with modified uniform crossover operator//Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. 7331 LNCS (PART 1). P. 414-421.
  • Gomez J. Self Adaptation of Operator Rates Evolutionary Algorithms//Genetic and Evolutionary Computation, GECCO, Lecture Notes in Computer Science. 2004. Vol. 3102. P. 1162-1173.
  • Semenkina M., Semenkin E. Hybrid Self-configuring Evolutionary Algorithm for Automated Design of Fuzzy Classifier//Advances in Swarm Intelligence. 2014. Part 1, LNCS 8794. P. 310-317.
  • Burakov S. V., Semenkin E. S. Solving variational and Cauchy problems with self-configuring genetic programming algorithms//International Journal of Innovative Computing and Applications. 2013. Vol. 5, Iss. 3. P. 152-162.
  • Semenkin E., Semenkina M. Classifier Ensembles Integration with Self-Configuring Genetic Programming Algorithm//Adaptive and Natural Computing Algorithms: Lecture Notes in Computer Science. 2013. Vol. 7824. P. 60-69.
  • Федотов Д. В., Семенкин Е. С. О прогнозировании экономических показателей с помощью нейроэволюционных моделей//Вестник СибГАУ. 2014. № 5 (57). P. 299-304.
  • Fedotov D.V. On financial time series prediction using neural network models and evolutionary algorithms//Materials of the Third International Workshop on Mathematical Models and its Applications (IWMMA-2014). 2014. P. 1-3.
  • Федотов Д. В. О применении сверточных нейронных сетей для решения задач распознавания образов//Проспект Свободный -2015: материалы науч. конф./Сиб. федер. ун-т. Красноярск, 2015. P. 56-57.
  • Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral sciences/Harvard University. Cambridge, MA, 1974. 906 p.
  • LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 1998, No. 86(11), P. 2278-2324.
  • Bottou L., LeCun Y., Bengio Y. Global training of document processing systems using graph transformer networks. Proceedings of Computer Vision and Pattern Recognition, Puerto-Rico, 1997, P. 490-494.
  • LeCun Y., Bottou L., Bengio Y. Reading checks with graph transformer networks. International Conference on Acoustics, Speech, and Signal Processing, 1997, Vol. 1, P. 151-154.
  • LeCun Y., Jackel L. D., Bottou L et al. Comparison of learning algorithms for handwritten digit recognition. International Conference on Artificial Neural Networks, 1995, P. 53-60.
  • LeCun Y., Bengio Y. Convolutional Networks for Images, Speech, and Time-Series. The Handbook of Brain Theory and Neural Networks, MIT Press, 1995, P. 255-258.
  • Bengio Y., Goodfellow I. J., Courville A. Deep Learning Book in preparation. MIT Press, 2015, P. 173-190.
  • Wright A. Genetic algorithms for real parameter optimization. Foundations of Genetic Algorithms, 1991, P. 205-218.
  • Eiben A. E., Smith J. E. Introduction to evolutionary computing. Springer, Berlin, Germany 2003, 300 p.
  • Semenkin E., Semenkina M. Self-configuring genetic algorithm with modified uniform crossover operator. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. 7331 LNCS (PART 1).
  • Gomez J. Self Adaptation of Operator Rates Evolutionary Algorithms. Genetic and Evolutionary Computation, GECCO 2004, Lecture Notes in Computer Science, 2004, Vol. 3102, P. 1162-1173.
  • Semenkina M., Semenkin E. Hybrid Self-configuring Evolutionary Algorithm for Automated Design of Fuzzy Classifier. Advances in Swarm Intelligence ICSI, 2014, Part 1, LNCS 8794, P. 310-317.
  • Burakov S. V., Semenkin E. S. Solving variational and Cauchy problems with self-configuring genetic programming algorithms. International Journal of Innovative Computing and Applications, 2013, Vol. 5, Iss. 3,
  • Semenkin E., Semenkina M. Classifier Ensembles Integration with Self-Configuring Genetic Programming Algorithm. Adaptive and Natural Computing Algorithms. Lecture Notes in Computer Science, 2013, Vol. 7824,Р. 60-69
  • Fedotov D. V., Semenkin E. S. О ПРОГНОЗИРОВАНИИ ЭКОНОМИЧЕСКИХ ПОКАЗАТЕЛЕЙ С ПОМОЩЬЮ НЕЙРОЭВОЛЮЦИОННЫХ МОДЕЛЕЙ. Vestnik SibGAU, 2014, No. 5 (57), P. 299-304 (In Russ.).
  • Fedotov D. V. On financial time series prediction using neural network models and evolutionary algorithms. Materials of the Third International Workshop on Mathematical Models and its Applications (IWMMA-2014), 2014, P. 1-3.
  • Fedotov D. V. . Prospekt Svobodnyy-2015: materialy nauch. konf. , 2015, P. 56-57 (In Russ.).
  • Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral sciences. Harvard University, Cambridge, MA, 1974, 906 p.
  • Sergienko A. B. Geneticheskiy algoritm. Standart. Versiya 3.12, Krasnoyarsk, SibGAU
Еще
Статья научная