Оптимизация структуры сверточной нейронной сети с помощью самоконфигурируемого эволюционного алгоритма в одной задаче идентификации
Автор: Федотов Д.В., Попов Е.А., Охорзин В.А.
Журнал: Сибирский аэрокосмический журнал @vestnik-sibsau
Рубрика: Математика, механика, информатика
Статья в выпуске: 4 т.16, 2015 года.
Бесплатный доступ
Развитие компьютерной техники открывает большие возможности для исследователей в области идентификации динамических систем, предлагая новые алгоритмы и возможности их комбинирования в сложные и мощные интеллектуальные информационные технологии. В последнее время особое внимание в области машинного обучения уделяется идентификации динамических объектов, в частности, распознаванию образов в системах компьютерного зрения. Задачи компьютерного зрения возникают в различных областях: промышленность, системы охраны и наблюдения, системы сбора и обработки информации, системы взаимодействия компьютера с человеком и т. д. При решении задач машинного обучения широко и успешно применяются нейронные сети - компьютерные модели, основанные на сети нервных клеток живого организма. Использование классических нейронных сетей создает серьезные сложности при решении задач компьютерного зрения, так как они требуют значительных вычислительных и/или временных ресурсов для обучения, а также теряют важную информацию о топологии исходных данных. Для подобных задач была разработана разновидность нейронных сетей, названная сверточной нейронной сетью, которая входит в подраздел машинного обучения - глубокое обучение (deep learning). Сверточная нейронная сеть используется в качестве центральной технологии в данной работе. Она позволяет строить сложные иерархии признаков и на их основе проводить идентификацию объектов. Использование слоев субдискретизации обеспечивает инвариантность к масштабу изображения, а концепция разделяемых весовых коэффициентов позволяет значительно сократить количество параметров обучения, уменьшая время работы и вычислительную нагрузку. Использование стандартного метода обучения нейронной сети - обратного распространения ошибки - обладает определенными недостатками, которые частично устраняются с помощью использования эволюционного алгоритма оптимизации. Кроме того, качество решения задачи с помощью сверточной нейронной сети существенно зависит от ее структуры, которая тоже может стать объектом настройки с помощью эволюционных алгоритмов. В работе использован самоконфигурируемый генетический алгоритм SelfCGA для настройки структуры и весовых коэффициентов сверточной нейронной сети. Тестирование полученной системы было проведено на задаче идентификации возраста человека по фотографии.
Сверточные нейронные сети, эволюционные алгоритмы, самоконфигурирование, компьютерное зрение, машинное обучение, идентификация
Короткий адрес: https://sciup.org/148177504
IDR: 148177504
Список литературы Оптимизация структуры сверточной нейронной сети с помощью самоконфигурируемого эволюционного алгоритма в одной задаче идентификации
- Gradient-Based Learning Applied to Document Recognition/Y. LeCun //Proceedings of the IEEE. 1998. No. 86(11). P. 2278-2324.
- Bottou L., LeCun Y., Bengio Y. Global training of document processing systems using graph transformer networks//Proceedings of Computer Vision and Pattern Recognition. Puerto-Rico, 1997. P. 490-494.
- LeCun Y., Bottou L., Bengio Y. Reading checks with graph transformer networks//International Conference on Acoustics, Speech, and Signal Processing. 1997. Vol. 1. P. 151-154.
- Comparison of learning algorithms for handwritten digit recognition/LeCun Y. //International Conference on Artificial Neural Networks. 1995. P. 53-60.
- LeCun Y., Bengio Y. Convolutional Networks for Images, Speech, and Time-Series//The Handbook of Brain Theory and Neural Networks. MIT Press, 1995. P. 255-258.
- Bengio Y., Goodfellow I. J., Courville A. Deep Learning Book in preparation for MIT Press. 2015. P. 173-190
- Wright A. Genetic algorithms for real parameter optimization//Foundations of Genetic Algorithms. 1991. P. 205-218.
- Eiben A. E., Smith J. E. Introduction to evolutionary computing. Berlin: Springer. 2003. 300 p.
- Сергиенко А. Б. Генетический алгоритм. Стандарт. Версия 3.12. Сиб. гос. аэрокосмич. ун-т, 2015.p.
- Semenkin E., Semenkina M. Self-configuring genetic algorithm with modified uniform crossover operator//Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. 7331 LNCS (PART 1). P. 414-421.
- Gomez J. Self Adaptation of Operator Rates Evolutionary Algorithms//Genetic and Evolutionary Computation, GECCO, Lecture Notes in Computer Science. 2004. Vol. 3102. P. 1162-1173.
- Semenkina M., Semenkin E. Hybrid Self-configuring Evolutionary Algorithm for Automated Design of Fuzzy Classifier//Advances in Swarm Intelligence. 2014. Part 1, LNCS 8794. P. 310-317.
- Burakov S. V., Semenkin E. S. Solving variational and Cauchy problems with self-configuring genetic programming algorithms//International Journal of Innovative Computing and Applications. 2013. Vol. 5, Iss. 3. P. 152-162.
- Semenkin E., Semenkina M. Classifier Ensembles Integration with Self-Configuring Genetic Programming Algorithm//Adaptive and Natural Computing Algorithms: Lecture Notes in Computer Science. 2013. Vol. 7824. P. 60-69.
- Федотов Д. В., Семенкин Е. С. О прогнозировании экономических показателей с помощью нейроэволюционных моделей//Вестник СибГАУ. 2014. № 5 (57). P. 299-304.
- Fedotov D.V. On financial time series prediction using neural network models and evolutionary algorithms//Materials of the Third International Workshop on Mathematical Models and its Applications (IWMMA-2014). 2014. P. 1-3.
- Федотов Д. В. О применении сверточных нейронных сетей для решения задач распознавания образов//Проспект Свободный -2015: материалы науч. конф./Сиб. федер. ун-т. Красноярск, 2015. P. 56-57.
- Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral sciences/Harvard University. Cambridge, MA, 1974. 906 p.
- Gradient-Based Learning Applied to Document Recognition/Y. LeCun //Proceedings of the IEEE. 1998. No. 86(11). P. 2278-2324.
- Bottou L., LeCun Y., Bengio Y. Global training of document processing systems using graph transformer networks//Proceedings of Computer Vision and Pattern Recognition. Puerto-Rico, 1997. P. 490-494.
- LeCun Y., Bottou L., Bengio Y. Reading checks with graph transformer networks//International Conference on Acoustics, Speech, and Signal Processing. 1997. Vol. 1. P. 151-154.
- Comparison of learning algorithms for handwritten digit recognition/LeCun Y. //International Conference on Artificial Neural Networks. 1995. P. 53-60.
- LeCun Y., Bengio Y. Convolutional Networks for Images, Speech, and Time-Series//The Handbook of Brain Theory and Neural Networks. MIT Press, 1995. P. 255-258.
- Bengio Y., Goodfellow I. J., Courville A. Deep Learning Book in preparation for MIT Press. 2015. P. 173-190
- Wright A. Genetic algorithms for real parameter optimization//Foundations of Genetic Algorithms. 1991. P. 205-218.
- Eiben A. E., Smith J. E. Introduction to evolutionary computing. Berlin: Springer. 2003. 300 p.
- Сергиенко А. Б. Генетический алгоритм. Стандарт. Версия 3.12. Сиб. гос. аэрокосмич. ун-т, 2015.
- Semenkin E., Semenkina M. Self-configuring genetic algorithm with modified uniform crossover operator//Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. 7331 LNCS (PART 1). P. 414-421.
- Gomez J. Self Adaptation of Operator Rates Evolutionary Algorithms//Genetic and Evolutionary Computation, GECCO, Lecture Notes in Computer Science. 2004. Vol. 3102. P. 1162-1173.
- Semenkina M., Semenkin E. Hybrid Self-configuring Evolutionary Algorithm for Automated Design of Fuzzy Classifier//Advances in Swarm Intelligence. 2014. Part 1, LNCS 8794. P. 310-317.
- Burakov S. V., Semenkin E. S. Solving variational and Cauchy problems with self-configuring genetic programming algorithms//International Journal of Innovative Computing and Applications. 2013. Vol. 5, Iss. 3. P. 152-162.
- Semenkin E., Semenkina M. Classifier Ensembles Integration with Self-Configuring Genetic Programming Algorithm//Adaptive and Natural Computing Algorithms: Lecture Notes in Computer Science. 2013. Vol. 7824. P. 60-69.
- Федотов Д. В., Семенкин Е. С. О прогнозировании экономических показателей с помощью нейроэволюционных моделей//Вестник СибГАУ. 2014. № 5 (57). P. 299-304.
- Fedotov D.V. On financial time series prediction using neural network models and evolutionary algorithms//Materials of the Third International Workshop on Mathematical Models and its Applications (IWMMA-2014). 2014. P. 1-3.
- Федотов Д. В. О применении сверточных нейронных сетей для решения задач распознавания образов//Проспект Свободный -2015: материалы науч. конф./Сиб. федер. ун-т. Красноярск, 2015. P. 56-57.
- Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral sciences/Harvard University. Cambridge, MA, 1974. 906 p.
- LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 1998, No. 86(11), P. 2278-2324.
- Bottou L., LeCun Y., Bengio Y. Global training of document processing systems using graph transformer networks. Proceedings of Computer Vision and Pattern Recognition, Puerto-Rico, 1997, P. 490-494.
- LeCun Y., Bottou L., Bengio Y. Reading checks with graph transformer networks. International Conference on Acoustics, Speech, and Signal Processing, 1997, Vol. 1, P. 151-154.
- LeCun Y., Jackel L. D., Bottou L et al. Comparison of learning algorithms for handwritten digit recognition. International Conference on Artificial Neural Networks, 1995, P. 53-60.
- LeCun Y., Bengio Y. Convolutional Networks for Images, Speech, and Time-Series. The Handbook of Brain Theory and Neural Networks, MIT Press, 1995, P. 255-258.
- Bengio Y., Goodfellow I. J., Courville A. Deep Learning Book in preparation. MIT Press, 2015, P. 173-190.
- Wright A. Genetic algorithms for real parameter optimization. Foundations of Genetic Algorithms, 1991, P. 205-218.
- Eiben A. E., Smith J. E. Introduction to evolutionary computing. Springer, Berlin, Germany 2003, 300 p.
- Semenkin E., Semenkina M. Self-configuring genetic algorithm with modified uniform crossover operator. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. 7331 LNCS (PART 1).
- Gomez J. Self Adaptation of Operator Rates Evolutionary Algorithms. Genetic and Evolutionary Computation, GECCO 2004, Lecture Notes in Computer Science, 2004, Vol. 3102, P. 1162-1173.
- Semenkina M., Semenkin E. Hybrid Self-configuring Evolutionary Algorithm for Automated Design of Fuzzy Classifier. Advances in Swarm Intelligence ICSI, 2014, Part 1, LNCS 8794, P. 310-317.
- Burakov S. V., Semenkin E. S. Solving variational and Cauchy problems with self-configuring genetic programming algorithms. International Journal of Innovative Computing and Applications, 2013, Vol. 5, Iss. 3,
- Semenkin E., Semenkina M. Classifier Ensembles Integration with Self-Configuring Genetic Programming Algorithm. Adaptive and Natural Computing Algorithms. Lecture Notes in Computer Science, 2013, Vol. 7824,Р. 60-69
- Fedotov D. V., Semenkin E. S. О ПРОГНОЗИРОВАНИИ ЭКОНОМИЧЕСКИХ ПОКАЗАТЕЛЕЙ С ПОМОЩЬЮ НЕЙРОЭВОЛЮЦИОННЫХ МОДЕЛЕЙ. Vestnik SibGAU, 2014, No. 5 (57), P. 299-304 (In Russ.).
- Fedotov D. V. On financial time series prediction using neural network models and evolutionary algorithms. Materials of the Third International Workshop on Mathematical Models and its Applications (IWMMA-2014), 2014, P. 1-3.
- Fedotov D. V. . Prospekt Svobodnyy-2015: materialy nauch. konf. , 2015, P. 56-57 (In Russ.).
- Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral sciences. Harvard University, Cambridge, MA, 1974, 906 p.
- Sergienko A. B. Geneticheskiy algoritm. Standart. Versiya 3.12, Krasnoyarsk, SibGAU