Многокритериальный подход к проектированию ансамбля нейросетевых классификаторов с отбором информативных признаков для решения задачи распознавания эмоций
Автор: Иванов И.А., Сопов Е.А., Панфилов И.А.
Журнал: Сибирский аэрокосмический журнал @vestnik-sibsau
Рубрика: Математика, механика, информатика
Статья в выпуске: 4 т.16, 2015 года.
Бесплатный доступ
Снижение размерности признакового пространства и настройка алгоритмов обучения для решения практических задач являются важными проблемами машинного обучения. Предложен подход, основанный на многокритериальной оптимизации, для отбора информативных признаков и настройки параметров алгоритмов обучения. Эффективность предлагаемого многокритериального подхода сравнивается с однокритериальным подходом. В качестве тестовой практической задачи машинного обучения для сравнения двух упомянутых подходов выбрана задача распознавания эмоций по аудиовизуальной информации. В качестве базового алгоритма обучения выбрана нейронная сеть, параметры которой настраиваются автоматически с помощью генетического алгоритма. В результате применения многокритериального подхода к настройке параметров нейросети пользователь получает множество нейросетей с парето-оптимальными значениями параметров. Для того чтобы получить единственное выходное значение, полученные парето-оптимальные нейросети объединяются в коллектив. В работе протестировано несколько способов слияния выходов алгоритмов коллектива, таких как метод голосования, усреднение апостериорных вероятностей классов и метаклассификация. Согласно полученным результатам, подход к отбору признаков, основанный на многокритериальной оптимизации, обеспечил точность классификации эмоций в среднем на 2,8 % больше, чем однокритериальный подход. Многокритериальный подход на 5,4 % эффективнее, чем использование метода главных компонент, и на 13,9 % эффективнее, чем использование первоначального набора признаков для классификации без проведения предварительного снижения размерности. Многокритериальный подход применительно к оптимизации параметров нейросети обеспечил точность классификации в среднем на 7,1 % больше, чем однокритериальный подход. Полученные результаты доказывают, что многокритериальный подход, предложенный в данной статье, более эффективен при решении задачи распознавания эмоций, чем однокритериальный подход и стандартные методы отбора признаков и настройки параметров нейросетей.
Многокритериальная оптимизация, распознавание эмоций, слияние данных, слияние моделей, человеко-машинное взаимодействие, нейронная сеть
Короткий адрес: https://sciup.org/148177499
IDR: 148177499
Список литературы Многокритериальный подход к проектированию ансамбля нейросетевых классификаторов с отбором информативных признаков для решения задачи распознавания эмоций
- Zitzler E., Thiele L. Multiobjective evolutionary algorithms: a comparative case study and the strength Pareto approach//IEEE transactions on evolutionary computation. 1999. Р. 257-271.
- A fast and elitist multiobjective genetic algorithm: NSGA-II/K. Deb //IEEE Trans. on Evolutionary Computation. 2002. Vol. 6, No. 2. P. 182-197.
- Schaffer J. D. Multiple objective optimization with vector evaluated genetic algorithms//Proc. of the 1st Intern. Conf. on Genetic Algorithms. 1985. P. 93-100.
- Bergstra J., Bengio Y. Random search for hyper-parameter optimization//Journal of Machine Learning Research. 2012. 13. P. 281-305.
- Exploring strategies for training deep neural networks/H. Larochelle //Journal of Machine Learning Research. 2009. 1. P. 1-40.
- Opitz D. W., Shavlik J. W. Generating accurate and diverse members of a neural-network ensemble//Advances in neural information processing systems. 1996. P. 535-541.
- Smith C., Jin Y. Evolutionary multi-objective generation of recurrent neural network ensembles for time series prediction//Neurocomputing. 2014. Vol. 143. P. 302-311.
- Phuong T. M., Lin Z., Altman R. B. Choosing SNPs using feature selection//Proceedings IEEE Computational Systems Bioinformatics Conference. 2005. P. 301-309.
- Duval B., Hao J.-K., Hernandez Hernandez J. C. A memetic algorithm for gene selection and molecular classification of an cancer//In Proceedings of the 11th Annual conf. on Genetic and evolutionary computation, GECCO ’09. New York, 2009. P. 201-208.
- Rashid M., Abu-Bakar S. A. R., Mokji M. Human emotion recognition from videos using spatio-temporal and audio features//Vis Comput. 2013. 29. P. 1269-1275.
- Combining modality specific deep neural networks for emotion recognition in video/S. E. Kahou //Proceedings of the 15th ACM on Intern. Conf. on Multimodal Interaction. Sydney, 2013. P. 543-550.
- Cruz A., Bhanu B., Thakoor N. Facial emotion recognition in continuous video//Proceedings of the 21st Intern. Conf. on Pattern Recognition (ICPR 2012) (November 11-15, 2012, Tsukuba, Japan). P. 1880-1883.
- Soleymani M., Pantic M., Pun T. Multimodal emotion recognition in response to videos//IEEE Transactions on affective computing. 2012. Vol. 3, no. 2. P. 211-223.
- Analysis of emotion recognition using facial expressions/C. Busso //Proceedings of the 6th Intern. Conf. on Multimodal interfaces. 2004. P. 205-211.
- Иванов И. А., Сопов Е. А. Самоконфигурируемый генетический алгоритм решения задач поддержки многокритериального выбора//Вестник СибГАУ. 2013. № 1 (47). С. 30-35.
- Haq S., Jackson P. J. B. Speaker-dependent audio-visual emotion recognition//Proc. Int. Conf. on Auditory-Visual Speech Processing (AVSP'09), Norwich, UK, 2009, p.53-58.
- Eyben F., Wullmer M., Schuller B. OpenSMILE -the Munich versatile and fast open-source audio feature extractor//In Proceedings ACM Multimedia (MM), ACM. Florence, 2010. P. 1459-1462.
- Local Zernike moment representation for facial affect recognition/E. Sariyanidi //Proc. of British Machine Vision Conference. 2013. P. 1-13.
- Ojala T., Pietikäinen M., Harwood D. A comparative study of texture measures with classification based on feature distributions//Pattern Recognition. 1996. 29. P. 51-59.
- Zhao G., Pietikäinen M. Dynamic texture recognition using local binary patterns with an application to facial expressions//IEEE Trans. Pattern Analysis and Machine Intelligence. 2007. 29(6). P. 915-928.
- Zitzler E., Thiele L. Multiobjective evolutionary algorithms: a comparative case study and the strength Pareto approach. IEEE transactions on evolutionary computation, 1999, P. 257-271.
- Deb K., Pratap A., Agarwal S., Meyarivan T. A fast and elitist multiobjective genetic algorithm: NSGA-II. IEEE Trans. on Evolutionary Computation, Vol. 6, No. 2, April 2002, P. 182-197.
- Schaffer J. D. Multiple objective optimization with vector evaluated genetic algorithms. Proc. of the 1st International Conference on Genetic Algorithms, 1985,
- P. 93-100.
- Bergstra J., Bengio Y. Random search for hyper-parameter optimization. Journal of Machine Learning Research 13, 2012, P. 281-305.
- Larochelle H., Bengio Y., Louradour J, Lamblin P. Exploring strategies for training deep neural networks. Journal of Machine Learning Research 1, 2009, P. 1-40.
- Opitz D. W., Shavlik J. W. Generating accurate and diverse members of a neural-network ensemble. Advances in neural information processing systems, 1996, P. 535-541.
- Smith C., Jin Y. Evolutionary multi-objective generation of recurrent neural network ensembles for time series prediction. Neurocomputing, 2014, Vol. 143,
- P. 302-311.
- Phuong T. M., Lin Z., Altman R. B. Choosing SNPs using feature selection. Proceedings IEEE Computational Systems Bioinformatics Conference, 2005,
- P. 301-309.
- Duval B., Hao J.-K., Hernandez Hernandez J. C. A memetic algorithm for gene selection and molecular classification of an cancer. In Proceedings of the 11th Annual conference on Genetic and evolutionary computation, GECCO ’09, New York, NY, USA, 2009, P. 201-208.
- Rashid M., Abu-Bakar S. A. R., Mokji M. Human emotion recognition from videos using spatio-temporal and audio features. Vis Comput, 2013, Vol. 29, P. 1269-1275.
- Kahou S. E., Pal C., Bouthillier X., Froumenty P., Gulcehre C., Memisevic R., Vincent P., Courville A., Bengio Y. Combining modality specific deep neural
- networks for emotion recognition in video. Proceedings of the 15th ACM on International Conference on Multimodal Interaction, 2013, Sydney, Australia, P. 543-550.
- Cruz A., Bhanu B., Thakoor N. Facial emotion recognition in continuous video. In Proceedings of the 21st International Conference on Pattern Recognition (ICPR 2012), November 11-15, 2012, Tsukuba, Japan,
- P. 1880-1883.
- Soleymani M., Pantic M., Pun T. Multimodal emotion recognition in response to videos. IEEE Transactions on affective computing, Vol. 3, No. 2, April-June, 2012, P. 211-223.
- Busso C., Deng Z., Yildirim S., Bulut M., Lee C. M., Kazemzadeh A., Lee S., Neumann U., Narayanan S. Analysis of emotion recognition using facial expressions. Proceedings of the 6th international conference on Multimodal interfaces, 2004, P. 205-211.
- Ivanov I. A., Sopov E. A. . Vestnik SibGAU, 2013, No. 1 (47),
- P. 30-35 (In Russ.).
- Haq, S., Jackson, P. J. B. Speaker-dependent audio-visual emotion recognition. Proc. Int. Conf. on Auditory-Visual Speech Processing (AVSP'09), Norwich, UK, 2009, P.53-58.
- Eyben F., Wullmer M, Schuller B. OpenSMILE -the Munich versatile and fast open-source audio feature extractor. In Proceedings ACM Multimedia (MM), ACM, Florence, Italy, ISBN 978-1-60558-933-6, 25.-29.10. 2010, P. 1459-1462.
- Sariyanidi E., Gunes H., Gokmen M., Cavallaro A. Local Zernike moment representation for facial affect recognition. Proc. of British Machine Vision Conference, 2013, P. 1-13.
- Ojala T., Pietikäinen M., Harwood D. A comparative study of texture measures with classification based on feature distributions. Pattern Recognition 29, 1996,
- P. 51-59.
- Zhao G., Pietikäinen M. Dynamic texture recognition using local binary patterns with an application to facial expressions. IEEE Trans. Pattern Analysis and Machine Intelligence 29(6), 2007, P. 915-928.