Анализ состояния члена экипажа воздушного судна по его речи на базе гауссовых моделей смесей
Автор: Андриянов Н.А., Дементьев В.Е.
Журнал: Известия Самарского научного центра Российской академии наук @izvestiya-ssc
Рубрика: Информатика, вычислительная техника и управление
Статья в выпуске: 1 т.23, 2021 года.
Бесплатный доступ
Работа посвящена исследованию эффективности применения моделей гауссовых смесей для распознавания аномальных отклонений в речи диктора. Предложено практическое применение разрабатываемых алгоритмов для выявления эмоционального состояния члена экипажа по произнесенной им фразе. В качестве основного критерия для различения с помощью модели гауссовых смесей используются спектральные характеристики речевого сигнала. В связи с достаточно небольшим шагом дискретизации по частоте и соответственно с наличием 255 частотных составляющих в спектре сигнала предложено сжатие спектра до 10 составляющих. Такой подход позволил сократить число ключевых параметров в гауссовой модели до 10, что, в свою, очередь, позволило упростить процесс анализа при построении многомерных распределений. Для оценки качества предлагаемого алгоритма были записаны тестовые фразы. При этом имитировались различные психологические состояния диктора. Использовались как простые нерегламентированные речевые конструкции, так и сообщения, регулируемые в порядке Федеральных авиационных правил при проведении радиообмена в гражданской авиации на территории Российской Федерации. С учетом ограничений на предварительные знания модели и кластеризации по спектральным характеристикам все записи модели были выполнены одним диктором. Были рассмотрены три класса эмоционального состояния диктора. На выходе система распознавания ставила такие метки, как спокойное состояние, усталое состояние, стрессовое состояние. Различные состояния искусственно имитировались в процессе подготовки данных. На тестовой выборке из 48 сообщений гауссова модель из 3 компонент и 10 параметров без предварительного обучения сразу позволила достичь результата порядка 65%, в то время как вероятность распознать верный класс при 3-х равных классах априори составляет 33%. В качестве дальнейших исследований предложено применение предварительного обучения с использованием нейронных сетей или корреляционных алгоритмов. Такой подход позволит выполнять дальнейшую кластеризацию на более глубоком уровне, когда, например, определяется пол диктора, определяется типовое сообщение радиообмена, а затем уже выявляется эмоциональное состояние диктора.
Спектральный анализ, распознавание эмоционального состояния речи, интеллектуальный анализ данных, обеспечение безопасности полетов, гауссова модель смесей
Короткий адрес: https://sciup.org/148312708
IDR: 148312708 | DOI: 10.37313/1990-5378-2021-23-1-97-102
Список литературы Анализ состояния члена экипажа воздушного судна по его речи на базе гауссовых моделей смесей
- Авиакатастрофы и человеческий фактор. Инфографика. Электронный ресурс. Режим доступа: https://jets.ru/business-aviation/aviakatastrofy_i_chelovecheskiy_faktor_infografika_ (дата обращения: 29.11.2020).
- Stephens Ch., Harrivel A., Prinzel L., Comstock R., Abraham N., Pope A., Wilkerson J., Kiggins D. Crew State Monitoring and Line-Oriented Flight Training for Attention Management // International Symposium on Aviation Psychology, 2017, p. 1-6
- Harrivel, A. R., Stephens, C. L., Milletich, R. L., Heinich, C. M., Last, M. C., Napoli, N. J., Pope, A. T. (2017). Prediction of Cognitive States during Flight Simulation using Multimodal Psychophysiological Sensing. Paper presented at the American Institute of Aeronautics and Astronautics, SciTech, Grapevine, Texas.
- Электронный ресурс. Commercial Aviation Safety Team. (2014a). Airplane State Awareness Joint Safety Analysis Team Interim Report. Режим доступа: http://www.skybrary.aero/index.php/Commercial_Aviation_Safety_Team_%28CAST%29_Reports (дата обращения: 29.11.2020).
- Электронный ресурс. Режим доступа: https://www.sowa.pro/ (дата обращения: 29.11.2020).
- Гладких А.А., Андриянов Н.А., Волков А.К. Сравнительный анализ результатов трансфера обучения нейросетей при решении задачи распознавания объектов на рентгеновских снимках багажа // Современные проблемы проектирования, производства и эксплуатации радиотехнических систем. Сборник научных трудов. Ульяновск, 2020. С. 107-110.
- Andriyanov N.A., Volkov Al.K., Volkov An.K., Gladkikh A.A., Danilov S.D. Automatic X-ray image analysis for aviation security with limited computing resources // IOP Conference Series: Materials Science and Engineering. Krasnoyarsk Science and Technology City Hall of the Russian Union of Scientific and Engineering Associations. 2020. С. 52009.
- Андриянов Н.А., Исаев М.В. Спектральный анализ сообщений экипажа воздушного судна, сделанных в различных условиях // Современные проблемы проектирования, производства и эксплуатации радиотехнических систем. Сборник научных трудов. 2019. С. 118-123.
- Андриянов Н.А., Дементьев В.Е. Обзор применения гауссовых моделей в статистической обработке данных // Современные проблемы проектирования, производства и эксплуатации радиотехнических систем. Сборник научных трудов. Ульяновск, 2020. С. 91-96.
- Рахманенко И.А. Алгоритмы и программные средства верификации диктора по произвольной фразе: Диссертация на соискание ученой степени кандидата технических наук, Томск, ТУСУР, 2017. - 111 с.