Комбинирование подходов кластеризации и классификации для задачи распознавания эмоций по речи

Введение. Речевая аналитика - новое направление в области речевых технологий, ориентированное на автоматический анализ разговора с целью выявления степени удовлетворенности беседой. Эволюция компьютеров, с одной стороны, и требования рынка -с другой, неуклонно стимулируют развитие систем распознавания эмоций, а также иных систем голосового анализа, определяющих уровень стресса, депрессии, усталости и т. п.

На современном этапе развития информационных технологий разработка методов автоматического определения эмоционального состояния человека по голосу является актуальной задачей, позволяющей решить ряд экономических, социальных и бытовых проблем и, кроме того, играющей важную роль в вопросах безопасности [1].

Самыми значимыми сферами деятельности с повышенной ответственностью являются космические системы (космонавты, сотрудники ЦУП), авиация (летчики, диспетчеры аэропорта), обслуживание АЭС (персонал диспетчерской и оперативных служб) и др.

К примеру, работа летчика и космонавта связана с воздействием на организм целого ряда экстремальных факторов окружающей среды и условий полета и вызывает, как правило, значительное нервноэмоциональное напряжение. Огромный интерес представляет изучение эмоциональных реакций у космонавтов во время их профессиональной деятельности, связанной с новизной обстановки, элементами риска и неопределенности, со спецификой жизни и работы в тесном замкнутом помещении, с отсутствием ряда привычных и необходимых условий комфорта, с социальной изоляцией и отрывом от Земли.

Чем сложнее полет или его отдельные элементы, тем выше уровень эмоциональных реакций. При выполнении особенно сложных полетов, связанных с новизной обстановки или повышенной опасностью, эмоциональное напряжение может являться причиной снижения работоспособности и качества выполнения полетного задания.

Однако, несмотря на множество исследований и коммерческих предложений в данной области, проблема автоматического распознавания эмоционального состояния по речи на данный момент не является полностью решенной. Процесс интерпретации (распо знавания) эмоций человека по естественной речи является весьма сложной задачей как в области математической формализации, так и в плане поиска способов четкой конкретизации эмоционального состояния, т. е. однозначного детектирования эмоции по речевому сигналу.

В общем случае системы автоматического распознавания эмоций состоят из двух компонентов (рис. 1): первый осуществляет акустическую обработку входного речевого сигнала, выделяя из него набор признаков, а второй содержит классификатор, который на основе выделенных признаков распознает эмоциональное состояние человека. Исследователями разработано множество программных систем для анализа голосовых сигналов, позволяющих извлекать акустические характеристики (OpenSMILE, Praat и др.) [2; 3]. В общем случае распознавание эмоций может производиться на основе множества входных данных, например, видеосигналы, физиологические характеристики (пульс, электроэнцефалограмма и др.), жесты, мимика и др. Однако в данной работе рассматривается распознавание эмоций, основанное только на акустических характеристиках.

В настоящее время отсутствует универсальная математическая модель для описания речевых образцов в условиях проявления разных видов эмоций.

Задача распознавания эмоций - это задача классификации, которая решается, в частности, с помощью методов интеллектуального анализа данных при постановке эксперимента в виде обучения с учителем.

Наиболее популярными алгоритмами классификации являются следующие [4]: метод ближайших соседей, метод опорных векторов, скрытые марковские модели, модель смеси нормальных распределений, модели на основе нечеткой логики и байесовские классификаторы.

Однако невозможно знать заранее, какая из моделей окажется наиболее эффективной в конкретном случае. В работе [5] для повышения надежности процедуры распознавания были разработаны технологии принятия решений коллективом классификаторов. Коллективы классификаторов были сформированы с помощью трех алгоритмических схем, которые позволяют учитывать предсказания различных моделей для принятия окончательного решения.

Рис. 1. Этапы задачи распознавания эмоций

Разрабатываемый подход. Среди методов интеллектуального анализа данных особое место занимают классификация и кластеризация. Когда необходимо классифицировать большие объемы информации на пригодные для дальнейшей обработки группы, кластерный анализ может оказаться полезным и эффективным.

Чтобы воспользоваться всеми преимуществами обоих подходов рядом исследователей было разработано множество способов комбинирования классификаторов и алгоритмов кластеризации [6-9].

В работе [10] в качестве дополнительного шага к классификации текстов используется кластеризация, которая применяется не только на обучающей выборке, но и на тестовых данных. Кластеризация используется как метод сжатия или извлечения признаков или смысл, заложенный в текстовых документах. Такой подход позволяет изучать структуру всего набора данных. Использование этих знаний повышает эффективность работы классификатора.

В работе [11] показано, что комбинирование простых классификаторов с ансамблем кластеров может быть эффективнее, чем работа отдельного метода интеллектуального анализа данных. Данный подход применялся к задаче определения положительных и отрицательных эмоций, мнений и другого отношения к ситуации по твиттер-сообщениям [12].

В данной работе предлагается применить подход предварительной кластеризации объектов выборки к задаче распознавания эмоций (рис. 2). В процессе решения задачи идентификации эмоций предварительная кластеризация подразумевает разбиение аудиозаписей на группы (кластеры), в каждой из которых задачу классификации решает отдельный алгоритм.

Традиционные методы кластерного анализа работают с объектами, параметры которых заданы исключительно в четком виде, что затрудняет их практическое использование при работе с объектами нечеткой природы. В настоящее время для кластеризации подобных объектов активно развиваются методы, основанные на нечеткой логике. Данные методы формируют кластеры, границы которых размыты, а объект может одновременно относиться к нескольким из них с различными степенями принадлежности.

В данной работе для кластеризации применяются 2 алгоритма: алгоритм k-средних (k-means) и алгоритм нечеткой кластеризации (fuzzy c-means). Для задачи классификации применяется несколько методов интеллектуального анализа данных: искусственные нейронные сети (ANN), метод опорных векторов (SMO), линейная регрессия (LR), а также алгоритм k-ближайших соседей (k-NN).

Использование всего набора численных признаков в процессе распознавания может существенно замедлить работу алгоритма и снизить точность получаемого решения. Поэтому важным для снижения размерности в процессе решения задачи идентификации эмоций является извлечение наиболее информативных признаков, используемых алгоритмами распознавания. Для того, чтобы выбрать наиболее подходящие характеристики, могут быть использованы статистические методы, такие как факторный анализ, а также более сложные, к примеру, основанные на генетических алгоритмах (GA).

В работах [13; 14] рассматривается процедура извлечения информативных признаков, основанная на адаптивном многокритериальном генетическом алгоритме, исследуется ее эффективность в сочетании с различными классификационными моделями.

В данной работе для отбора информативных признаков используется метод главных компонент (PCA).

Решение задачи распознавания эмоций по акустическим характеристикам. Для исследования работоспособности и качества предложенной схемы была использована база данных Emo-DB [15], содержащая более 500 эмоциональных записей говорящего. База данных включает в себя звуковые файлы с эмоциональными высказываниями 10 актеров на немецком языке. Каждое высказывание имеет свою эмоциональную метку: счастье, нейтральность, гнев, печаль, страх, скука, отвращение.

Каждый звуковой файл описывается 384 числовыми признаками, представляющими собой статистическое описание таких параметров звуковой волны, как кепстральные коэффициенты, форманты, интенсивности и др. В базе Emo-DB имена классов дискретны и изменяются от 0 до 6. Тестирование проводилось как с исходным количеством классов (7), так и с тремя классами. Три класса были сформированы путем разбиения эмоций на положительные, отрицательные и нейтральные (1-й класс - счастье; 2-й класс - нейтральность, скука; 3-й класс - гнев, печаль, отвращение, тревожность).

Рис. 2. Схема разработанного подхода к задаче классификации

Для анализа эффективности применения предварительной кластеризации была проведена оценка точности классификации на полном наборе признаков. Критерием качества работы классификатора является среднее значение точности, полученное на множестве прогонов (50), представленных на рис. 3-6 (статистически значимое различие эффективности алгоритмов, определяется на основе t -критерия Стьюдента, обозначение на рисунке «*»). В алгоритмах кластеризации параметр k меняется от 2 до 5.

По результатам, представленным на рис. 3, алгоритмы ANN, SMO, SL и k -NN ( k = 7) дали значимое ухудшение среднего значения точности при применении предварительной кластеризации. Алгоритмы k -NN ( k = 2, k = 4) показали меньшую эффективность, но статистически незначимую.

По результатам, представленным на рис. 4, только алгоритм k-NN при k = 2 показал улучшение по среднему значению точности, но улучшение статистиче ски незначимо. Алгоритм k-NN при k =4 показал ухудшение с применением предварительной кластеризации, но ухудшение статистически незначимо. Оставшиеся классификаторы не показали улучшений при применении предварительной кластеризации.

При сравнении двух методов кластеризации для исходного набора данных, содержащего семь классов, со всеми средними значениями точности, алгоритмы ANN, SMO, SL показывают значительно лучший результат, чем алгоритм k -NN.

По результатам, представленным на рис. 5, применение предварительной кластеризации для алгоритмов SMO и k -NN ( k = 4) позволяет добиться лучшего результата по среднему значению точности, но различия не являются статистически значимыми. Для алгоритмов ANN, SL, k -NN ( k = 2, k = 7) по среднему значению точности результат ухудшился, но различия являются статистически значимыми только для алгоритма SL.

• □ с кластеризацией

  
  
  

К-NN (К=2) К-NN (К=4) К-NN (К=7)*

• □    без кластеризации

  Рис. 3. Наилучшее среднее значение точности для каждого алгоритма классификации при k от 2 до 5, полученное с помощью алгоритма кластеризации k -means (7 классов)