Модель регрессионного анализа тональности текста для оценки уровня удовлетворенности клиента

Анализ тональности текста (сентимент-анализ) представляет собой сегодня одну из ключевых задач в области обработки естественного языка. Решение задачи предполагает автоматизированное выявление оценочности в текстах, эмоциональной окраски текста, что позволяет классифицировать тексты как выражающие положительную или отрицательную оценку описываемого объекта (продукта, услуги, социальной ситуации и прочего) или не содержащие оценочности (нейтральные). В условиях стремительного увеличения объемов текстовой информации, возникающей в результате повседневного общения, социальных сетей и онлайн-отзывов, анализ тональности становится незаменимым инструментом в маркетинге и рекламе для мониторинга мнений о продуктах и услугах компании с целью своевременного реагирования на негативные отзывы и адаптации маркетинговых стратегий [14], в сфере обслуживания клиентов для персонализации взаимодействия с клиентами [8], в политических исследованиях для выявления предпочтений избирателей и предсказания результатов выборов [23], в социологии и психологии для мониторинга общественного мнения, настроений и эмоционального состояния населения [10, 22], в финансовой сфере, где сенти-мент-анализ применяется для анализа настроений инвесторов и иных лиц, вовлеченных в биржевые операции, что впоследствии является основой для прогнозирования изменений на фондовом рынке [6], и в других сферах.

Подходы к моделированию анализа тональности сегодня включают:

• 1)    подход на основе лексиконов: такой подход основан на нахождении в корпусе тональных лексических единиц, зафиксированных в словаре тональной лексики. В качестве такого словаря могут использоваться существующие лексиконы и тезаурусы (например, SentiWordNet [4]), RuSentiLex [13], а также составляться специальные предметно-ориентированные лексиконы на основе корпусов текстов [9, 20];

• 2)    подход на основе машинного обучения: в рамках реализации этого подхода обучаются модели на текстовых данных для автоматического определения сентимента. В исследованиях предпринимаются попытки построения моделей анализа то-

• нальности как с использованием классических алгоритмов машинного обучения (k-ближайших соседей, наивный байесовский классификатор, машины опорных векторов [11, 18, 19, 21] и другие алгоритмы – см. обзор в [2]), а также моделей глубокого обучения на основе нейросетей, включая CNN, LSTM, BiLSTM [7; 17], и предобученных больших языковых моделей [5, 12, 16];

• 3)    гибридный подход: эти методы сочетают подходы на основе лексиконов и машинного обучения [15, 24].

В данной работе мы предлагаем метод предсказания по тексту степени удовлетворенности клиента на основе гибридного подхода к анализу тональности текста. Метод включает построение модели линейной регрессии на основе корпуса текстов отзывов на медицинские учреждения, при этом в качестве независимых объясняющих переменных используются данные о присутствии в тексте оценочной лексики, найденной с помощью поиска по предметно-ориентированному тональному словарю.

Материал и методы

Материалом исследования послужил корпус русскоязычных отзывов, собранный с портала 2GIS и включающий отзывы о частных клиниках города Челябинска, оставленные на портале в период от начала функционирования платформы до 15 февраля 2023 года. В дополнение к текстам отзывов корпус содержит метаданные текстов, включая уникальный идентификатор текста, название медицинского центра, источник публикации, пользовательский рейтинг – оценку, выставленную клинике автором отзыва по шкале от одного до пяти.

Случайная выборка из собранного корпуса, включающая 1587 текстов объемом 100 тыс. словоупотреблений, была на предыдущих этапах исследования размечена лингвистами НОЦ «Лингвоинновационные технологии» ЮУрГУ с применением платформы концептуального аннотирования [3]. Базу знаний для аннотирования составил предметно-ориентированный словарь, включающий 1) тональную одно- и многокомпонентную лексику (оценочные предикаты), 2) слова-модификаторы оценочных предикатов, 3) лексические единицы, репрезентирующие аспекты оценки медицинского центра (например, Качество обслуживания, Персонал, Запись на прием и т. п.), 4) единицы, при- надлежащие другим концептуальным классам, которые характеризуют предметную область, но не подвергаются оценке со стороны клиентов (например, Пациент, Метод лечения и т. п.). Некоторые концептуальные классы и соответствующие им примеры лексических единиц базы знаний, используемой для аннотирования корпуса, приведены в таблице.

При разметке платформа заключает единицу, найденную в словаре, в фигурные скобки и через знак «тильда» указывает метки концептуальных классов, обозначенные для единицы в словаре. Таким образом, размеченные с помощью платформы тексты корпуса имеют вид:

{Были}~UNK {на}~O {приеме}~D {у}~O {ло-ра}~DR {Шафикова}~UNK {АЗ}~UNK – {назначе-но}~UNK {адекватное лечение}~Q~POS, {промы-вание}~D {дало результат}~Q~POS – {уже}~UNK {на следующий день}~T {ребенок}~P {начала дышать носом}~Q~POS, {после}~UNK {повторного промывания}~D – {надеюсь}~UNK {болезнь}~D {отошла}~UNK {от}~O {моей}~UNK {девочки}~P {надолго}~O. {Благодарна}~POS {клинике}~C – {время посещения}~T {подобрали}~UNK {быст-ро}~POS , где метка O указывает на общую, неспецифичную для предметной области лексику, имеющуюся в словаре, метка UNK обозначает, что лексическая единица не представлена в словаре, значение остальных меток можно увидеть в табл. 1.

В данной работе мы далее рассматривали только разметку тонального типа. Схема разметки оценочной лексики включала четыре тональные метки: POSX – сильно положительная оценка, POS – умеренно положительная оценка, NEG – умеренно отрицательная оценка, NEGX – сильно отрицательная оценка. Метками POS и NEG помечались лексические единицы, манифестирующие, как правило, рациональную, не маркированную эмоционально оценку. Например,

Обслужили { без очередей }~POS , { быст-ро }~POS , { качественно }~POS , { современ-но }~POS .

{ Неделю ждала }~NEG результата. Помощи я { так и не получила }~NEG.

Метки POSX, NEGX использовались для обозначения: а) (преувеличенно) эмоциональных оценочных лексических единиц, б) оценочных предикатов (как правило, выраженных прилагательным), обозначающих максимальную интенсивность / степень выраженности признака, в) многокомпонентных лексических единиц, содержащих модификаторы-усилители. Например,

{ Ужасно }~NEGX ! Обслуживание { отвра-тительное }~NEGX ! (эмотивная лексика)

{ Отличная }~POSX клиника и { класс-ный }~POSX стационар (максимальная интенсивность признака)

Выражаю { огромную благодарность }~POSX доктору <имя>, я ему { очень признательна }~POSX (модификатор-усилитель)

Результатом аннотирования стал «золотой» корпус, где концептуальная неоднозначность была разрешена вручную [20]. В частности, ручная коррекция тональной разметки требовалось в случаях, когда оценочные единицы использовались в ироничных высказываниях, где встречались лексические единицы, отмеченные в словаре как положительные, однако использующиеся в конкретном контексте как окказионально негативные. Например:

На просьбу хотя бы сфотографировать малыша мне сказали «что там фотографировать?

Лексико-концептуальная база знаний для разметки корпуса

Концептуальный класс Метка Лексические примеры Тип Умеренно положительная оценка POS высокий профессионализм, отзывчивый, помог Тональность Сильно положительная оценка POSX суперотличный доктор, огромнейшей души человек Тональность Умеренно отрицательная оценка NEG не работала, унижать, не смогли поставить диагноз Тональность Сильно отрицательная оценка NEGX хамский, содрать деньги, беспредел, шок Тональность Усиление признака MAG очень, чрезвычайно, от души Модификатор Ослабление признака ANT в меру, вроде Модификатор Врач DR доктор, врач, педиатр Аспект Клиника С бесплатная поликлиника, роддом Аспект Персонал S девочки на ресепшн, персонал Аспект Качество медобслуживания Q качество работы, подробно объяснил Аспект Время приема T время посещения, ожидание, простоял в очереди Аспект Метод лечения D рентген, операция, анализы Другие Пациент P постоянный клиент, ребенок, пожилой пациент Другие index Text NEGX NEG POS POSX Count Rating

_ Очень хороший медицинский центр. Впервые мне понравилось платить за услуги. Цены приемлемы. Регистратура потрясающая. n                о п с n н й                                                                                                                            U                 tи

Врачи безупречные. Рекомендую.

• 1    Рекомендую крутого специалиста отоларинголога Карпенко, максимально грамотный подход к работе. Спасибо за вашу работу!         0    0    3     1     45

• 2    Лежала на послеоперационном восстановлении, повязки всегда вовремя меняли, обход с утра был, постоянно спрашивали, как я        0    0    2     0     25

себя чувствую. По соотношению цена-качество хороший вариант.

Ужасно! Отвратительно! Отдала за приём нейрохирурга 2 тыс рублей, а получила 20 минут молчания и бумажку со словами: квчн Я

• 3    все написал квчк . Общие фразы, много воды, никакой конкретики, закончился приём фразой: квчн Идите к другому врачу квчк . Я         2    7    0      0      91

12.07.2022 Были на приёме у онколога, ул. Труда 1876. Я была удивлена поведением сотрудниц в регистратуре, как они громко

требую возврата денежных средств, мне не оказана нужная помощь.

д Отвратительная работа операторов, каждый раз при звонке дают разную информацию. Один оператор говорит одно , другой            1    1    0     0     21

другое. Точной информации нет... только когда придёшь в клинику узнаешь достоверно.

• 5    разговаривали и простите, просто квчн ржали квчк на всю поликлинику, вы вообще-то с онкобольными работаете, и так себя ведёте, 0    6    0      0      63

было ощущение что я на базаре нахожусь. Администрация, театр начинается с вешалки, проведите беседу.

Была на приеме 22 июня. Приходила не первый раз и всегда все было отлично: Отдельные входы для детей и взрослых, удобно записываться, приветливые администраторы, хорошие специалисты, большой выбор услуг, адекватные цены. Но в последний раз с

• 6    парковкой беда, т.к. рядом парк развлечений и зоопарк(надо бы отдельную парковку для клиентов), придя на прием мне сказали что 1     3    8      1     134

описание будет только через 2 часа после проведения процедуры, и удивились, что при звонке мне это не сказали. Было очень неприятно, особенно, что мне нужны были результаты именно сейчас для другого врача, а не через часа.

Были у травматолога, хороший специалист, на этом все. Космические цены просто. Наложили гипс ровно как 40 лет назад,

• 7    претензий бы не было, если бы стоило все это в 2 раза дешевле. А то стоит как немецкая медицина а по итогу копеечная,                0    7    2      0      92

нудобная, большая накладка.

Рис. 1. Данные по количеству оценочных единиц в текстах отзывов

Кружочек с палочкой?». { Очень « приятно » }~NEGX , { спасибо }~NEG !

Для каждого текста в «золотом» корпусе мы подсчитали количество лексических единиц, используемых в текущем тексте. Таким образом, для каждого текста были получены количественные данные по четырем параметрам, соответствующим тональным меткам. Примеры текстов с информацией о количестве оценочных единиц различных тональных классов приведены на рис. 1. В таблице на рис. 1 в колонке index расположен уникальный идентификатор текста отзыва в корпусе, колонка Text хранит оригинальный текст отзыва, в колонках NEGX, NEG, POS, POSX указано количество лексических единиц в тексте отзыва, которые при разметке получили соответствующую метку, Count содержит общее количество тонально размеченных единиц в тексте, Rating содержит числовую оценку от 1 до 5, которую оставил пользователь вместе с текстом отзыва.

С учетом задачи последующего моделирования регрессии для полученных числовых данных была проведена нормализация с целью устранения влияния различий в длине отзывов, улучшения сходимости метода и повышения надежности результатов.

Значения пользовательских рейтингов были нормализованы посредством деления на 5, таким образом значения пользовательского рейтинга клиники г , в наборе данных принимали значения из множества: г , £ {0,2; 0,4; 0,6; 0,8; 1.0}.

Нормализация значений в колонках POS, POSX, NEG и NEGX включала деление количеств тональных меток в тексте на общее количество тонально размеченных единиц в тексте (значение в колонке Count для i -го текста):

pj =    —, j £ {NEGX, NEG, POS, POSX},1   Count,

, £ [1.. N], где pj - нормализованное значение j-й тональной метки для i-го отзыва корпуса, nj - количество единиц, помеченных j-й тональной меткой в i-м отзыве корпуса , Count, - общее количество то-нально размеченных лексических единиц в i-м отзыве корпуса, N - общее количество отзывов в корпусе.

Полученные таким образом значения p ^j мы рассматривали как независимые объясняющие переменные в задаче множественной регрессии, г , -как целевую зависимую переменную моделирования. Тогда классическую линейную модель множественной регрессии можно представить в виде г , = Р 0 + P negx • p N^EGX + P neg • p N^EG + P pos • P p^OS

+ P posx 'P P°^SX + d, где i^£ [1. . ^N], ^p 0 , P negx , P neg , P pos , P posx , ^{- па} раметры модели, s , - случайная ошибка.

Для выбора метода нахождения параметров регрессии мы оценили коэффициенты корреляции между объясняющими переменными построенного набора данных. Матрица корреляций представлена на рис. 2. Как можно видеть, между переменными

Рис. 2. Корреляционная матрица объясняющих переменных модели

POS и NEG наблюдается достаточно сильная отрицательная корреляция (коэффициент корреляции равен –0,84), что указывает на мультиколлинеарность независимых переменных. Этого можно было ожидать, так как наличие оценочных лексических единиц в силу специфики дискурса отзывов является практически всегда обязательным компонентом текста, а методика определения значений p ^j , предполагающая нахождение долей каждой из переменных в тексте, предполагает тесную взаимосвязь между полученными значениями. Однако приведение к единой шкале со значениями POS и NEG на концах не представляется целесообразным, так как один и тот же отзыв может содержать одновременно позитивные и негативные элементы, каждый из которых должен быть учтен в модели. Кроме того, рассмотрение POS и NEG как отдельных параметров обеспечит возможность в будущем дифференцированно извлекать мнения по отдельным аспектам.

В связи с этим для преодоления влияния мультиколлинеарности мы проводили моделирование с помощью метода гребневой регрессии. Вычисление параметров модели проводилось путем минимизации суммы квадратов отклонений между наблюдаемыми и предсказанными значениями с L2-регуляризацией [1, с. 60]:

R.dge = ^—Г.^ ^ ^^

i =1                     /

)2

+ Л^Д/2 ^ min,

j е {NEGX, NEG, POS, POSX}, где г. - наблюдаемые значения нормализованного рейтинга i-го отзыва, Г. - предсказанные значения рейтинга i-го отзыва, вычисленные согласно по строенной модели регрессии, Ridge - значение суммы квадратов отклонений наблюдаемого и предсказанного рейтингов c L2-регуляризацией, в/ - параметры модели регрессии.

Поиск коэффициентов реализовывался на Python. Поиск оптимального значения коэффициента регуляризации .'■. выполнялся с применением кросс-валидации с делением набора данных на 5 подвыборок, для чего был создан ряд из 100 кандидатов значения -■'.. в диапазоне от 10 ^-4 до 10 ⁴ с равномерным распределением в логарифмическом масштабе. Построение модели гребневой регрессии, включая нахождение оптимального коэффициента X и параметров регрессии в/, осуществлялось на базе класса RidgeCV из библиотеки scikit-learn. Для построения регрессионной модели выборка отзывов была разделена на обучающую и тестовую в соотношении 9:1. Таким образом, в обучающую выборку вошли 1428 отзывов, в тестовую - 159 отзывов.

Результаты и обсуждение

Изменение усредненного по 5 подвыборкам значения среднеквадратической ошибки (MSE) для оценки коэффициента регуляризации Л в ходе кросс-валидации на обучающей выборке показано на рис. 3. Оптимальное значение коэффициента регуляризации, минимизирующее среднюю ошибку по подвыборкам обучающего набора данных, было получено при Л = 0,2675.

Полученное в результате настройки модели на обучающей выборке уравнение регрессии для определения степени удовлетворенности клиента медицинским центром приняло вид:

• г . = 0,6108 - 0,4574 • p N^EGX - 0,3301 • p N^EG + 0,3939 • p p^OS + 0,3937 • p P^OSX

Полученная модель хорошо интерпретируется. Свободный член полученной модели устано-

Рис. 3. График изменения средней ошибки для различных коэффициентов X модели гребневой регрессии

вился на уровне, близком к середине диапазона значений пользовательских рейтингов клиники, заданных пользователями (середина диапазона наблюдаемых значений равна 0,6). Преобладание в тексте лексических единиц, размеченных негативными тональными метками, приводит к уменьшению значения рейтинга клиники (для соответствующих объясняющих переменных получены отрицательные коэффициенты), а наличие положительных тональных меток, наоборот, увеличивает значение рейтинга.

Среднеквадратическая ошибка предсказаний модели оказалась равной 0,0226, средняя абсолютная ошибка предсказаний составила 0,0884. Таким образом, в среднем отклонения от истинного значения являются незначительными. Коэффициент детерминации модели равен 0,8182, что указывает на достаточно высокую объясняющую способность построенной модели.

Примеры предсказаний, полученных с помощью построенной модели линейной регрессии на тестовой выборке, приведены на рис. 4.

Данные на рис. 4 демонстрируют довольно точное соответствие предсказанных значений истинным значениям рейтингов, выставленных пользователями (ср. значения в колонках Предсказанные значения и Истинные значения ).

Таким образом, построенная модель линейной регрессии позволяет на основании значений параметров, показывающих доли лексических единиц, размеченных разнополярными тональными метками, предсказывать значение пользовательского рейтинга клиники. Очевидно, такая модель требует наличия процедуры, позволяющей на основе входного текста определять доли тонально размеченных лексических единиц в тексте. В настоящем исследовании для обучения модели использовался «золотой» корпус текстов, где тональные метки текстовым единицам сообщались на основе слова- ря и далее корректировались вручную. Однако автоматизация процедуры предсказания рейтинга оцениваемого объекта на основе регрессионного анализа тональности текстов требует построения процедуры определения однозначных тональных меток в тексте автоматически. Полагаем, в качестве такой процедуры может рассматриваться применение тонального словаря в совокупности с правилами разрешения неоднозначности концептуальных меток, а также экспериментирование с применением методов машинного обучения для определения тональной принадлежности единиц текста.

Заключение

В данной работе представлена модель предсказания пользовательского рейтинга медицинских учреждений на основе регрессионного анализа тонально маркированной лексики в тексте отзыва. В качестве объясняющих переменных в модели регрессии рассматриваются доли лексических единиц в тексте, имеющих одну из множества тональных меток {NEGX, NEG, POS, POSX}. Целевая переменная представляет собой числовую оценку в диапазоне [0, 1], показывающую степень удовлетворенности пользователя клиникой, которая может варьировать от крайнего недовольства от посещения клиники (0) до полной удовлетворенности качеством оказанных услуг соответственно (1). Тональные метки назначаются текстовым единицам на основе предметноориентированного тонального словаря. Таким образом, построена гибридная модель, опирающаяся на использование лексикона для подготовки данных и применяющая техники машинного обучения для нахождения коэффициентов регрессии.

Полученные результаты демонстрируют эффективность гибридного подхода к предсказанию пользовательских рейтингов медицинских учреж-

Рис. 4. Предсказания модели линейной регрессии на тестовой выборке

дений на основе регрессионного анализа тональности текстов. Разработанная модель множественной линейной регрессии показала высокую точность предсказаний, что подтверждается низкими значениями среднеквадратической и средней абсолютной ошибок, а также высоким коэффициентом детерминации. Эти результаты подчеркивают потенциал использования анализа тональности для автоматизации извлечения мнений пользователей на основе текстовых данных. Однако для внедрения модели необходима разработка автоматизиро- ванных методов определения тональных меток в текстах, что позволит использовать построенную модель в практических приложениях для выполнения надежных предсказаний удовлетворенности клиента. Для решения задачи поиска в тексте тонально-маркированных единиц в будущем мы полагаем целесообразным рассмотреть применение предметно-ориентированных тональных словарей в сочетании с правилами разрешения неоднозначности, а также интеграцию методов машинного обучения.