Анализ отзывов пациентов с использованием машинного обучения и лингвистических методов

В настоящее время процесс анкетирования для оценки удовлетворённости потребителей набором услуг начал уступать место подходу, основанному на автоматической обработке текстов в социальных медиа с возможностью извлечения семантики. При использовании такого подхода выборка становится более представительной и независимой, а результаты анализа более достоверно отражают отношение потребителей. Особенно важно проведение подобного анализа в таких сферах деятельности человека, как медицина.

Целью работы является определение степени удовлетворённости качеством медицинских услуг пациентов путём классификации русскоязычных текстовых отзывов, извлечённых из социальных медиаресурсов, о работе медицинских учреждений и врачей.

Для достижения данной цели необходима разработка программных классификаторов, позволяющих разделить анализируемые текстовые данные по группам в соответствии с выбранными критериями: эмоциональная окраска; объект или субъект применения; причинноследственная составляющая и пр. Жанровые и речевые особенности текстов в социальных медиа порождают необходимость разработки интеллектуальных алгоритмов классификации текстов, позволяющих проводить подробный анализ текстовых отзывов с учётом особенностей предметной области.

Онлайн-отзывы и онлайн-рейтинги формируют неформальные коммуникации, направленные на потребителей посредством интернет-технологий, связанные с использованием или характеристиками конкретных товаров и услуг или их продавцов [1]. Это активно используется в здравоохранении для оценки деятельности врачей и больниц.

На отзыв пациента могут влиять личностные характеристики врача: пол, возраст, специальность [2-5]. Например, более высокие оценки у врачей-женщин [2, 3], акушеров-гинекологов и врачей более молодого возраста [6]. В зависимости от частоты использования веб-сайтов для рейтингования врачей [7, 8] пользователи, имеющие разные ключевых характеристики, по-разному оценивают значимость онлайн-отзывов о врачах [9]. В качестве данных используются одновременно значение рейтинга и тексты комментариев [10]. В частности, выявлены факторы, влияющие на положительные оценки врача, связанные с его характеристиками и другими, не зависящими от него факторами.

В ряде исследований используются в качестве основы данных массивы текстов отзывов о врачах [11, 12]. Оценки врачей в социальных медиа могут дополнять информацию, предоставляемую традиционными опросами пациентов, и способствовать пониманию пациентами качества услуг, предоставляемых врачом или медицинским учреждением [13].

Анализ социальных медиа включает:

• 1)    извлечение из различных ресурсов соответствующего контента социальных сетей [14];

• 2)    выбор данных для прогнозного моделирования анализа настроений;

• 3)    визуализация выводов, полученных в результате анализа [15].

Для анализа настроений на основе полученных данных можно использовать контролируемые и неконтролируемые методы [16]. Основные подходы к классификации полярности анализируемых текстов включают слово, предложение или абзацы.

В [17] рассмотрены методы интеллектуального анализа текста, в т.ч. на основе машинного обучения и онтологий, а также с использованием гибридного подхода. Показано, что не существует алгоритма, который бы работал хорошо для всех типов данных.

В [18] рассмотрены различные типы классификаторов текста, в частности: байесовский классификатор; дерево решений; K -ближайшего соседа ( K-NN ); метод опорных векторов ( SVM ); искусственная нейронная сеть (НС) на основе многослойного перцептрона; алгоритм Роккио. Общим недостатком всех алгоритмов является их низкая производительность.

В [19] рассмотрены два подхода к классификации текста: подход «Мешок слов»; сетевая классификация. Выделено 18 классов и классифицированы актуальные темы. Показано, что сетевой классификатор работал значительно лучше, чем текстовый. В [20] обсуждаются методы, позволяющие преодолеть трудности классификации коротких текстов на основе потоковых данных в социальных сетях.

В [21] предложена многомерная структура классификации текстовых документов. Показано, что классификация на основе многомерной модели категорий с использованием многомерных и иерархических классификаций превосходит плоскую классификацию.

В статье [22] предложен метод точной настройки модели, обученной с использованием некоторых известных документов, содержащих более богатую контекстную информацию.

Как показал приведённый обзор, в настоящее время не существует единого подхода к классификации текстовых ресурсов. Результаты категоризации зависят от предметной области, репрезентативности обучающей выборки и других факторов. Поэтому актуальной является задача разработки и применения интеллектуальных методов анализа отзывов об оказании медицинских услуг.

1    Модели классификации отзывов о медицинских услугах

В настоящем исследовании разработан метод классификации текстовых отзывов, полученных из социальных медиа. Результатом классификации стало распределение текстовых отзывов по следующим основаниям:

• ■    тональность текста: положительная или отрицательная;

• ■    объект адресации: отзыв о медицинском учреждении или о конкретном враче.

Для классификации отзывов были апробированы методы машинного обучения с использованием различных архитектур НС. В данном исследовании предложено три архитектуры НС, которые зарекомендовали себя наилучшим образом в задачах небинарной классификации текстовых данных. Эффективность предложенных алгоритмов сопоставлена с результатами классификации текстов с использованием моделей, показывающих хорошие результаты при бинарной классификации ( BERT и SVM) [23, 24].

• 1.1    Сеть долгой краткосрочной памяти

Общая архитектура LSTM ( Long Short-Term Memory ) - сети, представленная на рисунке 1, состоит из следующих слоёв:

• ■    Слой Embedding - входной слой НС, состоящий из нейронов:

ЕтЬ = {5 ize(D), Size(S_vec), L_Sec}, где Size(D) - размер словаря в текстовых данных;

Size (S_{vc c}) - размер векторного пространства, в которое будут вставлены слова; S ize(S_{cc c}) = 32 ;

L_Seс — длина входных последовательностей, равная максимальному размеру вектора, сформированного при предобработке слов.

• ■    Слой LSTM - рекуррентный слой НС. Включает 32 блока.

• ■    Слой Dense - выходной слой, состоящий из четырёх нейронов. Каждый нейрон отвечает за выходной класс. Функция активации - « softmax ».

• 1.2    Рекуррентная НС

Общая архитектура рекуррентной НС, представленная на рисунке 2, состоит из следующих слоёв:

• ■    Слой Embedding - входной слой НС.

• ■    Слой GRU - рекуррентный слой НС. Включает 16 блоков.

• ■    Слой Dense - выходной слой, состоящий из четырёх нейронов. Функция активации - « softmax ».

• 1.3    Свёрточная НС

Общая архитектура свёрточной НС ( Convolutional neural network, CNN ), представленная на рисунке 3, состоит из следующих слоёв:

• ■    Слой Embedding - входной слой НС.

• ■    Слой Conv1D - свёрточный слой, необходим для глубокого обучения. С данным слоем точность классификации текстовых сообщений повышается. Функция активации - « relu ».

• ■    Слой MaxPooling1D - слой, отвечающий за уменьшение размерности сформированных карт признаков. Максимальный пул равен 2.

• ■    Слой Dense - первый выходной слой, состоящий из 128 нейронов. Функция активации - « relu ».

• ■    Слой Dense - итоговый выходной слой, состоящий из четырёх нейронов. Функция активации - « softmax ».

  

  а)

  Рисунок 1 – LSTM -сеть: общая архитектура (а), LSTM -слой (б)

  
  
  

  б)

  
  
  

  Рисунок 3 – Общая архитектура свёрточной нейронной сети

  
  

Рисунок 2 – Общая архитектура рекуррентной нейронной сети

• 1.4    Использование лингвистических алгоритмов

Особенностью анализируемых текстовых отзывов является наличие элементов разных классов внутри одного отзыва. Для повышения качества классификации объединены наиболее эффективные методы машинного обучения с лингвистическими методами, которые учитывают речевые и грамматические особенности языка текста. Общая схема алгоритма классификации представлена на рисунке 4.

В качестве лингвистической составляющей разработанного алгоритма принята совокупность методов предобработки, валидации и детектирования именованных сущностей (имена врачей клиники).

2 Программная реализация системы классификации текстов

В качестве модуля для лингвистического анализа текста на русском языке использовалась библиотека Natasha на Python . С помощью данной библиотеки решаются базовые задачи обработки русского языка: сегментация на токены и предложения, морфологический и синтаксический анализ, лемматизация, извлечение, нормализация и детектирование именованных сущностей. Библиотека использовалась для поиска и извлечения именованных сущностей.

Для процессов инициализации, обучения НС, а также оценки эффективности классификации использовались следующие библиотеки:

Рисунок 4 – Общая схема алгоритма классификации

• ■    Tensorflow - открытая программная библиотека для машинного обучения.

• ■    Keras - библиотека глубокого обучения, представляющая высокоуровневый API на Python , способный работать поверх TensorFlow .

• ■    Numpy - библиотека на Python , предназначенная для работы с многомерными массивами.

• ■    Pandas - библиотека на Python , предоставляющая специальные структуры данных и операции для работы с числовыми таблицами и временными рядами.

• 3.1    Набор данных

Для обучения моделей использован Google Colab .

3 Результаты экспериментов по классификации текстовых отзывов

Извлечённые данные имели следующий перечень переменных:

• ■    city - город, в котором оставлен отзыв;

• ■    text - текст отзыва;

• ■    author name - имя автора отзыва;

• ■    date - дата написания отзыва;

• ■    day - день написания отзыва;

• ■    month - месяц написания отзыва;

• ■    year - год написания отзыва;

• ■    doctor_or_clinic - бинарная переменная (отзыв написан о враче ИЛИ о клинике);

• ■    spec - специальность врача (для отзывов, посвящённых врачам);

• ■    gender - пол автора отзыва;

• ■    id - идентификационный номер отзыва.

• 3.2    Результаты эксперимента по классификации текстовых отзывов по тональности

  Для апробации алгоритмов определения тональности сформирована база из 5037 комментариев с сайта prodoctorov.ru с наличием исходной разметки по тональности и объекту применения.

• 3.3    Эксперимент по классификации текстовых отзывов

По условиям экспериментов максимальное число слов в отзыве равно 90.

В качестве алгоритма векторизации текстовых данных использовалась языковая модель RuBERT . Для бинарной классификации текста на категории (положительный или отрицательный) использовалась модель Трансформер. Соотношение обучающей и тестовой выборок составило 80/20. Результаты работы классификатора на тестовой выборке: Precision = 0,9857, Recall = 0,8909, F1-score = 0,9359. Полученные значения метрик качества работы классификатора позволяют утверждать о возможности применения данной архитектуры бинарного классификатора по тональности текста на источники данных медицинских отзывов.

На данной выборке также апробирован LSTM -классификатор (см. подраздел 1.1). Соотношение обучающей и тестовой выборок составило 80/20. Результаты классификации отзывов с сайта prodoctorov.ru с применением LSTM -сети следующие: позитивный отзыв о враче – 21%; позитивный отзыв о клинике – 54%; негативный отзыв о враче – 5%; негативный отзыв о клинике – 20%.

• с применением различных моделей машинного обучения

0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 Эпоха обучения

Для классификации отзывов с использованием представленных в разделе 1 моделей машинного обучения использовались данные агрегатора infodoctor.ru. Преимущество этого агрегатора перед площадками (prodoctorov.ru, docdoc.ru) состоит в наличии группировки отзывов по рейтингу от одного до пяти для разных городов, что упрощает процедуру сбора данных. Выборки охватывают Москву, Санкт-Петербург и 14 других городов-миллионников России, по которым есть возможность сформировать минимально представительные выбор- ки (не менее 1000 наблюдений в расчёте на один город), в период с июля 2012 года по август 2023 года. Всего извлечено 58246 отзывов. Примеры выбранных отзывов приведены в таблице 1 (тексты отзывов даны в оригинальном виде).

№	Текст отзыва	Информация об отзыве	Класс тональности	Класс объекта применения
1	«Врач очень грубая, совершенно не имеет подход к людям, ваше заболевание её не интересует, для неё важнее пораньше уйти домой. Обращаться к такому врачу больше не хочется. Никому её не советую»	Екатерина, 13.04.2023 г., г. Москва	Отрицательный	О враче
2	«Проходил МРТ брюшной полости. Приняли меня не вовремя. Результаты по обследованию мне выдали сразу, обращусь с ними к врачу. Добираться до клиники мне было удобно. Общались со мной не очень хорошо. Не приду сюда повторно»	Камиль, 17.04.2023 г., г. Москва	Отрицательный	О клинике
3	«Все положительные отзывы составлены маркетологами, с отрицательными они всюду тщательно борются, реальные негативный отзывы пресекают. Клиника очень дорогая и ориентирована чисто на сбор денег, на ваше здоровье там всем глубоко фиолетово»	Анонимный пользователь, 10.04.2023 г., г. Москва	Отрицательный	О клинике
4	«В этой клинике происходит сбор денег, потому что назначают ненужно обследование и ненужные анализы - это я узнала уже, когда все начала проходить, а потом задумалась, зачем мне все это»	Арина, 2.03.2023 г., г. Москва	Отрицательный	О клинике
5	«Плохой врач. Моя проблема - сильная сухость кожи и высыпание на этой почве. ######## сказала только «её надо увлажнять» и всё. Как и чем не сказала. Рекомендации по уходу или дальнейшим действиям пришлось выпрашивать. Ничего не назначила кроме одного крема, после просьб моих»	Без имени, 11.05.2023 г., г. Москва	Отрицательный	О враче

Соотношение обучающей и тестовой выборок для всех применяемых алгоритмов составило 80/20. Графики, отражающие результаты классификации на обучающем и тестовом наборах данных для LSTM- , GRU- и CNN -архитектурах, представлены на рисунке 5.

а)

б)

в)

Рисунок 5 - Результаты классификации на обучающем и тестовом наборах данных для LSTM -сети (а), GRU -сети (б) и CNN -сети (в).

Сравнение показателей эффективности классификации текстовых отзывов представлено в таблице 2, где: Accuracy – точность при обучении; Val_accuracy – точность при проверке; Loss – потери при обучении; Val_loss – потери при проверке. Для оценки достоверности показателей характеристик предложенных моделей на используемом наборе данных проведены эксперименты с применением SVM и RuBERT . Из таблицы 2 видно, что эти алгоритмы показали чуть меньшую эффективность.

Одной из особенностей анализируемых текстовых отзывов стало наличие элементов раз- ных классов внутри одного отзыва: одно текстовое сообщение могло содержать отзыв о враче и о клинике. В связи с этим введено два класса – положительный и отрицательный отзывы о клинике и враче – и применён лингвистический метод (Ling) поиска имено-

Таблица 2 – Показатели эффективности классификации текстовых отзывов

Показатели	LSTM	GRU	CNN	SVM	BERT
Accuracy	0.9369	0.9309	0.9772	0.8441	0.8942
Val_accuracy	0.9253	0.9271	0.9112	0.8289	0.8711
Loss	0.1859	0.2039	0.0785	0.3769	0.1729
Val_loss	0.2248	0.2253	0.3101	0.3867	0.2266

ванных сущностей (см. подраздел 1.4). Применение данного подхода позволило повысить эффективность классификации для всех трёх архитектур искусственных НС. Результаты классификации с использованием рассмотренных алгоритмов представлены на рисунке 6.

Рисунок 6 - Результаты классификации с использованием рассмотренных алгоритмов

Лингвистический подход применялся только к тем сообщениям, которые на первом этапе НС отнесла к категории «отзыв о клинике».

Применение метода поиска именованных сущностей к текстовым сообщениям позволило повысить эффективность классификации.

Среди отзывов, неправильно классифицированных (в т.ч. с учётом применения Ling), имеется набор длинных текстовых сообщений, которые семантически могут относиться одновременно к разным классам. Это отзывы, которые:

• ■    характеризуют клинику и врача, но без упоминания конкретного имени, что не позволяет отнести отзыв к смешанному классу;

• ■    включают противоположные высказывания о клинике, которые касаются разных сторон её функционирования (в первую очередь могут разниться мнения об организационном сопровождении и уровне медицинского обслуживания клиник). Более глубокая категоризация отзывов о клинике позволит повысить качество классификации.

Заключение

В статье представлен метод классификации текстовых отзывов о работе медицинских учреждений, извлечённых из социальных медиаресурсов. Данный метод предполагает применение одной из архитектур искусственных НС ( LSTM, CNN, GRU ) для классификации отзывов на основные категории (по тональности и по объекту обращения) и лингвистического подхода с извлечением именованных сущностей.

Проведён ряд экспериментов по классификации текстовых отзывов о медицинских услугах клиник и врачей. В качестве исходных данных использовались текстовые отзывы агрегаторов prodoctorov.ru и infodoctor.ru . Проанализировано около 60 тысяч отзывов. По результатам проведённых экспериментов можно сделать следующие выводы.

• ■    Классификация русскоязычных текстовых отзывов, извлечённых из социальных медиа, о медицинских учреждениях и врачах с использованием НС, имеет высокую эффектив-

  ность при разбиении по тональности и объекту приложения. Наиболее высокую эффективность классификации показала архитектура на основе GRU ( val _ accuracy =0.9271).

• ■    Применение метода поиска именованных сущностей к текстовым сообщениям позволило повысить эффективность классификации.

Авторский вклад

Калабихина И.Е. - постановка и разработка задачи исследования; Мошкин В.С. - разработка и формализация моделей и алгоритмов; Колотуша А.В. - сбор и предобработка обучающего и тестового множества; Кашин М.И. - программная реализация программной системы; Клименко Г.А. - анализ современных подходов; Казбекова З.Г. - разработка и оценка применимости алгоритмов, подготовка обучающего и тестового множества.