Анализ социальных сетей и статистическая обработка твитов о COVID-19

Коронавирусная болезнь 2019 г. (COVID-19) – это новое заболевание, впервые зарегистрированное в Ухане (Китай) в декабре 2019 г. В марте 2020 г. Всемирная организация здравоохранения (ВОЗ) объявила COVID-19 пандемией, поскольку вирус распространился по всему миру [26]. По последним статистическим данным (на 3 июня 2022 г.),

Анализ социальных сетей и статистическая обработка твитов о COVID-19

Золотарев Олег Васильевич кандидат технических наук, доцент, заведующий кафедрой информационных систем в экономике и управлении. Российский новый университет, Москва. Сфера научных интересов: компьютерная лингвистика. Автор 80 опубликованных научных работ.

во всем мире коронавирусом заболели 534 301 348 человек, а за время пандемии умерло 6 317 894 человек [27].

Распространение COVID-19 сопровождается инфодемией, то есть избытком информации о вспышке вируса [25]. При этом наблюдаются как всплеск научных публикаций [13], так и растущий объем дискуссий в социальных сетях, которые доступных практически в режиме реального времени и несут реальное представление о реакции общественности на пандемию.

Люди высказывают мнения и идеи, делятся ими на социальных платформах. Анализ настроений позволяет наблюдать за крупными сообществами при низких затратах [5]. Таким образом, анализ настроений является мощным инструментом для понимания наиболее важных событий и тенденций. Набор данных в «Твиттере» предоставляет широкий спектр актуальной информации, связанной с поведением пользователей, эмоциями и мнениями о событиях в мире [16]. С начала пандемии коронавируса многие исследователи изучали и анализировали данные «Твиттера», применяя методы анализа настроений для разных целей. Samuel и др. [20] провели текстовый анализ твитов в США во время пика заболеваемости COVID-19, чтобы проследить эволюцию настроения триады страх – паника – отчаяние, связанной с COVID-19. Bhat и др. [3] проанализировали настроение более 80 000 твитов о распространении COVID-19. Выяснилось, что 51,97, 34,05 и 13,96 % твитов выражали положительные, нейтральные и отрицательные настроения соответственно. Влияние социальных сетей во время пандемии изучали Shietal [21]. Они продемонстрировали роль социальных ботов в манипулировании общественным мнением в социальных сетях в пиковые периоды пандемии. Было проведено сравнение мнений и выражений, генерируемых социальными ботами и пользователями. Выяснилось, что социальные боты чаще использовались для негативных высказываний о ситуации.

Изучение эмоций человека по поводу пандемии COVID-19 в социальных сетях обсуждалось в работах [7, 11]. Испанские исследователи использовали социальные сети в качестве источника данных для анализа гнева, страха и общественных настроений во время пандемии. Анализ настроения включал классификацию различных эмоций, таких как печаль, тревога, счастье и др. Анализ настроения на арабском языке был проведен Aljameeletal [1] для оценки осведомленности населения о мерах предосторожности в период карантина в нескольких регионах Королевства Саудовской Аравии.

В большинстве исследований подчеркивается важность использования инструментов больших данных, таких как анализ настроений из социальных сетей, для борьбы с возникающими эпидемиями. Исследователи также указывают на важность анализа мнений из неструктурированных источников данных, таких как социальные сети, при формулировании государственных национальных рекомендаций по вопросам здоровья и эпидемий в настоящее время [22]. Анализ тональности – одна из самых популярных задач обработки естественного языка; проведено множество исследований, и достигнут прогресс в решении этой задачи. Глубокие нейронные сети широко используются для классификации полярности настроения; однако для этого часто требуется огромное количество обучающих данных.

Для текстовой аналитики используется широкий спектр методов и инструментов в зависимости от характера текстовых данных, целей исследования и размера набора данных. Данные «Твиттера» широко используются для текстового и эмоционального анализа. Одним из ключевых выводов текстовой аналитики является определение тональности, связанной с анализируемым текстом. Анализ настроений в широком смысле описывается как присвоение оценок и категорий настроений на основе ключевых слов и фразового соответствия тональным словарям. Оценки настроения варьируются от отрицательных (около минус 1) до положительных (около плюс 1) [19].

N -граммы широко используются для анализа твитов. N -грамма слова – это последовательность из n слов, взятых из любого текстового документа. Например, словарные n -граммы для предложения «коронавирус заразен» представляется следующим образом: n = 1, униграммы: coronavirus, is, contagious; n = 2, биграммы: coronavirus is, iscontagious; n = 3, триграммы: coronavirus iscontagious [17]. Словарные N -граммы эффективны для анализа настроений. Например, «COVID positive» – это биграмма, которая может идентифицировать человека как COVID-положительного.

Nieuwenhuis и Wilkens [18] представили гендерную классификацию текстов и изображений с использованием модели N -грамм. Они использовали N -граммы слов и символов в качестве текстовых характеристик в дополнение к некоторым основным характеристикам изображения, чтобы предсказать пол пользователя «Твиттера». Наилучшие результаты были достигнуты при использовании только текстовых функций. Кроме того, нет зависимости от предварительно обученных вложений слов или больших обучающих корпусов.

Hassan и др. [9] применили анализ N -грамм на основе слов для разделения твитов на заслуживающие доверия и не заслуживающие доверия. В работе Kimetal [14] при исследовании использования n -грамм в качестве признаков для классификации коротких текстов были представлены десять наиболее важных признаков униграмм, биграмм и триграмм [4].

Задачи исследования преследовали двоякую цель: извлечь потенциально тональные слова социально-психологической тематики из русскоязычных твитов, связанных с хештегом #коронавирус, и выделить наиболее значимые тематические группы твитов. В тематические группы входят близкие по смыслу термины из множества S . Подобные подходы использовались ранее в предыдущих работах авторов [12].

В настоящей работе изучены некоторые аспекты, которые еще не были рассмотрены другими авторами. Основные вклады:

• 1.    Анализ русскоязычных твитов, связанных с коронавирусом.

• 2.    Использование словесных n -грамм для выбора темы обсуждения в «Твиттере».

• 3.    Изучение эволюции основных тем обсуждения коронавируса в «Твиттере».

• 4.    Разработка программы извлечения n -грамм с измененным набором стоп-слов.

Анализ социальных сетей и статистическая обработка твитов о COVID-19

Материалы и методы

Данные для исследования были загружены из «Твиттера» в апреле 2021 г. (с 03.04.2021 по 16.04.2021) и в июле (с 03.07.2021 по 16.07.2021). Выгрузка осуществлялась с использованием аналитических механизмов «Твиттера» (Vicinitas) [24], позволяющих выгружать хэштеги, учетные записи пользователей и ключевые слова. В соответствии с ранее опубликованной методикой ретвиты исключались [23].

Это исследование содержит русскоязычные твиты. При этом пользователи не привязаны к конкретному месту жительства. За период исследования были проанализированы: а) 24386 твитов (апрель) от 10496 пользователей; б) 16320 твитов (июль) от 8024 пользователей.

В качестве начального подхода использовался метод визуализации данных твитов по запросу коронавируса в виде облака слов [15]. Например, облако слов было построено для твитов за период с 03.04.2021 по 10.04.2021. Тексты твитов были переведены на английский язык с целью сокращения лексического разнообразия. Затем стоп-слова были удалены.

Для анализа корпуса текстов разработана программа генерации n- грамм. Это позволило выявить наиболее значимые n -граммы из корпуса текстов длиной от 1 до 3 ( n -граммы длиннее 3 слов составляют незначительную долю от общего числа n -грамм). Работа проводилась в несколько этапов. Сначала были загружены тексты сообщений из «Твиттера», затем проведен анализ близости слов с помощью метода машинного обучения word2vec. В то же время была переработана структура стандартного списка стоп-слов Python, а также значительно увеличен список стоп-слов (обсуждается ниже). Это позволило изначально отсечь термины, не являющиеся существенными для выбранной области исследования.

Использовалась комбинация машинного и экспертного подходов. Эксперты сформулировали предварительные темы, связанные с различными аспектами пандемии коронавируса. Для предварительных тем автоматически отбирались наиболее релевантные слова и словосочетания на основе метода word2vec, который мы использовали ранее [28]. Эксперты оценивали отношение слов и словосочетаний к заявленной теме.

Для извлечения n -грамм из полнотекстовых сообщений использовалась специальная программа, анализирующая синтаксическое окружение термина. Поиск терминов осуществлялся в несколько этапов с использованием расширенного набора стоп-слов. В результате был получен набор терминов и словосочетаний, как широко употребляемых, так и вошедших в обиход во время пандемии в результате словообразования, основанного на распространении процессов во время пандемии (вакцинация, тестирование, заражение и др.). Таким образом, разработанная программа может идентифицировать новые термины по мере их появления в лексиконе пользователей социальных сетей.

Оригинальная программа извлечения n -грамм была разработана с усовершенствованием классического подхода для автоматического извлечения n -грамм из полнотекстовых сообщений. Улучшение заключалось в следующем. Для определения n -грамм в тексте как устойчивое словосочетание извлекалось главное существительное с определителями (см. Рисунок 1).

Разработан расширенный набор стоп-слов, позволяющий гибко управлять процессом определения значимых n-грамм, как широко используемых, так и новых, возникающих в ответ на те или иные события. При извлечении терминов из твитов с использованием стандартного набора стоп-слов Python (в стандартный набор входили только со- юзы, междометия, которые исключались из рассмотрения) основной проблемной был «шум» – большое количество слов, не относящихся к исследуемой теме.

def isThisATerm(WordStr):

import nltk tokens = nltk.word_tokenize(WordStr)

tagged = nltk.pos_tag(tokens)

Lent = len(tagged) ind = 0

while ind < Lent:

if (('NN* in tagged(indj) or ('FW in tagged[ind]) or

('VBG' in tagged[ind]) and |(WordStr not in stopwords)): return(l)

ind = ind * 1 return(0)

Рисунок 1. Формирование n -грамм

Значительно расширен набор стоп-слов для обработки твитов. По результатам экспертного анализа добавлены категории стоп-слов (географические названия, даты, дни недели, названия месяцев, собственные имена, названия учреждений, должностей и др.). Набор стоп-слов регулярно пополняется новыми элементами, что помогает значительно снизить количество «шума» при извлечении терминов из твитов посредством автоматической обработки. Программа генерирует n -граммы по тематике, заданной поисковым запросом при формировании корпуса текстов.

Для текстовой аналитики на раннем этапе использовалось Wordcloud – визуализация данных, состоящая из размера и визуального акцента слов, взвешенных по частоте их появления в текстовом корпусе, которая используется для графического изображения значимых слов в текстовом корпусе [6]. В этом исследовании использовался графический пакет Wordcloud [10].

На основе анализа корпуса текстов построена визуализация значимых терминов (облака слов) с помощью инструмента Wordcloud по частоте употребления термина в корпусе твитов. Термины могут быть представлены n -граммами разного размера.

В работе рассчитывается частота встречаемости терминов в твитах по n -граммам. N -граммы длиннее 4 слов не учитываются из-за низкой частоты появления в твитах:

S = , F, W>                                 (1)

где S – набор значащих n -грамм, извлеченных из корпуса текстов; N – набор с общим количеством n -граммов; F – частота n -грамм в текстовом корпусе; W – вес n -граммы в определенном наборе n -грамм (обсуждается ниже).

В ходе анализа было выявлено 3 набора значимых n -грамм по разным темам: S 1 (униграммы), S 2 (биграммы), S 3 (триграммы). В каждом наборе n -граммы (термы) сортируются по убыванию частоты, n -грамма с наибольшим количеством встречаемости в текстовом корпусе получает максимальный вес 10, поскольку каждый набор n -грамм содержит 10 наиболее часто встречающихся терминов, отсортированных по частоте в порядке убывания.

Для каждой тематической группы рассчитывается общий вес для определения ее значимости. В тематическую группу могут входить любые n -граммы из множества S . Формирование тематических групп осуществлялось группой экспертов. Одни и те же термины могут быть отнесены к разным тематическим группам в зависимости от контекста. По-

Анализ социальных сетей и статистическая обработка твитов о COVID-19 этому термины (словосочетания) в зависимости от контекста могут быть отнесены к разным тематическим группам. Многозначность разрешается путем оценки семантического сходства контекстов с использованием метода Word2vec. В ходе анализа выявлены наиболее значимые тематические группы терминов (как наиболее популярные).

Введем понятие веса ( W ^x , здесь x изменяется от 1 до 3 в зависимости от числа подмножеств n -грамм) внутри одного из подмножеств множества S ( S 1, S 2, S 3), в данном случае n -грамма с максимальной частотой в каждом подмножестве получает максимальный вес, равный 10. Остальные n -граммы подмножества получают веса W_k ^x по убыванию ( k варьируется от 1 до 10). После объединения в тематические группы можно рассчитать вес каждой тематической группы W ^x :

W = 2 n =₌ 0 W                          (2)

Мы не можем судить о важности тематических групп только по весам. Для более точного подсчета необходимо использовать величину приведенной частотности ( F _redx ) для каждой тематической группы:

F redx = Q X                                    (3)

Q cor где Qx – количество использований n-грамм; Qcor – частота употребления термина «коронавирус».

В русскоязычных твитах термин «коронавирус» встречается гораздо чаще, чем «COVID-19». Так, в корпусе твитов в апреле доля последних составила 9,4 %, а в июле – 9,8 %. Поэтому для анализа был выбран термин «коронавирус».

Введем новый показатель L _x – показатель употребимости для оценки распространенности данного термина в обсуждаемых темах, рассчитываемый по следующей формуле:

L x 2 "k = 1 F^ ^. W kx ,                         (4)

здесь n – общее количество n -грамм выбранной тематической группы (в нашем случае n = 10). Эта характеристика была введена для того, чтобы иметь возможность сравнивать важность тематических групп.

Результаты

На Рисунке 2 видно, что использованные твиты в основном посвящены новостям о том, что у президента Аргентины, привитого вакциной Sputnik V в январе, обнаружен коронавирус [2].

Идентификация n -грамм позволяет более тонко выделить наиболее значимые n -граммы в корпусе текстов и интерпретировать их значение. В таблицах 1–4 представлены результаты обработки корпусов текстов для каждой из трех n -грамм с 10 наиболее распространенными n -граммами, отобранными с помощью специально разработанной программы. С одной стороны, униграммы действительно являются самым большим набором извлекаемых слов, с другой – они менее информативны по сравнению с другими типами n -грамм (см. Таблицу 1).

Рисунок 2. Пример облака слов по данным «Твиттера» (русскоязычные твиты переведены на английский язык)

Таблица 1

Распространенные униграммы

Апрель		Июль
Униграммы	F redx	Униграммы	F redx
Тест (на коронавирус)	8,76	Победить	9,15
Вакцинация	6,92	Тест (на коронавирус)	8,10
Вакцина	5,27	Заразить(ся)	5,54
Волна	4,18	Вакцинация	5,17
Инфекция	2,39	Вакцина	3,83
Штамм	2,15	Рост	3,63
Туберкулез	2,12	Карантин	3,24
Прививка	1,55	Вакцинировать	3,08
Смерть	1,22	Восстановиться	3,01
Умереть	1,16	Пациент	2,83

Таблица 1 показывает, что термины «тест» (на коронавирус), «вакцинация», «вакцина» устойчиво лидируют. Если в апреле в топ вошли термины, связанные с трагическим исходом болезни («смерть», «умереть»), то в июле их сменили более позитивные слова («победить», «восстановиться»).

Для биграмм была проведена лемматизация (см. Таблицу 2). С апреля по июль сохранили актуальность биграммы «обнаружить коронавирус», «победить коронавирус», «тест (на) коронавирус».

Анализ социальных сетей и статистическая обработка твитов о COVID-19

Таблица 2

Распространенные биграммы

Апрель		Июль
Биграммы	F d	Биграммы	F d
Скандал вакцина	2,56	Тест коронавирус	3,44
Тест коронавирус	2,13	Заболеть коронавирус	3,28
Новый штамм	2,00	Интенсивный уход	3,08
Заразиться коронавирус	1,91	Повреждение легких	3,01
Доступность вакцинации	0,67	Снижение коронавируса	2,58
Найти коронавирус	0,66	Коронавирус катастрофа	2,58
Положительный результат	0,66	Победить коронавирус	2,42
Обнаружить коронавирус	0,65	Остановить коронавирус	1,17
Победить коронавирус	0,59	Обнаружить коронавирус	1,15
Туберкулез коронавирус	0,54	Определить коронавирус	1,13

Таблица 3

Распространенные триграммы

Апрель		Июль
Триграммы	F redx	Триграммы	F redx
Положительный тест коронавирус	2,18	Соблюдать меры безопасности	3,22
Прививка коронавирус Спутник (V)	0,88	Победить коронавирус давно	3,22
Коронавирус туберкулез обнаружить	0,73	Быстрое полное выздоровление	3,01
Прививка вакцина Спутник	0,71	Пожелать Covid победить	3,01
Коронавирус Талибан Эбола	0,61	Отменить карантин ограничения	2,58
Вакцинация необходимо ускорить	0,60	Коронавирус Коммунарка реанимация	1,87
Повторный тест коронавирус	0,54	Отрицательный тест коронавирус	0,92
Подтвердить туберкулез коронавирус	0,52	Пациент соблюдать изоляция	0,92
Институт разработал Спутник	0,51	Тест результат Covid	0,92
Сдать тест коронавирус	0,40	Поддельный сертификат прививка	0,76

Триграммы более конкретны по содержанию и часто отражают конкретные события, например, триграмма «Коронавирус Коммунарка реанимация» относится к госпитализации известного музыканта П. Мамонова в тяжелом состоянии (Коммунарка – больница для лечения ковидных больных в Москве). Топ-10 триграмм относятся к следующим основным темам: 1) «Тестирование» (в апреле – «положительный тест на коронавирус», «повторный тест на коронавирус», «сдать тест на коронавирус»; в июле – «отрицательный тест на коронавирус», «результат теста на ковид»; 2) «Вакцинация» (в апреле – «прививка коронавирус Спутник V», «прививка вакцина Спутник V», «вакцинация необходимо ускорить»; в июле – «поддельный сертификат прививка».

Так как в n -граммах четко прослеживается тематика, нами были выделены тематические группы терминов: 1) «вакцинация»; 2) «тестирование»; 3) «распространение болезни»; 4) «борьба с коронавирусом»; 5) «выявление коронавируса», «прогрессирование заболевания».

Всем топовым граммам присваивались веса по убыванию от 10 до 1 в соответствии с местом в топе (1-е место – 10, 2-е место – 9 и т.д.). Далее вычислялась сумма весов по каждой тематической группе, включая униграммы, биграммы, триграммы. Далее по каждой из пяти тематических групп выделялись n -граммы, и рассчитывался вес каждой тематической группы в соответствии с формулой (3).

Вес тематической группы «Вакцинация» за апрель составил 76, за июль – 26; группы «Тестирование» за апрель – 40, за июль – 31; группы «Распространение болезни» за апрель – 50, за июль – 42; тематической группы «Борьба с коронавирусом» за апрель – 2, за июль – 78; тематической группы «Выявление коронавируса, прогрессирование заболевания» за апрель – 27, за июль – 29.

Следовательно, с апреля по июль значительно снизилось обсуждение вакцинации (как видно из Рисунка 3, значение L ^x уменьшилось в 2,56 раза) и значительно возросло обсуждение борьбы с коронавирусом с целью победить заболевание (см. Рисунок 3). Предлагаемая методика осуществляет первичную оценку динамики обсуждаемых тем и выделение актуальных тем.

Для более точного ранжирования тем мы предлагаем учитывать как вес n -граммы, так и ее приведенную частотность для расчета показателя употребимости (формула (5), Рисунок 3). Используя вышеприведенную методику, учитывая приведенную частотность терминов и веса для тематических групп, получаем, что тематическая группа «Борьба с коронавирусом» становится наиболее популярной в июле, тогда как в апреле это была тема «Вакцинация».

Обсуждение

Социальные сети очень динамичны, обсуждение фактов и их интерпретация могут быстро меняться [8]. Новые факты или инциденты могут быстро сместить фокус твитов в другом направлении, так что происходит чрезмерное представление определенных тем в определенный период. В нашем случае такими фактами, на которых было акцентировано внимание пользователей, стали подозрение на заболевание коронавирусом после прививки вакциной «Спутник V» президента Аргентины Альберто Фернандеса (апрель), госпитализация в тяжелом состоянии известного российского музыканта Петра Мамонов (июль). Таким образом, анализ контента социальных сетей всегда следует интерпретировать с учетом сроков создания корпуса текстов.

Тематическое моделирование на основе n -грамм выявило следующие основные темы: «Вакцинация», «Тестирование», «Распространение болезни», «Борьба с коронавирусом», «Выявление коронавируса» и «Прогрессирование заболевания».

Авторы предлагают методику оценки значимости тем при анализе текстовых сообщений (твитов) с учетом весов выделенных n-грамм и их приведенной частотности. В Таблице 4 представлены результаты оценок популярности тем, связанных с коронавирусом, на основе учета веса топовых терминов и на основе показателя употребимости.

Анализ социальных сетей и статистическая обработка твитов о COVID-19

Таблица 4

Общие оценки популярности тем в апреле и июле, рассчитанные на основе весов n -грамм ( W ^x )

Тема	Апрель	Июль
Вакцинация	76	26
Тестирование	40	31
Распространение болезни	50	42
Борьба с коронавирусом	2	78
Выявление коронавируса, прогрессирование заболевания (далее – Выявление коронавируса)	27	29

Результаты расчета употребимости (формула (5)) представлены на Рисунке 3, из которого видно, что снижение частоты употребимости не изменило динамику снижения интереса к обсуждению тем «Вакцинация», «Тестирование». Учет показателя употре-бимости позволил количественно оценить всплеск интереса к обсуждению тем «Борьба с коронавирусом» и «Выявление коронавируса» (увеличились в 214 и 4 раза соответственно). Показатель употребимости выявил незначительное увеличение интереса к теме «Распространение болезни» (в отличие от расчетов, основанных на учете только веса терминов).

Рисунок 3. Оценка популярности обсуждаемых тем по тегу #коронавирус в русскоязычном «Твиттере» по предложенному параметру ( L ^x )

Для качественного анализа предложено использовать обособленные от корпуса наборы часто употребляемых терминов, которые мы предлагаем называть терминологическим портретом общественного мнения пользователей «Твиттера». В данном случае терминологический портрет характеризует общественное мнение русскоязычных пользователей о коронавирусе. Такие терминологические портреты могут помочь выявить наиболее обсуждаемые темы, оценить преобладающее настроение пользователей при обсуждении таких тем.

Выводы

Чтобы учесть изменение словарного запаса пользователей с течением времени, мы предлагаем выполнять срезы пользовательских сообщений в «Твиттере» через разные промежутки времени. В каждом срезе выделялись значимые термины и словосочетания, формировавшие терминологический портрет темы обсуждения в данный период времени. Сравнение терминологических портретов выявляет следующее: 1) основные темы для обсуждения; 2) термины, представляющие тему; 3) появление новых терминов.

На основе сравнения терминологических портретов за разные периоды активности пользователей можно сделать следующие выводы. С апреля по июль 2021 года активно обсуждались темы «Вакцинация», «Тестирование», «Распространение болезни», «Борьба с коронавирусом», «Выявление коронавируса».

С апреля по июль произошли изменения в теме вакцинации. В апреле только 41 % n -грамм относились к конкретной вакцине «Спутник V», и все n -граммы были только о вакцинации. В июле появились новые термины, такие как «антиваксеры», «ревакцинация», «прививочный сертификат», «поддельные сертификаты вакцинации» и «пропаганда вакцинации».

В теме «Тестирование2 в апреле обсуждались обязательства и необходимость тестирования. Если в апреле обсуждались только положительные результаты тестов, то в июле – положительные, отрицательные и ложноположительные результаты.

Третья волна коронавируса, мутации и новые штаммы в теме «Распространение заболевания» обсуждались в апреле. В июле также обсуждались новые штаммы, в том числе дельта-штамм. Активно обсуждались возрастные аспекты распространения инфекции.

В апреле о способах победы над коронавирусом мало говорили (упоминали только масочный режим). В июле словарный запас темы стал богаче. Названы такие способы борьбы, как карантин, реанимация, самоизоляция, кислородная поддержка.

В теме «Выявление коронавируса» как в апреле, так и в июле большое внимание уделялось обнаружению коронавируса. В апреле обсуждались последствия и осложнения коронавируса, в том числе детская смертность и неврологические проблемы, в июле – излечение от коронавируса.

В дальнейшей работе планируется создание тональных терминологических словарей с участием экспертов на основе выделенных тематических групп. Ограничением данного исследования стал анализ данных русскоязычного сегмента «Твиттера». В дальнейшем планируется рассмотреть и сравнить русско- и англоязычный сегменты социальных сетей.