Секьюритизация международных угроз в выступлениях министров иностранных дел России и ФРГ (2021-2023 гг.): количественный анализ
Автор: Панков Е.С.
Журнал: Общество: философия, история, культура @society-phc
Рубрика: История
Статья в выпуске: 8, 2024 года.
Бесплатный доступ
Статья посвящена проблеме восприятия международных угроз в публичных выступлениях министров иностранных дел России и Германии (С.В. Лаврова и А. Бербок) в контексте ухудшения двусторонних отношений между Москвой и Берлином после 2022 г. На основе количественного анализа корпуса выступлений политиков (в переводе на английский язык) с использованием возможностей языка программирования R сделан вывод о том, что на фоне различий в интерпретации вопросов безопасности между главами дипломатических ведомств России и Германии их подходы к определению спектра секторов, связанных с проблематикой безопасности, в значительной мере совпадают. Существенное различие состоит в том, что в риторике российского министра преобладает силовое измерение безопасности, в то время как подход А. Бербок характеризуется большим вниманием к несиловым аспектам безопасности. Теоретическая новизна исследования состоит в попытке использовать количественный подход для формирования иерархии внешнеполитических угроз в восприятии современных политиков.
Конструктивизм, секьюритизация, копенгагенская школа, бербок, лавров, российско-германские отношения, безопасность
Короткий адрес: https://sciup.org/149146443
IDR: 149146443 | DOI: 10.24158/fik.2024.8.19
Текст научной статьи Секьюритизация международных угроз в выступлениях министров иностранных дел России и ФРГ (2021-2023 гг.): количественный анализ
1Primakov National Research Institute of World Economy and International Relations, Moscow, Russia, , 2Moscow State Institute of International Relations, Moscow, Russia
(Edinger, 2022). Тем не менее в условиях отсутствия прямого военного столкновения западных государств с Россией остаётся значительное пространство для расширительной трактовки безопасности как комплексного явления, безусловно охватывающего военно-стратегическую проблематику, но не ограниченного ей. По-прежнему не утрачивают актуальности рассуждения о «гибридных», «информационных» и «неконвенциональных» угрозах1.
Многие участники международных процессов продолжают спорить о восприятии тех или иных угроз. Так, произошедшие в 2022 г. изменения среды безопасности стали следствием продолжительного кризиса взаимопонимания между Россией и западными государствами. В частности, на низкую продуктивность диалога в начале февраля 2022 г. в очередной раз обратил внимание С.В. Лавров: «Я разочарован тем, что разговор немого с глухим у нас получается. Вроде бы слушаем, но не слышим»2. При этом каждая из сторон была убеждена в собственной способности последовательно и убедительно изложить свои взгляды3. Ещё задолго до 2022 г. эксперты обращали внимание на формирование «пропасти восприятия» между Россией и Западом4.
Несмотря на то, что осенью 2021 г. при формировании в Германии новой правящей коалиции во главе с СДПГ сохранялись некоторые надежды на продолжение преемственности в позиции социал-демократов по отношению к Москве, двусторонние отношения Москвы и Берлина также не стали исключением из процесса деградации отношений России и Запада. Отечественные исследователи отмечают, например, что «отличия пресс-релизов МИД России и ФРГ по итогам бесед [президента В.В. Путина и канцлера О. Шольца] успели стать своеобразной новой дипломатической традицией в российско-германских отношениях»5. Возникновение этой традиции во многом связано с наличием разногласий по ключевым проблемам евроатлантической безопасности между высокопоставленными политиками двух государств.
Таким образом, цель данного исследования состоит в том, чтобы сравнить характер восприятия угроз национальной безопасности в выступлениях глав МИД России и Германии, а также охарактеризовать динамику изменения их восприятия после февраля 2022 г.
Теоретическая база исследования . Одна из попыток концептуального расширения понятия «безопасность» состоялась в конце 1980-х гг. усилиями представителей Копенгагенской школы ТМО. Они предложили не ограничиваться исключительно военно-стратегическими аспектами в понимании безопасности. Следствием этой попытки стало разделение исследователей на тех, кто исходит из «узкой» трактовки безопасности (англ. – narrowers, traditionalists ), и тех, кто использует более широкое толкование этого понятия (англ. – wideners ) (Buzan, 1997: 6–9).
Разработки представителей Копенгагенской школы позволяют рассматривать угрозы национальной безопасности государств не как объективное явление, а как интерсубъективный результат процесса конструирования угроз – секьюритизации. Отрицание объективного характера внешних угроз позволяет разделить безопасность на секторы, исходя из различий между референтными объектами, т. е. между теми объектами, на которые, по мнению какого-либо политика, направлено воздействие предполагаемой внешней угрозы. Таким образом, например, государство является референтным объектом исключительно в вопросах, затрагивающих военное измерение безопасности, в то время как воздействие других угроз может быть направлено на экосистему, коллективную идентичность и т. д. (Stritzel, 2007: 360).
В соответствии с классическим направлением теории секьюритизации конструирование угроз осуществляется непременно в ходе речевого акта. Следовательно, слова можно рассматривать как одну из форм действий субъектов международных отношений.
В этом случае стандартная методология на основе качественного подхода может быть расширена благодаря машинному анализу большого объёма текстовых данных (англ. – text-mining ).
Само по себе применение методов текстового анализа на основе программирования – явление уже не новое в политических исследованиях: ряд работ посвящён исследованию прессы (De Fortuny et al., 2012; Van Me-ter, de Saint Léger, 2008; Neves, Massarani, 2022), социальных сетей (Redek, Godnov, 2018), публикаций государственных структур (Yamada, 2021)1. Отечественные специалисты также предпринимали попытки использования количественного подхода для анализа риторики российского руководства, высокопоставленных германских политиков (Соколов и др., 2023) и представителей украинской политической элиты (Токарев, 2016).
Совмещение этих методов с инструментарием теории секьюритизации могло бы поспособствовать дальнейшему расширению аналитических возможностей исследования международной безопасности посредством квантификации восприятия внешних угроз высокопоставленными политиками.
Методология исследования . В основе данного исследования лежит корпус текстов, включающий публичные заявления министров иностранных дел России и Германии С.В. Лаврова и А. Бербок в период с 1 декабря 2021 г. по 31 декабря 2023 г. Выбор нижней хронологической границы обусловлен как системными, так и внутриполитическими факторами. С одной стороны, 8 декабря в ФРГ сформировалась новая правящая коалиция и А. Бербок возглавила МИД; с другой стороны, в декабре 2021 г. произошли значимые изменения, предопределившие дальнейшую деградацию среды безопасности: на фоне концентрации войск вблизи российско-украинской границы политическое руководство России выдвинуло США предложение о письменных «гарантиях безопасности». Сформировавшаяся после этого «новая нормальность» отношений России и Запада позволяет поставить вопрос о новых характеристиках взаимного восприятия, а также о масштабе и динамике произошедших в течение 2022 и 2023 гг. изменений этого восприятия (табл. 1).
Таблица 1 – Характеристика исходных данных для анализа
Table 1 – Characteristics of the Initial Data for Analysis
Количество дней, когда публиковались тексты |
Общее количество слов |
|
С.В. Лавров |
338 |
324 403 |
А. Бербок |
156 |
97 456 |
В исходный корпус вошли все переведённые на английский язык и опубликованные на официальных сайтах министерств тексты публичных выступлений за исследуемый период, в том числе интервью (без вопросов журналистов), торжественные обращения, программные статьи, вступительные слова на переговорах и др. В случае, если несколько выступлений были датированы одним и тем же днём, их тексты объединялись в один файл.
После этого с помощью программного кода на языке программирования R в среде RStudio была проведена «очистка» (англ. – tidy) текста от цифр, знаков пунктуации и служебных частей речи (так называемые stopwords: артикли, местоимения и т. д.), замена некоторых значимых для исследования аббревиатур на их развёрнутые аналоги, объединение некоторых пар слов в одно (вместо United States – UnitedStates и т. п.). Вследствие аналогичного объединения словосочетания European Union в один терм элементы EuropeanUnion и Europe (эквивалентно European) рассматриваются как две разные смысловые единицы. Помимо этого, названия столиц часто упоминаемых государств были заменены на названия этих государств, чтобы избежать искажений, возникающих в связи с нередкой для политических текстов метонимией. Кроме этого, наиболее частотные топонимические прилагательные заменены корнем соответствующего слова (например, вместо western – west).
Далее на основе алгоритма Портера (функция wordStem в библиотеке SnowballC) проведён стемминг оставшихся после «очистки» слов: каждое из них было заменено на его основу путём исключения изменяемых морфем (табл. 2). Например, если в тексте встречаются слова running, runs, runner и run, то в результате стемминга получается текст, где единица run встречается четыре раза.
Таблица 2 – Пример изменения текста в результате описанных выше операций
Table 2 – Example of a Text Change as a Result of the Operations Described Above
Было |
Стало |
NATO is impetuously approaching our borders, but the escalation is “blamed” on Russia which has armed forces that are not leaving its territory. |
nato impetu approach border escal blame russia arm forc leav territori |
1 Более подробно о международных исследованиях с привлечением методов машинного анализа текстов: (Gyódi et al., 2023).
Статистический анализ корреляций между словесными единицами осуществлён посредством применения функции pairwise_cor из библиотеки widyr .
Часть исследования посвящена анализу проявляющихся в выступлениях политиков биграмм – пар слов, стоящих рядом и встречающихся в корпусе выступлений не менее заданного числа раз. Формирование списка биграмм осуществлялось на основе функции unnest_tokens в библиотеке tidytext после «очистки» и стемминга корпуса текста. Визуализация частотности биграмм и связей между парами слов реализована на основе пакета ggplot2 .
Интерпретация понятия «безопасность»: общее и особенное. Количественный анализ наиболее часто встречающихся в выступлениях С.В. Лаврова и А. Бербок слов (табл. 3) позволяет заключить, что проблематика безопасности, выраженная термом secur , имеет одинаково большое значение в речах обоих политиков.
Таблица 3 – Наиболее употребимые слова в выступлениях министров иностранных дел России и ФРГ (служебные части речи изъяты)
Table 3 – The Most Used Words in the Speeches of the Foreign Ministers of Russia and Germany (Official Parts of Speech Have Been Removed)
С.В. Лавров |
А. Бербок |
|||
1 |
russia |
7 566 |
countri |
1 1881 |
2 |
ukrain |
4 098 |
german |
1 168 |
3 |
countri |
4 010 |
europ |
996 |
4 |
west |
3 459 |
peopl |
982 |
5 |
unitedstates |
2 347 |
secur |
968 |
6 |
secur |
2 304 |
russia |
926 |
7 |
intern |
2 071 |
ukrain |
901 |
8 |
presid |
2 049 |
world |
819 |
9 |
unitednations |
1 930 |
climat |
763 |
10 |
peopl |
1 680 |
war |
720 |
11 |
includ |
1 678 |
time |
707 |
12 |
cooper |
1 643 |
intern |
646 |
13 |
develop |
1 489 |
foreign |
635 |
14 |
time |
1 476 |
polici |
563 |
15 |
world |
1 439 |
women |
505 |
Помимо собственно слова secur , с этой проблематикой тесно связаны поисковые единицы russia, ukrain, сlimat и war , также занимающие высокое положение в рейтинге самых частых слов. При этом довольно частое использование слов climat и women в выступлениях А. Бербок, не свойственное С.В. Лаврову, объясняется идеологическими установками партии, которую она представляет («Союз-90»/«Зелёные») и провозглашённым в начале работы на посту министра стремлением проводить «феминистскую внешнюю политику», уделяя внимание проблеме обеспечения гендерного равенства2. Помимо этого, актуализация климатического измерения международной безопасности соответствует общей логике концептуализации этого направления в структурах ЕС.
В то же время в выступлениях С. Лаврова терм climat встречается лишь 44 раза (1 259 место по частоте использования), а women – 38 раз (1 407 место, ещё трижды встречается слово woman). В большинстве случаев упоминание слова женщины в выступлениях российского министра происходило в контексте описания гуманитарной ситуации в Украине, власти которой неоднократно обвинялись в содействии убийствам «женщин, детей и стариков», и в Секторе Газа. Помимо этого, в пяти случаях речь (прямо или косвенно) шла о проблематике прав женщин в контексте гендерного равенства. Ещё семь раз слово женщины было произнесено в ходе состоявшейся в университете МГИМО дискуссии о месте женщин в системе МИД и их роли на дипломатической службе.
Помимо схожей степени важности проблематики безопасности для обоих политиков, обращает на себя внимание также и отсутствие значимых различий в наборе ассоциируемых с безопасностью слов и понятий. Это заметно при составлении карты биграмм (следующих друг за другом слов) на основе всего корпуса выступлений каждого из политиков и выделении из неё слов, соседствующих с корнем secur (рис. 1).
Как видно, помимо высокой роли конвенционального измерения безопасности важное значение в выступлениях обоих политиков продолжают сохранять несиловые вызовы и угрозы. Об этом свидетельствует наличие на обеих схемах слов cyber, food, econom, energi . Примечательно также отсутствие слова freedom на схеме, составленной на основе выступлений С.В. Лаврова, и наличие в ней единицы biolog , которая ни разу не употреблена А. Бербок в паре с корнем secur .


Рисунок 1 – Наиболее употребимые биграммы в выступлениях А. Бербок (слева)
и С. Лаврова (справа). Отражены сочетания, встречающиеся в каждом корпусе не менее трёх раз Figure 1 – The Most Used Bigrams in the Speeches of A. Berbok (left) and S. Lavrov (Right).
The Combinations Occurring at Least Three Times in Each Case are Reflected
Иерархия внешних угроз . Соотнести значение этих угроз и сформировать их иерархию для каждого из политиков можно посредством использования функции pairwise_cor из библиотеки widyr . Она позволяет определить частоту появления двух слов в одном и том же тексте: в рамках данного исследования это означает, что они были публично произнесены или вошли в письменный текст в один и тот же день.
Само по себе нахождение двух слов в одном тексте не является основанием для каких-либо выводов, но анализ большого массива данных позволяет сделать некоторые неочевидные выводы об интерпретации внешних угроз на основании разницы в показателях такой корреляции.
Так, при описанном выше cходстве спектров измерений безопасности, затрагиваемых в выступлениях двух высокопоставленных политиков, значимые различия проявляются в интерпретации ими значения некоторых внешних угроз. Эти различия становятся заметны при формировании иерархического списка имён собственных, которые наиболее часто ассоциируются с угрозами и появляются в одном и том же тексте со словом threat.
Для выступлений С.В. Лаврова он выглядит следующим образом (табл. 4).
Таблица 4 – Корреляция употребления некоторых имён собственных со словом threat в выступлениях С.В. Лаврова
Table 4 – Correlation of the Use of Some Proper Names with the Word “Threat” in S.V. Lavrov’s Statements
Номер позиции в ранжированном по коэффициенту корреляции списке |
Слово |
Коэффициент корреляции |
3 |
nato |
0,575 |
4 |
ukrain |
0,562 |
5 |
american |
0,539 |
10 |
unitedstates |
0,510 |
25 |
minsk |
0,471 |
30 |
zelenski |
0,463 |
33 |
europeanunion |
0,461 |
35 |
europ |
0,458 |
36 |
donbass |
0,457 |
55 |
german |
0,431 |
63 |
west |
0,425 |
Примечательно, что в выступлениях А. Бербок имена собственные вместе с корнем threat употребляются значительно реже: среди ста наиболее популярных единиц – лишь четыре топонима (табл. 5).
Таблица 5 – Имена собственные, употребляемые с термом threat
Table 5 – Proper Names Used with the Term “Threat”
Номер позиции |
Слово |
Коэффициент корреляции |
40 |
china |
0,232 |
44 |
american |
0,228 |
47 |
petersberg |
0,228 |
86 |
ecowa[s] |
0,211 |
Как видно из двух приведённых списков, высокий показатель коэффициента корреляции между понятием threat и каким-либо топонимом отнюдь не всегда отражает восприятие обозначаемого этим топонимом субъекта в качестве угрозы. Так, minsk и petersberg связаны с местами проведения переговоров по проблематике безопасности, а появление в списке терма donbass обусловлено тем, что в выступлениях С.В. Лаврова этот регион нередко интерпретируется как объект, находящийся, по его мнению, под воздействием внешней угрозы. В соответствии с теорией секьюритизации появление в списке таких топонимов и возникающая в этой связи неопределённость вполне закономерны, поскольку топоним может обозначать как референтный объект, так и источник угрозы.
Следовательно, на основании данного алгоритма нельзя с полной уверенностью определить место какого-либо обозначенного топонимом участника международных отношений в иерархии воспринимаемых внешних угроз, поскольку невозможно установить автоматически, является ли этот участник источником угрозы или референтным объектом. Однако если эмпирический анализ на основе качественных исследований и наблюдений (изучение доктринальных документов, наличие или отсутствие формальных или неформальных военно-политических обязательств, поддержка разных конфликтующих сторон в крупных конфликтах и т. п.) позволяет однозначно отнести государство или объединение государств к источникам воспринимаемых угроз, то с помощью предложенной методики количественного анализа можно выстроить их обоснованную иерархию посредством сравнения показателей коэффициента корреляции.
Кроме этого, значительно повысить точность основанных на корреляции выводов позволяет объединение синонимичных слов, связанных с конструированием внешней угрозы. К ним относятся, например: threat, danger, secur, challeng, risk, undermine, agress, genocid, fear, afraid, destr, destabil, vulnerab, compet, war, weapon, violat, conflict . При замене каждого из этих понятий на слово securitization список наиболее коррелирующих с ним единиц (значимых в контексте данного исследования) выглядит для каждого из министров следующим образом (табл. 6).
Таблица 6 – Список слов, ранжированный по показателю коэффициента корреляции с термом securitization
Table 6 – List of Words Ranked by the Indicator of the Correlation Coefficient with the Term “Securitization”
С.В. Лавров |
А. Бербок |
||||
номер в списке |
слово |
коэффициент |
номер в списке |
слово |
коэффициент |
1 |
unitedstates |
0,487 |
1 |
russia |
0,355 |
2 |
militari |
0,464 |
3 |
ukrain |
0,313 |
7 |
west |
0,430 |
7 |
law |
0,200 |
8 |
ukrain |
0,429 |
10 |
climat |
0,190 |
20 |
region |
0,378 |
12–13 |
econom |
0,180 |
22 |
russia |
0,375 |
12–13 |
region |
0,180 |
23 |
law |
0,375 |
30–31 |
energi |
0,144 |
33 |
europ |
0,362 |
34–38 |
militari |
0,135 |
37 |
nato |
0,359 |
57–58 |
food |
0,121 |
47 |
econom |
0,340 |
83–87 |
unitedstates |
0,110 |
62 |
world |
0,327 |
83–87 |
putin |
0,110 |
63 |
power |
0,327 |
88 |
europeanunion |
0,110 |
87 |
humanitarian |
0,307 |
93–101 |
nato |
0,105 |
89 |
europeanunion |
0,305 |
110–114 |
china |
0,102 |
Анализ данной таблицы позволяет заметить, что в выступлениях А. Бербок российско-украинская проблематика со значительным отрывом доминирует в иерархии проблем безопасности. Однако, помимо этого, она выделяет и несиловые измерения безопасности: климатическое, экономическое, энергетическое, продовольственное, что, в свою очередь, свидетельствует о сохранении комплексного подхода к интерпретации безопасности, несмотря на наличие в Европе очага открытой силовой конфронтации, привлекающего первоочередное внимание.
В то же время в выступлениях С.В. Лаврова доминирует исключительно военно-силовое измерение безопасности. Помимо прочего, об этом свидетельствует и относительно высокое положение названия собственного государства, которое в данном случае выступает в качестве референтного объекта, на который направлена предполагаемая угроза: терм russia занимает 22 место по частоте появления в одном тексте с перечисленными выше словами, синонимичными слову угроза.
При этом показательно, что несколько чаще, чем Украина, с угрозами ассоциируются США (unitedstates) и Запад (west), что подтверждает тезис о восприятии российско-украинского конфликта в качестве элемента многосоставного противостояния России и западных государств.
Таким образом, понятие внешняя угроза трактуется С.В. Лавровым преимущественно в ре-алистском ключе, а обращение к «новым» (несиловым) измерениям носит редкий, ситуативный характер. Достаточно часто появляющиеся в выступлениях А. Бербок экономические, климатические и продовольственные проблемы значительно реже подвергались секьюритизации в речах российского министра, но, как было видно из карты биграмм выше, всё же затрагивались им.
При этом обращает на себя внимание низкий уровень секьюритизации Китая в публичных выступлениях обоих политиков: в рейтинге А. Бербок терм china занимает 111-ю позицию, в рейтинге С.В. Лаврова – 421-ю.
Предполагается, что дальнейшая фрагментация каждого текста выступления политиков на абзацы или предложения позволит повысить точность выводов, основанных на анализе значений коэффициента корреляции.
Заключение . Таким образом, анализ восприятия угроз в выступлениях глав министерств иностранных дел России и Германии позволяет сделать несколько выводов.
Во-первых, несмотря на наличие серьёзных разногласий в интерпретации вопросов безопасности между главами дипломатических ведомств России и Германии, их подходы к определению спектра секторов, связанных с проблематикой безопасности, в значительной мере совпадают. Единственным исключением является гендерное измерение, апелляции к которому отсутствуют в выступлениях С.В. Лаврова за рассмотренный период.
Во-вторых, хотя в европейском пространстве безопасности возник очаг открытого военносилового противостояния с опосредованным вовлечением в него западных государств (в том числе Германии), само по себе силовое измерение безопасности доминирует только в риторике российского министра, в то время как для восприятия А. Бербок характерно большее внимание неконвенциональным аспектам безопасности.
Использованная в данной работе методика исследования восприятия угроз оставляет возможность для расширения области исследуемых явлений за счёт увеличения рассматриваемого хронологического периода, включения в исходный корпус текстов выступлений представителей других государств, а также рассмотрения текущего изменения восприятия угроз «в реальном времени» на основе регулярного включения новых выступлений политиков в корпус текстов и последующей актуализации количественных данных, лежащих в основе сравнительного анализа восприятия международных угроз.
Список литературы Секьюритизация международных угроз в выступлениях министров иностранных дел России и ФРГ (2021-2023 гг.): количественный анализ
- Специфика национальной идентичности в риторике руководства ФРГ (по выступлениям на Мюнхенской конференции по безопасности (2014–2022 гг.) / А.П. Соколов [и др.] // Полис. Политические исследования. 2023. № 4. С. 105 –121. https://doi.org/10.17976/jpps/2023.04.08.
- Токарев А.А. Стратегии украинских элит в отношении Донбасса: «Big Data»-исследование национального сегмента Facebook // Вестник МГИМО-Университета. 2016. Т. 6, № 51. C. 97–105. https://doi.org/10.24833/2071-8160-2016-6-51-97-105.
- Buzan B. Rethinking Security after the Cold War // Cooperation and Conflict. 1997. Vol. 32, no. 1. P. 5–28. https://doi.org/10.1177/0010836797032001001.
- Edinger H. Offensive ideas: structural realism, classical realism and Putin's war on Ukraine // International Affairs. 2022. Vol. 98, no. 6. P. 1873–1893. https://doi.org/10.1093/ia/iiac217.
- Informing policy with text mining: technological change and social challenges / K. Gyódi [et al.] // Quality & Quan tity. 2023. Vol. 57, no. 1. P. 933–954. https://doi.org/10.1007/s11135-022-01378-w.
- Media coverage in times of political crisis: A text mining approach / E. De Fortuny [et al.] // Expert Systems with Applications. 2012. Vol. 39, no. 14. P. 11616–11622. https://doi.org/10.1016/j.eswa.2012.04.013.
- Neves F.L.F., Massarani L. Politics, economy and society in the coverage of COVID-19 by elite newspapers in US, UK, China and Brazil: a text mining approach // Journal of Science Communication. 2022. Vol. 21, no. 07. Article A04. https://doi.org/10.22323/2.21070204.
- Redek T., Godnov U. Twitter as a Political Tool in EU Countries During The Economic Crisis: A Comparative Text –Mining Analysis // Društvena istraživanja. 2018. Vol. 27, no. 4. P. 691–711. https://doi.org/10.5559/di.27.4.06.
- Stritzel H. Towards a Theory of Securitization: Copenhagen and Beyond // European Journal of International Relations. 2007. Vol. 13, no. 3. P. 357–383. https://doi.org/10.1177/1354066107080128.
- Van Meter K.M., de Saint Léger M. Co-Word Text Analysis Applied To Political Science: 2006 International Political & "Parapolitical" Headlines // Bulletin of Sociological Methodology. 2008. Vol. 97, no. 1. P. 18–38. https://doi.org/10.1177/075910630809700104.
- Yamada T. Transforming the Dynamics of Climate Politics in Japan: Business’ Response to Securitization // Politics and Governance. 2021. Vol. 9, no. 4. P. 65–78. https://doi.org/10.17645/pag.v9i4.4427.