Контекстное разрешение полисемии при машинном переводе: оценка LLM (на материале перуанского варианта испанского языка)
Журнал: Вестник Пермского университета. Российская и зарубежная филология @vestnik-psu-philology
Рубрика: Язык, культура, общество
Статья в выпуске: 3 т.18, 2026 года.
Бесплатный доступ
Статья посвящена проблеме машинного перевода культурно-специфичной лексики национальных вариантов испанского языка с использованием больших языковых моделей (LLM). Анализируется способность LLM к контекстному разрешению полисемии при переводе лексических единиц перуанского варианта испанского языка на русский язык. Актуальность исследования обусловлена недостаточной изученностью влияния культурного смещения LLM на качество перевода полисемантичной лексики, а также разрывом между лексикографически зафиксированными и не зафиксированными значениями в обучающих данных моделей. Цель работы – оценить способность трёх LLM (Gemini 2.5 Pro, Manus, Claude Sonnet 4.5) к переводу полисемантов в контексте и выявить паттерны ошибок. Применена адаптированная четырёхпараметрическая методология Park и Padó с введением параметра Cultural Adequacy для оценки сохранения культурного компонента значения. Материалом послужили три полисеманта в шести аутентичных контекстах, извлеченных из цифровых источников, таких как блоги и социальные сети. Результаты исследования показали, что модели без склонности к галлюцинациям демонстрируют на 24 % более высокое качество перевода. Выявлен значительный разрыв при работе с академически не зафиксированными значениями: Claude Sonnet 4.5 показывает снижение качества на 28 %, тогда как Gemini 2.5 Pro и Manus сохраняют относительную стабильность. На основе полученных данных разработаны практические рекомендации по выбору LLM для задач машинного перевода культурно-маркированной лексики перуанского варианта испанского языка.
Короткий адрес: https://sciup.org/147255372
IDS: 147255372 | УДК: 811.134.2’25:004.8 | DOI: 10.17072/2073-6681-2026-3-56-64
Contextual Polysemy Resolution in Machine Translation: Evaluating LLMs on the Peruvian Variety of Spanish
. The article addresses a topical issue in machine translation of culture-specific vocabulary from national variants of Spanish using large language models (LLMs). The main focus is on the ability of LLMs to resolve polysemy in context when translating lexical units of the Peruvian variant of Spanish into Russian. The research problem stems from insufficient study and understanding of how cultural bias in LLMs affects translation quality of polysemous vocabulary, as well as from the gap between lexicographically recorded and unrecorded meanings in model training data. The study aims to evaluate the capability of three LLMs (Gemini 2.5 Pro, Manus, Claude Sonnet 4.5) to translate polysemous lexemes in context and identify error patterns. An adapted four-parameter methodology by Park and Padó was applied, introducing the Cultural Adequacy parameter to assess preservation of cultural components of meaning. The material comprised three polysemous lexemes in six authentic contexts extracted from digital sources such as blogs and social media. Results demonstrate that models less prone to hallucinations achieve 24 % higher translation quality. A significant gap was identified in handling academically unrecorded meanings: Claude Sonnet 4.5 shows a 28 % quality decline, whereas Gemini 2.5 Pro and Manus maintain relative stability. Based on the findings, practical recommendations were developed for selecting LLMs for machine translation tasks involving culturally marked vocabulary of the Peruvian national variety of Spanish.
Текст научной статьи Контекстное разрешение полисемии при машинном переводе: оценка LLM (на материале перуанского варианта испанского языка)
Перевод культурно-маркированной полисемантической лексики представляет особую сложность для систем машинного перевода (далее – МП), требуя сохранения семантики, стиля и культурного компонента [Yao et al. 2024; Naveen, Trojovský 2024]. LLM демонстрируют культурное смещение [Aksoy 2025], снижая точность в национальных вариантах [Pan et al. 2025]. Актуальность исследования обусловлена недостаточной изученностью способности LLM к контекстному разрешению полисемии в вариантах испанского, включая перуанский вариант испанского языка (ПВИЯ).
Цель исследования – оценить способность трех LLM к переводу полисемантов ПВИЯ в контексте с адаптированной методологией Park и Padó [Park, Padó 2024]. Выявляются паттерны ошибок и корреляция с изолированным распознаванием.
Научная новизна исследования заключается в анализе способности LLM к разрешению полисемии ПВИЯ, сопоставлении изоляции/кон-текста, адаптации методологии Park и Padó через введение параметра Cultural Adequacy. Практическая ценность исследования состоит в формировании рекомендаций по выбору LLM для перевода культурно-специфичной лексики
ПВИЯ и выявлении системных проблем (культурное смещение, галлюцинации, ошибки), понимание которых улучшает качество итогового перевода.
Теоретическая база исследования
Согласно словарю RAE (Diccionario de la lengua española), перуанизмы – это слова и выражения, специфичные для испанского языка Перу. Формирование ПВИЯ происходило под влиянием автохтонных языков, что обусловило его лингвокультурную специфичность [Контрерас Сарриа 2022; Harper 2019].
Перевод культурно-специфических единиц представляет проблему культурологической эквивалентности [Межова 2012; Тарнаева 2008]. Выбор стратегии требует баланса между сохранением культурных маркеров и понятностью для аудитории (принцип «лояльности» [Nord 2018]). Работа с полисемией лексических единиц ПВИЯ требует глубокого лингвокультурного знания для правильного выбора значения и переводческой трансформации [Селимов, Федорова 2025: 93–99].
Для оценки перевода перуанизмов мы адаптируем трехпараметрическую систему Park и Padó, разработанную на основе методологии MQM [Lommel, Uszkoreit, Burchardt 2014]. Исходная трехпараметрическая система (Accuracy, Fluency, Style) была дополнена параметром Cultural Adequacy для оценки сохранения культурного компонента.
Материал исследования и методология Эмпирическая база исследования
Эмпирическая база исследования сформирована на основе двух этапов: предварительного тестирования и основного исследования.
Предварительный этап (август–октябрь 2025) включал оценку способности пяти LLM (Gemini 2.5 Pro, Claude Sonnet 4, Grok 4, GPT-5, Manus) к распознаванию 10 перуанизмов в изоляции на основе опроса носителей ПВИЯ (2023 г.). Моделям задавался унифицированный запрос на перечисление значений лексемы. Оценка проводилась по шкале 0–2 балла. Результаты выявили высокую точность (75–95 %): Manus – 19/20 (95 %); Grok 4 – 17/20 (85 %); Gemini 2.5 Pro и GPT-5 – по 16/20 (80 %); Claude Sonnet 4 – 15/20 (75 %). Это обосновало переход к основному вопросу – контекстному разрешению полисемии.
Кроме того, на предварительном этапе анализировались галлюцинации (генерируемый моделью правдоподобный, но фактически неверный контент [Huang et al. 2025]) среди альтернативных интерпретаций от LLM. Из 11 альтернатив: 3 (27 %) – галлюцинации, 6 (55 %) – частично подтвержденные, 2 (18 %) – полностью подтвержденные (опрос носителей ПВИЯ, октябрь 2025 г.). Grok 4, GPT-5 и Claude Sonnet 4 проявили склонность к галлюцинациям с выражением hay nos vidrios polarizadoooos (шутливая форма ahí nos vidrios , единично употребленная в соцсети), в отличие от Gemini 2.5 Pro и Manus (0 % галлюцинаций).
Для основного исследования отобраны три модели: Gemini 2.5 Pro (отсутствие галлюцинаций), Manus (лидер по точности) и Claude Sonnet 4.5 (серия ранее показала наибольший прогресс
[Селимов 2025]). Модели Grok 4 и GPT-5 исключены для сохранения оптимального объема исследования.
Материал основного исследования: три перуанских полисеманта с тестируемыми в контекстах контрастными значениями (А и Б), демонстрирующими разрыв между лексикографической фиксацией и живым употреблением:
-
1. la cojinova : Значение А (Diccionario de americanismos) – «вид рыбы»; Значение Б (опрос носителей, Diccionario Libre, не зафиксировано в академических словарях) – «глупый/наивный человек».
-
2. el mote : Значение А (общеиспанское, RAE) – «прозвище»; Значение Б (незафиксированное, опрос носителей) – «акцент» (андийский, также иностранный).
-
3. chaufa : Значение А (гипотеза из переводного контекста настоящего исследования, верифицирована опросом носителей ПВИЯ в ноябре 2025 г.) – «сильно смуглый цвет кожи»; Значение Б (незафиксированное, предварительно подтверждено в анкетировании носителей ПВИЯ по альтернативным интерпретациям от ИИ) – «беспо-рядок/хаос»; др. значения: Diccionario de americanismos – «формула прощания (характерно для Перу)», RAE – лексема не зафиксирована.
Процедура исследования и система оценки
Корпус исследования состоит из шести аутентичных испаноязычных контекстов (по два на каждый из трех полисемантов: la cojinova , el mote , chaufa ), иллюстрирующих их контрастные значения (А и Б). Контексты извлечены из цифровых источников (блоги, социальные сети, пресса) (таблица).
Используемый корпус аутентичных контекстов для оценки контекстного разрешения полисемии
Corpus of authentic contexts used to evaluate contextual polysemy resolution
|
№ |
Лексема |
Тестируемое значение |
Испаноязычный контекст |
|
1 |
la cojinova |
А («вид рыбы») |
El Dr. Peter Allen es Profesor Asociado de la Universidad Estatal de Mississippi […] colaborando en el estudio de la cojinova con el Dr. Álvarez y otros investigadores locales […] |
|
2 |
la cojinova |
Б («глупый человек») |
Пост: La Betsy se metió, con el periodista equivocado, se estrelló [смех]. y parece que lo años lo están haciendo entender al Chato el camino correcto. Комментарий: Jajajaja esa tia se hace la cojinova |
|
3 |
el mote |
А («прозвище») |
Luka Romero dejó de lado cualquier tipo de comparación con Lionel Messi y […] se le puso mote de ser el nuevo heredero del talento del 10 y Luka hasta fue llamado el 'Messi mexicano' |
Окончание таблицы
|
№ |
Лексема |
Тестируемое значение |
Испаноязычный контекст |
|
4 |
el mote |
Б («акцент») |
Si bien es cierto que tengo el acento limeño, tengo otra personalidad, otro acento. Cuando voy a la casa de mi abuelita Teresita, me es inevitable hablar con su acento […]. Como dice mi papá, el mote lo llevo en la sangre |
|
5 |
chaufa |
А («сильно смуглый цвет кожи») |
Y si ves a su marido color chaufa intenso, te infartas... [смех] Cuando los ubiqué, casi me da el real soponcio [смех] |
|
6 |
chaufa |
Б («беспо-рядок/хаос») |
[…], «el único castellano válido no es aquel conocido como “lengua estándar” […]; también es el que hablas tú, causita». En resumen: no una chanfaina, sino, más bien, un chaufa de palabras, como bien lo sabe Julio Barco, el poeta peruano, autor de este [...] libro [...], Chaufa (Higuerilla Editorial, 2024) |
Процедура перевода проводилась тремя моделями в «слепом» режиме (без указания на ПВИЯ). Для пяти контекстов применялся унифицированный промпт («Переведи на русский: [контекст]»), для одного (№ 2, комментарий в соцсети) – расширенный с дополнительным контекстом («Переведи на русский следующий комментарий к посту [текст поста]: [комментарий]»). Получено 18 уникальных переводов.
Система оценки качества перевода – адаптированная четырехпараметрическая на основе разработки Park и Padó: Accuracy (точность выбора значения полисеманта в контексте); Fluency (естественность и грамматическая правильность на русском); Style (сохранение стилистической окраски оригинала); Cultural Adequacy (передача культурно-специфического компонента). Каждый параметр оценивался по шкале 0–4 баллов (0 – несоответствие, 4 – идеальное соответствие); максимум для перевода – 16 баллов.
Оценка проводилась методом двухэкспертной слепой оценки (автор идеи исследования и независимый эксперт – кандидат филологических наук, DELE C2). Итоговый балл – среднее арифметическое двух оценок для снижения субъективности.
Результаты исследования
Количественный анализ
Итоговые результаты двухэкспертной оценки 18 переводов (сумма баллов по четырем параметрам, среднее двух экспертов):
– идеальные (16,0) – 3 (17 %): контекст cojinova в значении «дурочка» (Gemini 2.5 Pro, Manus), mote в значении «прозвище» (Manus);
– отличные (14,0–15,5) – 11 (61 %): chaufa в значении «беспорядок» (Manus – 15,0), «смуглый» (Manus – 15,0); cojinova в значении «рыба» (Manus – 15,5, Gemini – 14,5, Claude – 14,0); mote в значении «прозвище» (Claude – 15,5, Gemini – 14,0), «акцент» (Gemini, Manus – по 15,5);
– хорошие/удовлетворительные (12,0–13,0) – 2 (11 %): chaufa в значении «беспорядок» (Gemini – 13,0), «смуглый» (Claude – 12,5);
– неудовлетворительные (≤10,0) – 2 (11 %): cojinova в значении «дурочка» (Claude – 9,0), mote в значении «акцент» (Claude – 9,0).
Сравнительный анализ моделей по средним баллам (по 6 переводов): Manus – 15,50 (σ = 0,45, 1-е место)1; Gemini 2.5 Pro – 14,17 (σ = 1,51, 2-е место); Claude Sonnet 4.5 – 12,00 (σ = 2,63, 3-е место).
Анализ результатов по типам значений:
-
– академически зафиксированные ( cojinova – «рыба», mote – «прозвище»): Gemini 2.5 Pro – 14,25, Manus – 15,75, Claude Sonnet 4.5 – 14,75, среднее – 14,92;
-
– академически не зафиксированные: Gemini 2.5 Pro – 14,13, Manus – 15,38, Claude Sonnet 4.5 – 10,63, среднее – 13,38;
– разница: -0,12; -0,37; -4,12 соответственно по LLM; среднее – -1,54.
Ключевая находка: Claude Sonnet 4.5 показывает существенный разрыв (-4,12 балла, 28%) между переводом зафиксированных и незафиксированных значений, в отличие от более стабильных Gemini 2.5 Pro (-0,12) и Manus (-0,37).
Репрезентативные примеры переводов
Для иллюстрации спектра качества переводов представлены три примера: идеальный, средний и неудовлетворительный перевод.
Пример 1. Идеальный (16/16) – Manus, cojinova в значении «дурочка» (см. таблицу, № 2). Перевод: «Хахахаха, эта тетка прикидывается дуроч-кой/невинной овечкой». Оценка: 4/4/4/4 (оба эксперта). Анализ: Полное распознавание переносного значения, естественность и ирония сохранены.
Пример 2. Средний (12/16) – Claude Sonnet 4.5, chaufa в значении «беспорядок» (см. таблицу, № 6). Перевод: «не какая-то там чанфайна, а скорее чауфа из слов». Примечания от модели: chanfaina – испанское рагу из потрохов, chaufa – перуанское блюдо из жареного риса (часть китайско-перуанской кухни); автор противопоставляет их как кулинарную метафору. Оценки: 3/3/4/3 и 3/3/2/3. Анализ: Понята метафора, но транслитерация снижает доступность (в отличие от «мешанина» у Gemini/Manus).
Пример 3. Неудовлетворительный (9/16) – Claude Sonnet 4.5, mote в значении «акцент» (см. таблицу, № 4). Перевод: «Как говорит мой папа, моте у меня в крови». Примечание от модели: «моте» – андское блюдо, используется здесь как метафора связи с корнями и культурой. Оценка: 0/2/4/0 и 3/3/2/4. Анализ: Игнорирование 4 упоминаний acento из оригинального контекста, неверная интерпретация; максимальное расхождение экспертов в подходе к оценке (6 баллов).
Анализ результатов
Сравнительный анализ моделей и корреляция с предварительным этапом
Результаты подтверждают корреляцию между галлюцинациями в изоляции и качеством контекстного перевода. Модели без галлюцинаций (Gemini 2.5 Pro, Manus) показывают средний балл 14,84, на 24% выше, чем у Claude Sonnet 4.5 (12,00, 25% галлюцинаций в версии 4). Обновление до 4.5 не устранило проблему: зафиксированы ошибки – mote как «перуанское блюдо» вместо «акцент», cojinova как «крутая» вместо «дурочка».
Максимальный разрыв наблюдается при переводе академически незафиксированных значений в контексте: Gemini/Manus – 14,75, Claude – 10,63 (разница 39 %). При зафиксированных значениях LLM демонстрируют достаточно близкие результаты: 14,25 / 15,75 / 14,75 (разница 10%).
Гипотеза: LLM лучше воспроизводят лексикографически зафиксированные значения из академических корпусов, тогда как незафиксированные (характерные для устной речи и соцсетей) слабо представлены в обучающих данных моделей с низким покрытием национальных вариантов.
Учет погрешностей в работе с носителями языка
Обращает на себя внимание методологически значимая находка, выявленная в ходе верификации значений через опросы носителей ПВИЯ: орфографическая путаница семантически различных лексем.
В тексте Álvarez (см. таблицу, № 6) автор использует противопоставление chanfaina/chaufa. Опрос носителей ПВИЯ (ноябрь 2025) подтвер- дил: chanfaina – «беспорядочная/плохая смесь», chaufa – «гармоничная/хорошая смесь». Однако личная переписка с носителем указала, что именно chanfaina (а не chaufa) употребляется для беспорядка, что побудило провести контрольный опрос «Какое слово обозначает беспорядок/мешанину?» (варианты: chanfaina, chaufita, chaufa). Респонденты единогласно выбрали chanfaina, тем самым подтвердив, что chaufa в значении «хаос» – авторская метафора. Таким образом, опросы выявили орфографическую путаницу даже среди носителей ПВИЯ – феномен, согласующийся с проблемой орфографической вариативности в испанском языке [Portillo López 2025].
Показательно, что все три модели (Gemini 2.5 Pro, Manus, Claude Sonnet 4.5) правильно интерпретировали противопоставление в тексте Álvarez (баллы 12,0–15,0), демонстрируя способность LLM к контекстуальной интерпретации авторских метафор. При этом модели не воспроизвели путаницу носителей — вероятно, из-за обучения на отредактированных корпусах и, возможно, отсутствия фонетического компонента в обучающих данных.
Выявленная путаница подчеркивает методологическую сложность верификации незафиксированных значений: она обнаружилась только при одновременном предъявлении орфографически близких вариантов. Рекомендуется предварительно идентифицировать потенциально путающиеся формы через корпусный анализ и неакадемические источники (напр., Diccionario Libre) и включать их в опросы как альтернативные варианты.
Межэкспертное расхождение
Процесс двухэкспертной оценки выявил значительные расхождения в интерпретации качества перевода. Средняя разница между оценками составила 1,28 балла (8 % от максимального), при этом максимальное расхождение достигло 6 баллов (38 %) в случае перевода Claude Sonnet 4.5 для mote в значении «акцент».
В ходе анализа результатов нельзя было не заметить принципиальное различие в методологии оценки, стихийно избранной экспертами без предварительного согласования. Подход, основанный на анализе ошибок, предполагает оценку на уровне отдельных лексических единиц с фокусом на точности передачи каждого элемента [Waddington 2001]. Холистический подход приоритизирует адекватность целостного восприятия текста, оценивая передачу общего коммуникативного намерения [там же].
Эксперт 1 применял первый подход: противоположные значения ( cojinova – «крутая» вместо «дурочка») и семантические искажения ( mote –
«перуанское блюдо из кукурузы» вместо «акцент») квалифицировались как полный провал (Accuracy = 0, Cultural Adequacy = 0). Эксперт 2 применял холистический подход: те же переводы получали частичные баллы (Accuracy 2–3, Cultural Adequacy 2–4) с аргументацией, что читатель понимает общую мысль, а транслитерация с пояснениями может представлять из себя форенизацию, легитимную переводческую стратегию.
Расхождение в подходах экспертов отражает дилемму переводческой «лояльности» [Nord 2018]: Эксперт 1 фокусировался на лояльности тексту, а Эксперт 2 — на лояльности читателю. Это ставит методологическую проблему оценки критериев переводческих стратегий (например, форенизации) применительно к LLM, учитывая, вероятно, отсутствие интенции у модели.
Анализ расхождений между экспертами позволяет предположить, что будущие исследования могут повысить надежность оценки за счет предварительной спецификации уровня анализа — микроуровень (точность передачи лексем) или макроуровень (целостное восприятие), с раздельной оценкой по каждому уровню или указанием приоритетного уровня.
Заключение
В рамках представленного исследования была оценена способность трех LLM (Gemini 2.5 Pro, Manus, Claude Sonnet 4.5) к контекстному разрешению полисемии культурно-маркированной лексики перуанского варианта испанского языка. Адаптированная методология Park и Padó с параметром Cultural Adequacy позволила оценить сохранение культурного компонента значения.
Перейдем к обобщению результатов.
-
1. Модель Manus (15,50/16) продемонстрировала наилучшие результаты, опередив Gemini 2.5 Pro (14,17/16) и Claude Sonnet 4.5 (12,00/16).
-
2. Обнаружена корреляция: модели без галлюцинаций (Manus, Gemini 2.5 Pro) показали на 24 % более высокое качество контекстного перевода, чем Claude Sonnet 4.5.
-
3. Выявлен значительный разрыв в переводе зафиксированных и незафиксированных значений: Claude Sonnet 4.5 снижает качество на 28% для незафиксированных значений, в то время как Manus и Gemini 2.5 Pro сохраняют относительную стабильность.
-
4. LLM способны интерпретировать авторские метафоры на основе контекста, не воспроизводя орфографическую путаницу ( chanfaina / chaufa ), выявленную у носителей ПВИЯ.
-
5. Двухэкспертная оценка выявила расхождения (до 38 %), обусловленные различием подходов (анализ ошибок/холистический). Это рас-
хождение воплотило дилемму переводческой «лояльности» [Nord 2018], что ставит методологическую проблему применения антропоцентричных критериев (как форенизация) к оценке машинного перевода.
Полученные данные указывают на то, что для перевода культурно-маркированной лексики ПВИЯ предпочтение следует отдавать Manus и Gemini 2.5 Pro, демонстрирующим стабильность в работе с незафиксированными значениями. В случае использования Claude Sonnet 4.5 целесообразно предусматривать этап постредактирования, особенно для контекстов с незафиксированной лексикографически семантикой.
Данное исследование имеет ряд ограничений. Во-первых, ограниченный объем выборки (три лексемы и шесть контекстов) может снижать репрезентативность выводов и возможность их обобщения. Во-вторых, метод верификации значений через опросы носителей ПВИЯ выявил методологические сложности, включая субъективность восприятия незафиксированных значений и орфографическую путаницу (например, chanfaina и chaufa ), что требует триангуляции методов. В-третьих, отсутствие четкой спецификации уровня анализа (микро- и макроуровня) при оценке переводов стало причиной значительных межэкспертных расхождений (до 38 %), что указывает на необходимость стандартизации критериев оценки, особенно при работе с культурно-специфичными единицами. Устранение этих ограничений в будущих работах повысит надежность и обобщающую способность исследований.
В заключение отметим перспективы дальнейших исследований:
-
1) расширение выборки на другие типы культурно-маркированной лексики ПВИЯ;
-
2) сравнительный анализ различных национальных вариантов испанского языка;
-
3) разработка стандартизированной методологии оценки с явной спецификацией уровня анализа;
-
4) исследование влияния промпт-инженерии на качество перевода культурно-маркированной лексики.