Галлюцинации языковых моделей в зеркале прецедентных выражений

Любая языковая модель формирует свой ответ, основываясь на больших данных. Методом машинного обучения наиболее значимые фрагменты обучающего корпуса включаются в языковую модель, которая в дальнейшем оперирует не исходными текстами, а последовательностями токенов (слов/морфем). В этой последовательности выбор каждого следующего элемента связан с набором предыдущих. Создатели нейросетей часто сравнивают процесс речепорождения ИИ с продвинутым алгоритмом Т9, т. е. он напоминает предиктивную систему набора текстов для мобильных телефонов, позволяющую набирать текст на клавиатуре с большой скоростью за счет того, что после написания нескольких букв слова система предлагает наиболее распространенное слово целиком ( КОМП… ЬЮ-ТЕР?/АНИЯ?/РЕССОР? ). Так и языковая модель стремится продолжить начатую пользователем фразу или диалог (исходя из статистики и полагаясь на ассоциативные связи) подобно поисковым строкам с подсказками ( кто убил … Кеннеди? Пушкина? Блэкберри? ).

Исследователи ИИ обнаруживают, что существующие языковые модели значительно недообучены, учитывая их большой размер, поскольку имеют тенденцию быстро насыщаться, как бы «уставая» читать [6; 10]. Также исследователи выявили, что языковые модели после определенного этапа перестают усваивать данные, подобно рассыпчатому снежному кому в сухую погоду, который при наборе критической массы перестает «схватывать» новые слои снега [9]. Возникает вопрос о том, как перестающий обучаться трансформер будет отвечать на запросы, выходящие за рамки его знаний (лакуны). Концепция искусственного интеллекта предполагает, что это будет сделано методом аналогии, т. е. ИИ планирует выдать желаемое за действительное, использовав существующие в памяти ассоциации в качестве ответа на поставленный вопрос.

С другой стороны, при сильном масштабировании (увеличении параметров) у модели наблюдаются галлюцинации [5; 8]. Отвечая на запрос пользователя, ИИ предполагает вероятное следующее слово, основываясь на массиве предыдущих данных.

Таким образом, мы видим две тенденции: первая – перестав обучаться, модель «варится в собственном соку», пытаясь найти ответы на новые вопросы в старых текстах, проявляя «усталость»; вторая – чем больше модель учится, тем больше галлюцинирует. Таким образом, независимо от объема и опыта модель стремится галлюцинировать, даже когда экономит ресурсы. Поэтому некоторые исследователи считают, что избавиться от галлюцинаций в принципе невозможно из-за самого принципа работы нейросетей [7], так как галлюцинации являются неотъемлемой частью больших языковых моделей по указанным ранее двум причинам.

Исследования в области лингвокультурологии и анализ прецедентных текстов создают теоретическую основу для рассмотрения феномена лингвокультурных лакун в языковых моделях. Так, Г. Г. Слышкин в монографии «От текста к символу: лингвокультурные концепты прецедентных текстов в сознании и дискурсе» отмечает, что прецедентные тексты выступают в качестве носителей культурно значимых смыслов, формируя коллективную символическую память общества [3]. В контексте языковых моделей искусственного интеллекта это означает, что отсутствие доступа к прецедентным текстам (например, фольклору, литературным классикам, историческим высказываниям) может приводить не только к лингвокультурным лакунам, но и к галлюцинациям модели, не понимая культурного контекста, пытаются «додумать» значение, опираясь на статистику, а не на символический смысл. Таким образом, текст, который для человека является культурным символом [2], для ИИ может остаться просто набором слов, что порождает иллюзию компетентности при реальном отсутствии понимания.

В свою очередь, В. Г. Костомаров и Н. Д. Бурвикова подчеркивают, что тексты становятся прецедентными тогда, когда они закрепляются в массовом сознании и начинают использоваться как культурные маркеры коммуникации [1]. Данный подход позволяет выявить механизмы, через которые нейросетевые модели усваивают или искажают прецедентные элементы при генерации текста.

Эта идея особенно актуальна при анализе ошибок языковых моделей: если модель не распознает прецедентный характер высказывания (например, цитату из Пушкина или фразеологизм с глубокой культурной пронизанностью), она может интерпретировать его буквально или трансформировать в искаженную форму.

В проведенном исследовании мы приняли за гипотезу положение о том, что галлюцинация — следствие лакуны в обучающем массиве, которую модель заменяет статистикой, т. е. отсутствующую информацию заменяет наиболее частотным токеном большой языковой модели. Согласившись со словами исследователя из Университета Пенсильвании о том, что «оценка вероятности следования одних слов за другими не является надежным способом убедиться, что итоговое предложение соответствует действительности, ИИ может собрать вместе термины, которые звучат правдоподобно, но не являются точными» [4]. Добавим, что нейросеть свой ответ замещает помимо статистики набором ассоциаций и стилистическим подражанием, стремясь «выдавать правдоподобно звучащие ответы» на запросы пользователей. Основываясь на этом, мы предположили, что для оценки предобу-чающей выборки, которую себе сформировала языковая модель из большого массива данных, вполне логичным будет использование ассоциативного эксперимента, включающего задачи на продолжение фраз и проверку стилистического чутья. Образно говоря, чтобы оценить, на каких именно книгах вырос взрослый человек, остановившийся в познании мира вследствие пресыщения, возрастного шовинизма и скепсиса, нужно задать ему несколько вопросов, ответы на которые позволят нам оценить его интеллектуальный багаж и, наоборот, невежество. Та- ким образом, цель проведенного исследования — определить жанрово-стилистические характеристики и объем массива данных, на котором осуществлялось предобучение двух моделей ИИ.

Материалы и методы исследования

В качестве материала выбрано два наиболее совершенных трансформера — иностранный ChatGPT 4 (через Copilot) от OpenAI и отечественнный YandexGPT 4 Pro RC.

Исследование проводилось методом запросов в виде одинаковых формулировок для чистоты эксперимента в одно и то же ночное время во избежание пиковой нагрузки, когда GPT 4 может из-за нехватки ресурсов упроститься до версии 3.5. Формулировки промптов выглядят следующим образом: « дополни прецедентные тексты, укажи источник » // « дополни известные фразы, укажи источник ».

Далее был приведен ряд прецедентных текстов и выражений из русской национальной культуры и публицистики со следующими критериями: распространенность в массовом сознании, идиоматичность, невозможность вариативности в ответе. Всего было подобрано две группы: 125 прецедентных выражений с различных интернет-ресурсов (фразы из кинофильмов, фразеологизмы, рекламные слоганы). Предполагается, что по данным фразам можно не только выявить человека, чуждого русской культуре, но и определить, кто ведет беседу – искусственный интеллект или естественный.

Результаты

Приведем сравнительную таблицу с наиболее интересными результатами обращения к двум нейросетям. В первом столбце приведена прецедентная фраза с пропущенным словом, во втором и третьем — ответы двух ГПТ с вариантами ее завершения, в четверт ом — контрольный материал (правильный ответ).

Желтым и красным цветами выделены случаи галюцинирования в двух разных пониманиях: 1) уверенная реакция ИИ, которая не подтверждается данными его обучения; 2) вымышленные ответы, не имеющие отношения к действительности».

Зеленым цветом отмечены правильные ответы ИИ при неправильной галюци-нированной аргументации. В случае, когда обе нейросети дали правильный ответ, пометок не делалось.

Фиолетовым цветом отмечены красноречивые для анализа ответы, когда ИИ Яндекса сообщает, что затрудняется ответить на запрос. Это свидетельствует о возможности такого ответа в том случае, когда у нейросети нет точной информации. Следовательно, в остальных случаях оба трансформера не подвергают свои ответы рефлексии, будучи уверенными в них.

Таблица 1

Выражение / прецедентный текст	YandexGPT 4 Pro • RC: Промпт — «Дополни прецедентные тексты, укажи источник»	GPT 4 (Copilot). Промпт — «Дополни известные фразы, укажи источник»	Правильный ответ
Ах, какой был мужчина — настоящий...	…мачо. Строчки из песни Ларисы Долиной «Погода в доме»	… герой (песня «Ах, какой был мужчина" группы "Кабриолет»)	полковник (из песни Аллы Пугачевой)
Бросай ..., вставай на ..., и вместо ... будет...	«Бросай... учебу», вставай на... колени», и вместо... работы будет... счастье». Здесь обыгрываются фразы из рекламных роликов начала 2000-х	Бросай диван , вставай на лыжи , и вместо жира будет мышца (рекламный слоган)	курить, лыжи, рака, грыжа (устойчивое выражение)
Головокружительный объем ваших ...	… планов возможная авторская фраза	… планов (фраза из фильма «Москва слезам не верит»)	волос (из рекламы шампуня «Шамту»)
Да да нет ...	«Да-да-нет, да-да-будет» — известная фраза из телепередачи «Что? Где? Когда?», по другой версии ее могли произносить в различных развлекательных и политических программах в период 90-х гг.	Да да нет да . Эта фраза обычно используется в анекдотах и разговорных ситуациях для выражения неопределенности или колебания	да (агитационный слоган перед референдумом 25 апреля 1993 года)
Девушка ... из Подмосковья	«Девушка из Подмосковья» — предположительно, по названию популярной песни	Девушка с веслом из Подмосковья (художественный образ, картина Александра Самохвалова)	Прасковья (из песни группы «Ума2рман»)
Как же тебе повезло, моей ...	… моей невест» — схожая по стилистике популярная фраза, также может быть изменена	… рыбке (фраза из фильма «Блондинка за углом»)	невесте (из песни группы «Мумий Тролль»)
Кузьмич, ты что, ... знаешь?	«…, белены объелся?» (Русская народная сказка «Дока на доку»)	…, брод знаешь? (к/ф «Особенности национальной охоты»)	…финский знаешь? (из к/ф "Особенности национальной охоты")
Любите, девочки, простых ...	... ребят». Строки из песни Михаила Звездинского	… ребят (разговорный оборот)	романтиков (из песни группы «Браво»)
Моя бабушка курит ...	… папиросы — из стихотворения К. М. Симонова «Ты помнишь, Алеша, дороги Смоленщины...»	… трубку (песня «Моя бабушка курит трубку» группы «Красная плесень»)	трубку (из песни Гарика Сукачева)

О ... гусаре замолвите слово	«О храбром гусаре замолвите слово» — фраза из художественного фильма «О бедном гусаре замолвите слово», режиссер Эльдар Рязанов		О доблестном гусаре замолвите слово (вариант использования фразы из фильма)	О бедном гусаре замолвите слово
О бедном ... замолвите слово	«О бедном Йорике замолвите слово» — цитата из произведения Уильяма Шекспира «Гамлет»		О бедном гусаре замолвите слово (к/ф «О бедном гусаре замолвите слово»)	О бедном гусаре замолвите слово
О бедном гусаре ... слово	«О бедном гусаре молвите слово» — измененная фраза из того же фильма		О бедном гусаре доброе слово (вариант использования фразы из фильма)	О бедном гусаре замолвите слово
О бедном гусаре замолвите ...	«О бедном гусаре замолвите слово » — финальная фраза из одноименного к/ф Эльдара Рязанова		О бедном гусаре замолвите слово (к/ф «О бедном гусаре замолвите слово»)	О бедном гусаре замолвите слово
Пиво без ... — деньги на ветер	… закуски … Распространенная фраза среди любителей пива		… пены … (рекламный слоган)	водки (из фильма «"Особенности национальной охоты»)
Пишу и жгу ...... лишь только ночью	«Пишу и жгу в своей руке ...... лишь только но чью» — измененная цитата из стихотворения «Умирающий гладиатор» поэта Алексея Константиновича Толстого. Полно-		Пишу и жгу письма лишь только ночью (песня «Письма» группы «Кино»)	я их (из песни группы «Ласковый май»)
	стью строчка звучит так	:
	«Ливийский кедр далеко	й 1
	Рощи благовонной / Под
	знойным солнцем спит; но
	только бурь заслышит вой,
	/ Он клонит пышную вер-
	шину, клонит стройный
	ствол, / Крутая грудь его
	волною ямбов дышит»
Розовый ..., дитя заката	… вечер … — из стихотворения С. А. Есенина «Неуютная жидкая лун-ность»		… закат … (песня «Розовый закат» группы «Кино»)	фламинго (из песни Алены Свиридовой)
Россия — ... наша держава,	«Россия — Родина наша держава		Россия — священная наша держава, Россия — любимая наша страна (гимн Российской Федерации)	священная, любимая (из гимна Российской Федерации)

Промпт-эксперимент на основе прецедентных текстов

ВЕСТНИК БУРЯТСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА

Солидный ... для солидных господ	«Солидный Господь для солидных господ» (К. Прутков)	Солидный внешний вид для солидных господ (реклама автомобилей)	Господь (из романа Виктора Пелевина «Generation П»)
Ты же ..., деточка	«Ты же девочка, деточка» — возможная фраза, которую часто используют в разговорной речи	Ты же знаешь , деточка (фраза из фильма «Брат 2»	лопнешь (из рекламы сока «Моя семья»)
У него ... камушек в груди	«У него в груди кусочек льда…» — цитата из популярной лирической песни	У него камушек в груди (песня группы «Сплин» «Выхода нет»)	гранитный (из песни группы «Божья коровка»)
Я на ..., как на ...	«Я на Марсе, как на даче» — может являться измененной цитатой из эстрадного творчества	Я на небе , как на земле (песня группы «Сплин» «Выхода нет»)	тебе, войне (из песни группы «Агата Кристи»)
Я не халявщик, я ...	«…партнер!» («Особенности национальной охоты»)	…   партнер   (фильм «ДМБ»)	партнер (из рекламы АО МММ)
Яндекс ... все	«знает …» — лозунг поисковой системы Яндекс, часто использовался в рекламных целях	…      найдет     … (рекламный слоган)	найдется (рекламный слоган интернет-поисковика «Яндекс»)

Заключение

Было определено, что в 90% своих ответов на продолжение прецедентных фраз нейросеть галлюцинирует, приводя неверные источники из той же исторической эпохи, что прогнозировалось, или жанра, что прогнозировалось, но не подтвердилось. Наиболее распространенные источники, приведенные в результате галлюцинаций Яндекс-ГПТ, — песни групп «Земляне» и «Ленинград», но лидером по лжецитированию стал фильм «Брат 2». В единственном же промпте с настоящей цитатой Данилы Багрова нейросеть Яндекса допустила ошибку (в отличие от Open AI).

ChatGPT 4, судя по галлюцинациям, неизвестные ему цитаты приписывает группам «Мумий Тролль», «ДДТ», «Кино», «Агата Кристи», «Красная плесень» и тоже фильму «Брат 2». На запрос же о продолжении аутентичной строчки из упомянутой группы «Мумий Тролль» нейросеть снова галлюцинирует. То есть нейросеть знает, как должны звучать тексты этой группы (во многом бессвязный поток красочных фраз), но не разбирается в содержании самих текстов.

В отличие от иностранного аналога ГПТ Яндекса не знает гимна России. Языковая модель Яндекса в отличие от продукта Open AI может отвечать, что не знает ответа на вопрос или не уверена. Следовательно, можно сделать вывод, что в остальных случаях определения источников она считала себя уверенной в ответе.

Одинаково хорошо оба ИИ знают рекламу из 90-х, афоризмы Ельцина, поговорки, цитаты из Ильфа и Петрова, песни из советских фильмов и книги братьев Стругацких. Это приводит нас к мысли о том, что Big Data для обучения нейросети включали набор из этих текстов.

С точки зрения галлюцинаций в плане поиска источника цитаты особенно удивил стихотворный экспромт нейросети, которая придумала несуществующий стих «Умирающий гладиатор» поэта А. К. Толстого «Ливийский кедр далекой Рощи благовонной / Под знойным солнцем спит; но только бурь заслышит вой, / Он клонит пышную вершину, клонит стройный ствол, / Крутая грудь его волною ямбов дышит», пытаясь угадать фразу из песни группы «Ласковый май».

Предположения по принципу дополнения фразы оправдались: выбирается наиболее логичный по смыслу и частоте сочетаемости вариант. Иными словами, чем больше приведено слов перед пропуском, тем больше вероятность правильного ответа. Когда выбрать слово нужно только на основании одного предшествующего и последующих, правильного ответа обычно не бывает («Бросай... учебу», вставай на... колени», и вместо... работы будет... счастье»).

Дополнительно для тестирования влияния количества слов на предиктивные свойства одно прецедентное выражение «о бедном гусаре замолвите слово» было приведено в 4 вариативных промптах, отличающихся местом пропуска во фразе ( О бедном ... замолвите слово // О... гусаре замолвите слово // О бедном гусаре ... слово // О бедном гусаре замолвите ...). Промпт с фразой был последовательно задан с разными пропущенными словами. Недостающий элемент фразы мог располагаться в начале, середине и конце фразы. Такие фразы одинаковой длины помогают оценить статистический «вес» и силу «управления» слова, его влияние на выбор последующего. Как показало исследование, такую силу имеет прилагательное «бедный» («… Йорик » по предложению нейросети => « О бедном Йорике замолвите слово! » У. Шекспир «Гамлет»). Вес выражения «Бедный Йорик» в матрице Яндекс ГПТ выше, чем « бедный гусар », несмотря на длину общей фразы и влияние устойчивого выражения « замолвить слово ».

В перспективе нужно увеличить количество прецедентных выражений, где пропуском можно заменить любое слово (аналогично группе « за бедного гусара замолвите слово ») с целью определения влияния синтаксиса, порядка слов и семантического окружения на возможность галлюцинирования. Данный прием заслуживает отдельного исследования.

Таким образом, рассмотрение феномена лингвокультурных лакун и галлюцинаций в языковых моделях позволяет сделать ряд промежуточных выводов. Во-первых, галлюцинация в ответах ИИ не является случайной ошибкой, а представляет собой закономерный механизм компенсации отсутствующих знаний посредством статистического и ассоциативного подбора наиболее вероятных токенов. Во-вторых, выявлена прямая связь между лингвокультурной неполнотой обучающего корпуса и качеством генерации текста: чем меньше в корпусе прецедентных текстов, тем выше вероятность подмены культурных смыслов случайными статистическими сочетаниями. В-третьих, лингвокультурные лакуны, возникающие при обучении нейросетей без учета культурно-специфических контекстов, являются основным источником смысловых искажений, которые пользователь воспри- нимает как галлюцинации. Следовательно, в перспективе дальнейших исследований особое внимание следует уделить качественному составу обучающих данных, включающих тексты, обладающие прецедентным статусом в национальной культуре. Это позволит более точно моделировать не только языковую, но и культурную компетенцию искусственного интеллекта.