Методика идентификации текстов, сгенерированных большими языковыми моделями

В статье представлена методика идентификации русскоязычных текстов, сгенерированных большими языковыми моделями (LLM). Методика разработана с фокусом на короткие сообщения длиной от 100 до 200 символов. Актуальность работы обусловлена широким распространением генеративных моделей, таких как GPT-3.5, GPT-4o, LLaMA, GigaChat, DeepSeek, Yandex GPT. Методика основана на ансамбле моделей машинного обучения, также используются признаки трех уровней: лингвистические (структура, пунктуация, морфология, лексическое разнообразие), статистические (энтропия, перплексия, частотность n-грамм), семантические (эмбеддинги RuBERT). В качестве базовых моделей применяются LightGBM, BiLSTM и предобученная трансформерная модель RuRoBERTa, объединенные стеккингом через логистическую регрессию. Выбор гибридного ансамблевого подхода обусловлен стремлением учесть признаки на разных уровнях иерархии текста и обеспечить надежность классификации в условиях разных тематик генерируемых текстов, различных версий и видов языковых моделей. Применение ансамбля является преимуществом при анализе коротких текстов, поскольку LightGBM, опирающаяся на усредненные показатели, менее чувствительна к длине (метрика перплексии уже усреднена по всему тексту), тогда как BiLSTM и RoBERTa, способны выявлять локальные признаки LLM-текста, а не только глобальные. Набор данных естественных текстов включает более 2,8 млн пользовательских комментариев из социальной сети «ВКонтакте». Набор данных LLM-текстов содержит 700 тыс. текстов, сгенерированных семью актуальными большими языковыми моделями. При проведении генерации текстов применялись тематическое моделирование (LDA) и ролевая генерация с использованием промпт-инжиниринга. Проведена оценка методики на открытых датасетах русскоязычных LLM-текстов. Результаты экспериментов показали точность до 0,95 в задаче бинарной классификации («Человек–LLM») и до 0,89 в многоклассовой задаче определения модели-генератора. Методика демонстрирует устойчивость к разнообразию источников, стилей и версий LLM.