Интерпретация внутренних представлений BERT для задачи классификации текстов, содержащих рассуждение

DOI:

Бинарная классификация текстов на наличие рассуждений (логических связок, аргументации, причинно-следственных отношений) представляет практический интерес в ряде сценариев. Она позволяет фильтровать тексты, выделяя материалы с рассуждениями среди описательных или повествовательных, а также может использоваться для предварительной разметки данных при сборе специализированных датасетов, ориентированных на анализ логических связей, например, аналогичных SNLI на русском языке [3]. Наличие рассуждений помогает аннотаторам сосредоточиться на информативных примерах и ускоряет процесс разметки. Автоматизация выявления текстов с рассуждениями имеет потенциал для применения в системах обработки пользовательского контента, образовательных платформах и системах анализа юридических документов.

Существующие методы классификации, такие как TF-IDF с ансамблями моделей или LSTM с предобученными статическими векторами слов, обладают ограничениями: они используют статические признаки и плохо учитывают глобальный контекст текста. Экспериментальные результаты показывают, что подход на основе fine-tuning модели ruBERT демонстрирует более высокое качество бинарной классификации (см. табл. 2), что подтверждается и рядом исследований [10]. Особая сложность связана с русским языком, который характеризуется высокой морфологической разнообразностью, свободным порядком слов и богатством средств выражения логических и семантических связей. Большинство исследований по интерпретации BERT ориентированы на английский язык, что делает изучение русскоязычных моделей актуальным.

Таким образом, актуальность работы определяется двумя факторами:

• 1)    практическая значимость задачи — фильтрация и разметка текстов с рассуждениями, применение в NLP-приложениях;

• 2)    научная новизна — изучение внутренних представлений русскоязычной модели BERT и механизмов извлечения логических и семантических структур текста.

Цель данной работы — исследовать внутренние представления русскоязычной модели BERT (DeepPavlov / rubert-base-cased) для выявления признаков рассуждения в тексте и понять, какие лингвистические и логические структуры модель использует при классификации текстов на «содержащие рассуждение» и «не содержащие рассуждение».

В рамках достижения этой цели решались следующие задачи:

• 1)    разработка бинарного классификатора на основе fine-tuning модели BERT;

• 2)    экспериментальное сравнение полученного решения с другими подходами векторизации и классификации текстов;

• 3)    анализ внутренних представлений модели BERT на специфичной задаче классификации текстов, содержащих рассуждение;

• 4)    исследование способности предложенного подхода улавливать семантические и структурные признаки рассуждения в текстах с использованием методов интерпретации нейросетевых моделей.

Новизна исследования заключается в систематическом анализе внутренних представлений русскоязычной модели BERT с использованием совокупности методов: визуализации, probing-классификаторов и ablation study. Такой комбинированный подход позволяет объяснить высокое качество классификации и выявить, какие уровни и внутренние структуры трансформера отвечают за распознавание логически организованного текста.

1.    Математическая формализация задачи

Пусть задано множество текстов:

P = {(xi,yi)}N=1, пары (текст, метка) рассматриваются без учета порядка, где xi — г-й текст множества, а yi G {0,1} — бинарная метка, показывающая наличие рассуждения (1 — текст содержит рассуждение, 0 — нет).

Модель трансформера f _e предсказывает вероятность наличия рассуждения y _i для каждого текста x _i :

y i = f e (x i ), yi G (0,1).

Обучение модели производится минимизацией бинарной кросс-энтропии:

N

^L(e) = - ^ [y i ^loS y i + (1 - y i ) log(1 - y i )] • i=1

Ниже кратко описаны математические формулы для использованных методов исследования интерпретируемости модели BERT.

• 1)    Метод интерпретации Ablation Study [4]. Для каждого текста x _i можно рассматривать удаление подмножеств токенов S С tokens(x _i ). Пусть x _i \ S — это текст x _i без токенов S . Под уверенностью модели понимается числовая оценка вероятности, присваиваемая моделью конкретному классу при предсказании.

Пусть модель BERT выдает логиты z = [z 1 ,z ₂ ,... ,z c ] для С классов. Уверенность модели в принадлежности текста x к классу с вычисляется с помощью функции softmax:

р(с | x) =

exp(z _c ) E i=i ^exp^{( z} i ) ’

где z _c — логит модели для класса с, а р(с | x) отражает уверенность модели в том, что текст принадлежит классу с.

Изменение уверенности модели при исключении токенов S из текста можно формализовать следующим образом:

Importance(S ) = Ху (S).

• 2)    Интерпретация внутренних представлений . В модели BERT входной текст предварительно преобразуется в последовательность токенов — элементарных единиц представления текста, получаемых с помощью подсловной токенизации (WordPiece) [8]. Токены могут соответствовать целым словам или их фрагментам, а специальные служебные токены, такие как [CLS], [SEP] и [PAD], добавляются для обозначения начала, конца и выравнивания последовательности.

Каждый токен после токенизации преобразуется в числовой идентификатор и далее в вектор вложения фиксированной размерности. Эти векторы подаются в трансформер, и на каждом слое BERT формируются скрытые представления токенов, содержащие контекстную информацию о последовательности.

Одним из служебных токенов является токен [CLS] (буквальное обозначение токена в модели BERT), который добавляется в начало каждой входной последовательности. Вектор, соответствующий токену [CLS] на выходе последнего слоя модели, называется [CLS]-вектором. Этот вектор используется как агрегированное представление всей последовательности и применяется для задач классификации. Размерность CLS-вектора в используемой модели составляет 768.

Формально, для входной последовательности токенов

X = ([CLS],xi,X2, .. -,хп), где xi — г-й токен исходного текста, BERT формирует матрицу скрытых состояний на последнем слое:

н(L)      ■■ №, ..., h^], где h^ Е Rd — вектор вложения г-го токена. CLS-вектор определяется как c = h^A Е d

CLS

.

Для задачи классификации используется линейный слой:

у = softmax(W c + b), где W Е Rkxd — матрица весов, b Е Rk — смещение, к — число классов.

Для оценки того, насколько информация о рассуждении закодирована на каждом уровне трансформера, вводятся probing-классификаторы g i , обучаемые на CLS-векторах c i каждого слоя I:

^ci ^:= ^h CLS,i ^Е R ^d ,

P i = gi^i), где у[ — предсказание probing-классификатора для текста x _i на слое I.

На основе этих предсказаний вычисляются метрики качества F 1 / , accuracy и Silhouette Score для каждого слоя:

Quality(D) = F 1({(dj ,Sj)}”=1), что позволяет формально оценить, на каком слое трансформера закодирована информация о рассуждении.

2.    Описание данных и процесса fine-tuning BERT модели для решения задачи

• 1)    Датасет, размер, источники, разметка . Для обучения модели использовались 2 969 русскоязычных текстов, собранных вручную из различных источников (новостные сайты, Википедия, художественная литература). В каждом тексте была определена двоичная метка «есть рассуждение» (1) или «нет рассуждения» (0). Разметка выполнена вручную, по заранее определенным критериям: наличие причинно-следственных конструкций, выводных сегментов, логических переходов, объяснений или интерпретаций явлений. Все пограничные случаи, содержащие лишь частичные признаки рассуждения или неоднозначные логические связи, систематически относились к классу 0 («нет рассуждения»). Тексты разнообразны, варьируются как по стилю так и по длине.

Набор включает 1 499 примеров, которые отнесены к классу «есть рассуждение» и

1 470 примеров — «нет рассуждения».

• 2)    Подготовка данных для BERT . Для подачи текстов в модель BERT используется подсловная токенизация WordPiece [8], при которой подразумевается разбиение текста на последовательность токенов, представляющих собой целые слова или их фрагменты. Такой подход позволяет модели эффективно обрабатывать морфологически сложные и редкие формы слов.

В начале каждой последовательности добавляется специальный токен ’[CLS]’, скрытое состояние которого используется как агрегированное семантическое представление всего текста. Для разделения последовательностей и обозначения конца любого текста применяется специальный токен ’[SEP]’. При необходимости выровнять длину последовательности используется специальный токен ’[PAD]’ (в случае, если текущая последовательность меньше максимальной длины).

После процесса токенизации каждый токен преобразуется в числовой идентификатор в соответствии со словарем модели, таким образом формируя входную последовательность, которая в дальнейшем используется для получения контекстных векторов-вложения.

Например, фраза «Интерпретация текста» может быть токенизирована моделью RuBERT следующим образом:

’[CLS] Интер ##претация текста [SEP]’

Здесь ’Интер’ и ’##претация’ — подсловные токены, показывающие, что слово «Интерпретация» было разбито на два фрагмента. После этого каждому токену присваивается числовой идентификатор ( token ID ) из словаря модели, формируя последовательность чисел, которая подается на вход модели для получения контекстных векторов вложения.

• 3)    Описание процесса дообучения модели RuBERT . Поверх базовой архитектуры BERT модель RuBERT (DeepPavlov/rubert-base-cased) была загружена через класс AutoModelForSequenceClassification, который автоматически добавляет выходной полносвязный классификационный слой с softmax-активацией. Выходной классификационный

слой — это дополнительный слой, добавляемый поверх базовой архитектуры BERT. Он принимает на вход агрегированное представление текста, обычно [CLS]-вектор, и преобразует его в вектор вероятностей для каждого класса. В данном случае это полносвязный слой с softmax-активацией, который выдает вероятность того, что текст относится к классу «есть рассуждение» или «нет рассуждения». Количество выходных нейронов было установлено равным числу классов (num_labels=2).

Чтобы избежать переобучения на небольшой обучающей выборке и сохранить устойчивыми полезные языковые представления, уже выученные моделью BERT на большом корпусе текстов, первые 8 из 12 слоев были заморожены во время дообучения. Под устойчивостью понимается сохранение этих весов без изменений, чтобы они продолжали предоставлять надежное общее представление текста, тогда как обучение проводилось только в верхних слоях (9–12), адаптирующих модель к конкретной задаче классификации рассуждений [11].

Дообучение выполнялось с использованием библиотеки HuggingFace Transformers и класса Trainer.

Таблица 1 Гиперпараметры модели при дообучении

Параметр	Значение	Описание
Epochs	8	количество эпох
Learning rate	2e-5	скорость обучения (типичная для BERT)
Weight decay	0.05	L2-регуляризация
Eval strategy	«epoch»	оценка после каждой эпохи
Early stopping patience	2	остановка при отсутствии улучшения
per_device_train_batch_size	32	размер батча при обучении
per_device_eval_batch_size	32	размер батча при валидации
save_strategy	«epoch»	сохранение лучшей модели
load_best_model_at_end	True	загрузка лучшей по метрике

Резюмируя параметры в таблице 1: модель RuBERT дообучалась в течение 8 эпох с небольшой скоростью обучения (2e-5) и коэффициентом регуляризации (weight decay), равным 0,05. Для стабильности использовался разогрев (warmup), равный 0,1, а оценка модели производилась после каждой эпохи с возможностью ранней остановки через 2 эпохи при отсутствии улучшений. Размер батча составлял 32 для обучения и валидации. Лучшие веса автоматически сохранялись и загружались в конце обучения. Лучшие веса модели в данном случае – это сохраненные параметры, которые показали наивысшее качество на валидационной выборке во время обучения.

Для оценки эффективности предложенного в данной статье подхода, предварительно были проведены эксперименты с использованием метода стекинга моделей и рекуррентной нейронной сетью.

В методе ансамблевого стекинга (stacking [20]) несколько сильных базовых классификаторов (XGBoost, CatBoost и Random Forest) обучаются на одних и тех же признаках, представленных через TF-IDF-векторизацию текстов. На выходах этих моделей строится новый вектор признаков, который подается на мета-модель, выполняющую окончательную классификацию; в качестве мета-модели использовалась логистическая регрессия. Такой подход позволяет объединить преимущества разных алгоритмов, улуч- шая общую точность и устойчивость классификации. На контрольной выборке данный метод показал F1 = 0,905 и ROC AUC = 0,887 [1]. Несмотря на высокий Recall (0,930), ограничение данного метода в том, что используются статические признаки (TF-IDF) и не учитывается глобальный контекст, что снижает точность при распознавании сложных конструкций, содержащих рассуждение.

Метод RusVectores + LSTM использует предобученные статические векторы вложения слов из модели RusVectores [6]. Тексты предварительно токенизируются и преобразуются в последовательности индексов по словарю векторов вложения, а слова вне словаря заменяются на индекс по умолчанию. Эти последовательности подаются на слой Embedding TensorFlow с фиксированными весами (trainable = False), после чего проходят обработку двунаправленной LSTM с регуляризацией и Dropout. Финальный Dense слой с softmax выполняет классификацию. Такой подход учитывает порядок слов и локальный контекст, но ограничен статическими представлениями слов. На контрольной выборке метод показал F1 = 0,86 и ROC AUC = 0,84, где F1 — гармоническое среднее точности (precision) и полноты (recall) модели [19]:

precision · recall

F1 = 2 •                    , precision + recall а ROC AUC (area under the receiver operating characteristic curve) характеризует способность модели различать положительные и отрицательные классы [9].

Таблица 2

Сравнение производительности различных моделей на задаче классификации текстов, с наличием рассуждения

Модель	Accuracy	Precision	Recall	F1-score	ROC AUC	PR AUC
Fine-tuned ruBert	0,943	0,952	0,933	0,943	0,988	0,989
Stacking моделей	0,855	0,881	0,930	0,905	0,887	0,952
Rusvectores LSTM	0,890	0,880	0,840	0,860	0,840	0,910

В таблице 2 приведены результаты трех подходов к классификации текстов на рассуждения и не рассуждения.

BERT (RuBERT) с дообучением (fine-tuning) использует предобученную трансфор-мерную архитектуру с двунаправленным вниманием, где специальный токен [CLS] агрегирует информацию о всей последовательности и подается на выходной классификационный слой для предсказания класса. Fine-tuning означает дообучение предобученной модели на конкретной задаче с адаптацией весов к целевой выборке [5], что позволяет эффективно использовать контекстуальные представления для выявления сложных конструкций, содержащих рассуждение. Данный метод показал наивысшие результаты по всем метрикам: precision достигла 0,952, F1-score 0,943, ROC AUC 0,988, PR AUC 0,989. Модель эффективно различает тексты с рассуждениями и без, используя контекстуальные векторные представления токена и улавливая синтаксические и семантические связи, что позволяет корректно обрабатывать длинные и разнообразные тексты.

Таким образом, превосходство BERT над другими подходами объясняется способностью предобученной трансформерной архитектуры в сочетании с fine-tuning формировать контекстно-зависимые представления, отражающие не только локальные связи между словами, но и более сложные структуры, содержащие рассуждение, такие как логические переходы, причинно-следственные отношения и глобальную организацию текста. Именно эта особенность позволяет модели демонстрировать наилучшие показатели качества среди всех рассмотренных методов.

Высокая эффективность fine-tuned BERT поднимает вопрос: какие элементы текста и какие скрытые закономерности модель использует для столь точного распознавания рассуждений? В последующих разделах рассматриваются методы интерпретации и анализа, позволяющие выяснить, какие фрагменты текста оказывают наибольшее влияние на уверенность модели при классификации текстов, содержащих рассуждение.

3.    Визуализация [CLS]-векторов

Для анализа внутренних представлений модели были извлечены CLS-векторы всех слоев BERT-модели. Для их визуализации применялся UMAP (Uniform Manifold Approximation and Projection) — алгоритм снижения размерности, который проецирует высокоразмерные данные в пространство низкой размерности (например, 2D) так, чтобы сохранить локальную и глобальную структуру данных [12]. На визуализациях видно, как представления текстов постепенно разделяются по классам: на ранних слоях классы почти не различимы, тогда как на более высоких слоях проявляется явная кластеризация, что косвенно подтверждает, что модель учится выделять признаки рассуждений.

Резкий рост различимости кластеров на последнем слое объясним тем, что CLS-вектор на этом слое собирает в себя наиболее информативные признаки, кроме того, данный эффект усиливается fine-tuning.

4.    Исследование характеристики Silhouette score

Для количественной оценки разделимости классов в пространстве CLS-векторов была вычислена Silhouette score для каждого слоя модели BERT.

Silhouthe score является метрикой, позволяющей оценить качество кластеризации объектов на основе того, насколько схожи объекты в текущем кластере по сравнению с объектами в других кластерах [16].

Пусть есть набор объектов X = (х 1 , ... ,x n ), разделенных на кластеры G 1 ,... ,G k , и выбрана метрика расстояния d : X х X ч R > 0 .

• 1)    Для каждого объекта X i определим среднее расстояние до объектов другого кластера |G = G i 1 1:

d(x i ,G) = |G ^ d(x i ,X j ).

1   1 Xj EG

Рис. 1. UMAP-визуализация CLS-векторов на 1-м внутреннем слое модели

2D визуализация [CLS]-векторов (слой 7) с помощью UMAP

Рис. 2. UMAP-визуализация CLS-векторов на 7-м внутреннем слое модели

• 2)    Пусть b(x _i ) — это минимальное среднее расстояние до других кластеров:

b(x _i )= min d(x _i ,G). G=G ,1

• 3)    Silhouette score для объекта x _i определяется как:

  s(X i ) =

  
  

b(x i ) - a(x i ) max{a(x _i ), b(x _i )}

^ [-1,1].

Рис. 3. UMAP-визуализация CLS-векторов на 12-м внутреннем слое модели

4) Средний Silhouette score для всего набора:

1 ^N

^S = n^^ )•

На рисунке 4 видно, что по мере продвижения к более глубоким слоям значение Silhouette score растет, что подтверждает визуальные наблюдения из UMAP: модель постепенно формирует более чистые и разделенные представления для текстов с рассуждениями и без них.

Silhouette Score no CLS токену каждого слоя

Рис. 4. Silhouthe score для CLS-векторов на каждом слое модели

На графике Silhouette score по слоям модели виден резкий рост начиная с девятого слоя, что соответствует началу размороженных слоев для fine-tuning. Первые восемь слоев были заморожены, что объясняет относительно низкие значения метрики на этих слоях, тогда как обучаемые слои (9–12) начинают лучше различать представления текстов с наличием рассуждения и без. На рисунке 5 обучаемые слои обозначены синим цветом.

Рис. 5. Архитектура модели RuBERT для задачи классификации: входной текст токенизируется и преобразуется в эмбеддинги, далее проходит 12 слоев BERT, после чего вектор скрытого состояния токена [CLS] подается на линейный слой с Softmax для предсказания класса

5.    Анализ скрытых представлений по слоям

Для оценки того, на каком слое модели BERT появляется информация, полезная для классификации рассуждений, был проведен анализ скрытых представлений по слоям, который является методом интерпретации и анализа внутренних представлений трансформерных моделей, таких как BERT, с целью выявить, на каком уровне архитектуры модель формирует признаки, полезные для конкретной задачи. Основная идея заключается в том, что каждый слой модели может кодировать разную информацию: нижние слои чаще содержат синтаксическую информацию (например, части речи, зависимости), а верхние слои — семантическую и контекстуально зависимую информацию (например, смысловые связи, аргументацию, логические конструкции) [15].

Для этого из каждого слоя извлекались [CLS]-векторы, и на их основе обучался простой линейный классификатор (логистическая регрессия) для предсказания наличия рассуждения [13].

Рис. 6. F1 score для LR на [CLS]-токенах каждого слоя

Результаты показали, что даже на первых слоях модель уже демонстрирует неплохую точность: F1-score на тестовой выборке начинается с 0,90. С ростом номера слоя точность постепенно увеличивается, достигая максимума на последних слоях (F1-score на тестовой выборке 0,95 на 12-м слое), что совпадает с улучшением метрик Precision, Recall и F1. Это подтверждает, что BERT уже на ранних слоях выделяет базовую информацию о тексте, а последние слои концентрируют признаки, важные именно для задачи классификации рассуждений.

Таким образом, даже без дообучения (fine-tuning) BERT способен различать тексты с рассуждениями и без них на основе предобученных языковых представлений. Fine-tuning дополнительно усиливает эти признаки, особенно на верхних слоях, что объясняет высокие показатели итоговой модели.

6.    Применение метода Ablation Study для анализа предсказаний модели

Для более глубокого понимания того, какие элементы текста наиболее значимы для предсказаний модели, был использован метод Ablation Study. Суть метода заключается в поэтапном удалении отдельных слов и конструкций из текста и оценке влияния этих изменений на уверенность модели. Для каждого текста генерировались комбинации токенов, которые затем исключались, и вычислялась вероятность класса «есть рассуждение» после их удаления.

Пусть текст представлен как последовательность токенов:

X = [t i t 2 ... t_n]

Модель классификации f g 1 возвращает вероятность класса «есть рассуждение»:

Р о (х) = f _e (x) Е [0,1]

Для Ablation Study выбирается множество комбинаций токенов С = {с | с С х}, где каждая комбинация с = {t i 1 , ... ,t _{i k} }. Операция удаления токенов из текста может быть определена так:

х \ с = х без токенов из с

Тогда вероятность класса после удаления комбинации с вычисляется как:

Р е (х | с) = f _e (x | с)

Задача Ablation Study заключается в поиске комбинаций, которые минимизируют уверенность модели:

с * = arg minр д (х \ с)

То есть с * это те токены, удаление которых снижает уверенность модели максимальным образом, что формально отражает вклад этих токенов в распознавание рассуждений.

В таблице 3 и 4 первая колонка содержит отдельные слова или комбинации слов, которые модель BERT использует как маркеры рассуждений. Вторая колонка («Разность уверенности модели») показывает, насколько наличие данного маркера увеличивает уверенность модели в предсказании класса «Есть рассуждение». Для отдельных слов значения обычно меньше (около 0,1–0,2), для комбинаций слов выше (0,65–0,75), что отражает их более сильное влияние на итоговую уверенность модели.

Результаты показали, что наибольшее снижение уверенности модели происходит при удалении слов и конструкций, которые формируют структуру рассуждения, например, причинно-следственные связки («значит», «поэтому», «следовательно») и ключевые слова, несущие смысловую нагрузку. В частности, для текста «На улице лужи, хотя дождь прекратился несколько часов назад. Значит, дождь был очень сильным, так как земля не успела просохнуть. Это объяснение кажется мне логичным.» удаление слов «значит», «это», «логичным» снижало уверенность модели до 0,03, что свидетельствует о критической роли этих маркеров в идентификации рассуждений.

Для других текстов аналогичная закономерность сохраняется: комбинации слов, определяющих причинно-следственные отношения или выводы, оказывают максимальное влияние на предсказание модели. Например, для текста о научно-техническом прогрессе удаление «неразрывно», «связан» и «хотя» снижало вероятность до 0,80. Это

Таблица 3

Отдельные слова, при удалении которых из текста максимально снижается уверенность модели

Слово Разность уверенности модели думается 0,18 понимаю 0,17 следует 0,19 почему 0,16 следовательно 0,19 возможно 0,14 должно 0,18 видимо 0,15 несомненно 0,19 поскольку 0,18 рассуждение 0,20 понятие 0,15 исследуют 0,14 знание 0,17 философия 0,16 разумность 0,18 осознанность 0,17 мысль 0,14 идея 0,14 значит 0,18 поэтому 0,20 однако 0,18 таким образом 0,20 в итоге 0,17 вызывает 0,13 приводит 0,18 возникает 0,15 связано 0,12 согласно 0,14 доказательство 0,19 анализ 0,16 подтверждает, что модель не просто учитывает отдельные ключевые слова, но действительно распознает структурные элементы рассуждений.

Таким образом, Ablation Study позволяет формально выявить, какие токены и конструкции определяют уверенность модели, и показывает, что BERT способен выделять и использовать важные логические и причинно-следственные элементы текста для классификации рассуждений.

7.    Результаты и обсуждение

Модель BERT, дообученная на корпусе русскоязычных текстов с разметкой наличия рассуждений, показала наилучшие результаты среди протестированных подходов. По метрикам Accuracy, F1-score, ROC AUC и PR AUC она превосходит как стекинг

Комбинации слов, при удалении которых из текста максимально снижается уверенность модели

Таблица 4

Комбинация Разность уверенности модели поскольку, видимо, существует 0,74 поскольку, пристойность, важно 0,74 следует, принято, хвалят 0,73 причине, думается, трудно 0,71 согласно, возвращайся, философии 0,70 поэтому, выбирают, дают 0,75 однако, часто, большего 0,73 однако, итоге, достигают 0,74 таким, превращают, неизвестным 0,75 образом, превращают, страх 0,72 идешь, поэтому, значит 0,75 развивается, поэтому, значит 0,75 эпистемон, рассуждении, несомненно 0,75 эпистемон, можешь, несомненно 0,74 добродетель, ум, понятие 0,73 добродетель, ум, считается 0,70 представлениями, пропитывай, вещь 0,67 разумности, понять, знание 0,75 разумности, понять, исследуют 0,71 например, формируются, осознанность 0,72 учатся, формируются, осознанность 0,71 человек, опыт, помогает 0,67 это, помогает, развивать 0,66 переосмыслить, результате, будущем 0,73 это, поэтому, важно 0,75 человек, это, поэтому 0,74 человек, это, легче 0,63 это, получается, удивительно 0,70 получается, это, удивительно 0,69 древоподобных моделей (CatBoost, XGBoost, Random Forest с логистической регрессией в качестве мета-модели), так и комбинацию векторов вложения RusVectores с LSTM. Данные показатели демонстрируют, что трансформер эффективно различает тексты с рассуждениями и без них, даже без дополнительной предобработки или лемматизации текста.

Для анализа того, каким образом BERT различает структуры рассуждений, были проведены анализ скрытых представлений по слоям и визуализация [CLS]-векторов. С помощью линейного классификатора на CLS-векторах, извлеченных из каждого слоя, удалось оценить информативность представлений. Результаты показали, что уже на средних слоях модель улавливает полезные признаки, однако резкий рост точности наблюдается с девятого слоя, что совпадает с размороженными слоями при fine-tuning. Этот эффект подтверждается и Silhouette score: разделимость классов на CLS-векторах значительно улучшается на последних слоях, что отражает способность модели выделять структурные особенности текста.

Дополнительно была проведена Ablation Study: из текстов поочередно удалялись ключевые слова и конструкции, ответственные за причинно-следственные связи, после чего оценивалась уверенность модели в предсказании. Результаты показали, что удаление слов вроде «значит», «поэтому», «следовательно» и «это» приводит к заметному снижению вероятности корректного распознавания рассуждения. Это свидетельствует о том, что BERT учитывает не только отдельные слова, но и структурные элементы текста при классификации.

В совокупности полученные результаты подтверждают, что BERT способен эффективно различать тексты с рассуждениями и без них благодаря глубокому языковому представлению и тонкой настройке на задачу. Анализ скрытых представлений по слоям и ablation study показывают, что модель учится выделять ключевые структурные элементы текста, а не только отдельные токены, что делает ее подход особенно полезным для анализа структуры рассуждений в русскоязычных текстах. Особый интерес представляют возможности BERT и моделей трансформеров в области задач естественного языкового вывода (NLI), в том числе поиска логических связей и противоречий в тексте. В других подходах используются графовые методы для извлечения признаков на основе структуры текста, например, применение индекса Винера для вычисления текстовых характеристик и построения признаков для классификации текстов на естественном языке [2]. Использование трансформеров в данной области также может быть эффективным, поскольку их контекстуальные представления способны учитывать семантические и структурные связи между элементами текста, что позволяет интегрировать информацию о логике и связности текста в задачи NLI.

Заключение

В работе показано, что трансформер BERT, дообученный на корпусе русскоязычных текстов с метками наличия рассуждений, превосходит альтернативные методы, включая стекинг деревоподобных моделей и LSTM на векторах вложения. Модель демонстрирует высокую точность и уверенность в классификации текстов, эффективно улавливая логические и причинно-следственные структуры.

Анализ [CLS]-векторов по слоям и Ablation Study подтвердил, что последние слои BERT наиболее информативны для выделения признаков рассуждения, а удаление ключевых токенов существенно снижает уверенность предсказаний. Это говорит о том, что модель учитывает как отдельные слова, так и их структурные комбинации.

Полученные результаты подтверждают потенциал использования BERT для задач анализа рассуждений и открывают возможность дальнейшего изучения внутренних представлений модели, что может быть полезно для разработки инструментов анализа текста и автоматической разметки логических конструкций в документах на русском языке.