Суммаризация текста на арабском языке с использованием трехуровневой архитектуры двунаправленной долговременной краткосрочной памяти (BILSTM)

Представлен улучшенный подход к сложной проблеме арабской суммаризации текста (Arabic Text Summarization - ATS) путем внедрения новой модели, которая бесшовно интегрирует передовые архитектуры нейронных сетей с продвинутыми техниками обработки естественного языка (Natural Language Processing - NLP). Вдохновляясь классическими подходами ATS, представленная модель использует трехуровневую архитектуру двунаправленной сети с длинной краткосрочной памятью (Bidirectional Long Short-Term Memory - BiLSTM), которая дополнена механизмами внимания на основе трансформера и AraBERT для предварительной обработки и успешного решения особенно сложных задач, обусловленных спецификой арабского языка. Для повышения производительности модели также используется мощь контекстуальных вложений от моделей, таких как GPT-3, а также продвинутые техники увеличения данных, включая обратный перевод и перефразирование. Для дальнейшего улучшения производительности при данном подходе интегрируются новые техники обучения и используется байесовская оптимизация для гиперпараметров. Модель оценивалась на передовых наборах данных, таких как арабский сводный заголовок (Arabic Headline Summary - AHS) и арабский могалад_ндеф (Arabic Mogalad_Ndeef - AMN), и отчитывалась по традиционным метрикам оценки, включая ROUGE-1, ROUGE-2, ROUGE-L, BLEU, METEOR и BERTScore. Работа представляет собой важный шаг в решении задачи арабской суммаризации текста (ATS), чтобы он был не только связным и сжатым, но также аутентичным и культурно релевантным в усилиях по продвижению исследований и приложений NLP для арабского языка.