Формальная модель и метод интеграции API генеративных нейросетей в веб-платформу для автоматизированной обработки текстовых данных

Лицензировано по CC BY 4.0. Чтобы посмотреть копию этой лицензии, посетите

В условиях цифровой трансформации организаций автоматизация обработки текстового контента с использованием технологий искусственного интеллекта становится актуальной научно-практической задачей. Корпоративные новостные отделы, пресс-службы и коммуникационные подразделения ежедневно сталкиваются с необходимостью оперативной адаптации единого информационного повода под различные каналы коммуникации [1]. Традиционный ручной режим такой адаптации является трудоемким, подверженным человеческим ошибкам и приводит к нежелательной вариативности в трактовке ключевых сообщений.

Генеративные нейросетевые модели, обученные на колоссальных массивах текстовых данных, демонстрируют способность к глубокому пониманию контекста, перефразированию, стилевой трансформации и сжатию текстов [2]. Однако интеграция таких моделей в корпоративные рабочие процессы сопряжена с рядом нерешенных научных и технических проблем. Анализ существующих подходов - универсальных CMS с AI-плагинами, корпоративных порталов и специализированных AI-сервисов -показывает, что ни один из них не обеспечивает полного набора требований, необходимых для корпоративного использования. К числу таких требований относятся: изоляция данных между пользователями, централизованное управление промптами (инструкциями для нейросети), хранение полной истории обработки для аудита, учет использования платных ресурсов и отказоустойчивость при сетевом взаимодействии. Таким образом, научная проблема заключается в отсутствии формальных моделей интеграции API генеративных нейросетей в корпоративные веб-платформы, учитывающих перечисленные требования. Целью данного исследования является разработка формальной модели и метода интеграции API генеративных нейросетей в корпоративную веб-платформу, обеспечивающих автоматизированную обработку текстовых данных с возможностью централизованного управления промптами, изоляции пользовательских данных и учета использования ресурсов.

Формальная модель интеграции

Предлагаемая формальная модель интеграции описывается кортежем M = (U, C, R, P, F, A), где каждый компонент определяет ключевые сущности и функции системы. Множество U = {и 1 ,и₂, ..,и_п] представляет собой множество пользователей системы, каждый из которых характеризуется ролью role(u) G {USER, ADMIN], что позволяет реализовать ролевую модель доступа.

Множество С = {с 1 , с₂, ., с_п] представляет параметризуемые промпты (контексты), каждый из которых является кортежем с = (id, name, prompt, desc,t_create), где prompt - текстовая инструкция для нейросети, определяющая стиль, тональность и формат выходного текста. Множество R = {r 1 , r₂,..., r_m] представляет собой множества запросов пользователей, каждый из которых является кортежем r = (id, и, с, text_in , text_out, isShort, count, t_create), где text_in -исходный текст, text_out - результат обработки нейросетью, isShort - флаг необходимости сокращения, count - счетчик использований нейросети для данного запроса.

Функция параметризации промпта Р: С X {0,1} ^ S, где S - множество строк (финальных промптов), определяется как Р(с, s') = с. prompt при s = 0 и Р(c,s) = с. propt ф "Предоставь сокращенную версию" при s = 1, где ф - операция конкатенации строк. Данная функция обеспечивает динамическое формирование инструкции для нейросети с учетом выбранного контекста и необходимости сокращения, что позволяет адаптировать поведение модели без изменения программного кода.

Функция взаимодействия с внешним API F:S XT ^Т', где Т - множество исходных текстов, Т ' - множество обработанных текстов, реализует отказоустойчивое взаимодействие. При успешном ответе API функция возвращает обработанный текст, при возникновении ошибки (таймаут, сетевая недоступность, ошибка API) возвращает диагностическое сообщение и сохраняет состояние ошибки в лог.

Функция аудита и учета ресурсов A : R X N ^ N определяется как A(r,n) = r. count + 1, инкрементируя счетчик запросов в атомарной транзакции базы данных одновременно с сохранением результата обработки, что гарантирует целостность данных при учете использования платных ресурсов [3].

Предложенная модель обладает рядом формально доказуемых свойств. Свойство изоляции данных утверждает, что для любого пользователя и ^ и запроса r выполняется условие: если ^.и = щ, то запрос доступен только пользователю щ, что реализуется через фильтрацию запросов к базе данных по идентификатору текущего пользователя. Свойство централизованного управления промптами означает, что изменение промпта C i .prompt автоматически влияет на все последующие вызовы Р(с^), что позволяет администратору адаптировать поведение нейросети без изменения кода. Свойство отказоустойчивости гарантирует, что функция F при сбое API не блокирует работу системы, а возвращает диагностическое сообщение и сохраняет состояние ошибки.

Свойство атомарности учета обеспечивает выполнение инкрементации счетчика в одной транзакции с сохранением результата обработки, исключая рассинхронизацию данных [4].

Для реализации функции F разработан алгоритм устойчивого взаимодействия с внешним API. Алгоритм принимает на вход системный промпт prompt и исходный текст text, формирует массив сообщений для API, включающий системное сообщение с инструкцией и пользовательское сообщение с исходным текстом. Затем формируется JSON -полезная нагрузка с параметрами модели ( max = 4096, temperature = 0.7) [2, tokens

• 5] . Выбор параметра max = 4096 обусловлен тем, что типичный пресс-релиз tokens

  организации-заказчика имеет объём от 500 до 3000 токенов, и установка лимита 4096 токенов гарантирует сохранность полного ответа нейросети. Выбор параметра temperature = 0.7 обусловлен его широким использованием в качестве компромиссного значения в исследовательской практике, обеспечивающего сбалансированность между креативностью и детерминированностью ответов модели, что согласуется с рекомендуемым разработчиками диапазоном значений (0.5-0.7) и общей практикой настройки параметров генеративных моделей [2].

Выполняется POST -запрос к API с установкой таймаута 40 секунд . При успешном ответе ( HTTP -статус 200) извлекается сгенерированный текст, выполняется его постобработка (очистка от служебных меток, экранирование HTML -сущностей) и возвращается результат. При возникновении ошибки (таймаут, сетевая недоступность, ошибка API) формируется понятное пользователю сообщение на русском языке, которое сохраняется в базе данных и отображается в интерфейсе. Весь вызов обернут в блок try-except , перехватывающий исключения ConnectionError , Timeout и ошибки API [6].

Сравнение с существующими подходами

Проведен сравнительный анализ предложенной модели с существующими подходами к интеграции AI-сервисов в веб-платформы. Универсальные CMS с AI-плагинами (например, WordPress с плагинами для ChatGPT) обеспечивают лишь частичную изоляцию данных между пользователями, не имеют централизованного управления промптами и встроенного учета использования ресурсов. Корпоративные порталы (например, SharePoint ) обеспечивают полную изоляцию данных, но интеграция с AI в них является надстроечной и не предоставляет централизованного управления промптами. Специализированные AI-сервисы (прямое использование ChatGPT API или YandexGPT API) предоставляют доступ к нейросетям, но не имеют встроенных механизмов изоляции данных, истории обработки и учета ресурсов на уровне пользователя [7]. Предлагаемая модель объединяет преимущества всех перечисленных подходов, впервые обеспечивая одновременное выполнение требований изоляции данных, централизованного управления промптами, полной истории обработки, встроенного учета ресурсов и отказоустойчивости в единой формальной структуре. Ключевым отличием является наличие сущности С (параметризуемых промптов), которая позволяет администратору централизованно управлять поведением нейросети, и сущности R (запросов), которая сохраняет полную историю обработки с привязкой к пользователю и использованному контексту.

Реализация модели на платформе Django

Для реализации предложенной модели выбран фреймворк Django, который обеспечивает встроенную ORM для работы с базой данных, систему аутентификации и авторизации, административную панель для управления данными и архитектурный шаблон MVT (Model-View-Template) [8]. Данный выбор обусловлен необходимостью быстрой разработки при сохранении высокого уровня безопасности и поддержки сложных связей между сущностями. В качестве интеллектуального ядра выбран DeepSeek API, который обеспечивает высокое качество обработки русскоязычных текстов, поддержку контекста до 128К токенов и экономически эффективную тарификацию [5].

Модели данных реализованы с использованием Django ORM. Модель пользователя создана на основе стандартной системы Django, что дало готовые функции для аутентификации, управления сессиями и разделения ролей. Модель ChatContext (соответствующая сущности С) хранит название контекста, системный промпт, описание и дату создания. Модель GPTRequest (соответствующая сущности R) включает поля: uuid (уникальный идентификатор), user (внешний ключ к модели пользователя с каскадным удалением), context (внешний ключ к модели ChatContext с установкой NULL при удалении), prompt (исходный текст), response (ответ нейросети), isShort (флаг сокращенного варианта), count (счетчик запросов к AI), create_at (дата создания). Каскадная связь с пользователем (on_delete = models. CASCADE) обеспечивает свойство изоляции данных: при удалении пользователя все его запросы автоматически удаляются.

Модуль интеграции реализован как сервисный слой внутри Django-приложения, инкапсулирующий всю логику взаимодействия с DeepSeek API. При получении запроса от пользователя модуль извлекает из базы данных объект ChatContext, содержащий системный промпт. Если пользователь активировал опцию сокращенного варианта, к системному промпту программно добавляется дополнительная инструкция о необходимости предоставить сокращенную версию, что соответствует функции Р. Затем формируется JSON -запрос к DeepSeek API с параметрами модели, выполняется POST -запрос с установкой таймаута 40 секунд . При успешном ответе извлекается сгенерированный текст, выполняется его постобработка и сохранение в поле response модели GPTRequest. Одновременно инкрементируется счетчик count, фиксирующий использование платного ресурса, что соответствует функции A. Вся операция выполняется в контексте атомарной транзакции базы данных для гарантии целостности информации.

Система аутентификации реализована на основе встроенных механизмов Django с использованием кастомной модели пользователя. Ключевой особенностью является полная закрытость платформы: отсутствует возможность самостоятельной регистрации - учетные записи создаются только администратором через панель управления. Контроль доступа реализован на двух уровнях. На первом уровне каждое представление, отвечающее за работу с контентом, проверяет, авторизован ли текущий посетитель, и перенаправляет на страницу входа при отсутствии сессии. На втором уровне запросы к базе данных фильтруются строго по полю user, соответствующему текущему вошедшему пользователю, что исключает доступ к чужим статьям даже при попытке угадать uuid.

Пользовательский интерфейс построен с использованием асинхронного обмена данными на основе AJAX. При нажатии кнопки отправки запроса JavaScript-функция перехватывает событие отправки формы, собирает данные из полей ввода и отправляет их на сервер. Во время обработки запроса (до 40 секунд) пользователь видит индикатор загрузки. После получения ответа происходит динамическое обновление интерфейса -страница не перезагружается, а сгенерированный текст появляется в соответствующем контейнере [9].

Экспериментальное исследование

Для проверки эффективности предложенной модели сформулированы две гипотезы: нулевая гипотеза Н0 - использование предложенной модели не влияет на время обработки текстового материала; альтернативная гипотеза Н1 - использование предложенной модели приводит к сокращению времени обработки текстового материала. Эксперимент проведен с участием 5 сотрудников новостного отдела организации-заказчика. Каждый участник обработал 10 пресс-релизов (общий объем -50 релизов) двумя способами: в контрольной группе - традиционным ручным методом; в экспериментальной группе - с использованием разработанной платформы. Фиксировалось время обработки одного релиза в минутах. Для обеспечения чистоты эксперимента порядок обработки релизов был рандомизирован, а между двумя способами обработки соблюдался временной интервал для исключения эффекта обучения.

Результаты эксперимента показали, что в контрольной группе (ручная обработка) среднее время составило 32.4 минуты при стандартном отклонении 8.2 минуты , медиана - 30.0 минут . В экспериментальной группе (с использованием платформы) среднее время составило 12.8 минуты при стандартном отклонении 3.5 минуты , медиана - 12.0 минут . Статистический анализ проведен с использованием U-критерия Манна-Уитни для независимых выборок (п. 1 = п₂ = 50). Выбор непараметрического критерия обусловлен тем, что распределение времени обработки в контрольной группе не соответствует нормальному закону (проверено критерием Шапиро-Уилка, р < 0.05). Полученное значение U = 312.5, р <  0.001. Размер эффекта Коэна г = 0.92, что свидетельствует о высокой практической значимости выявленных различий. Таким образом, нулевая гипотеза Н₀ отвергается на уровне значимости а = 0.001. Полученные данные подтверждают гипотезу Н 1 о сокращении времени обработки текстового материала при использовании предложенной модели [10]. Дополнительно проведена экспертная оценка качества обработки текста на тех же 50 релизах. Три эксперта из числа сотрудников новостного отдела оценивали сохранение ключевых смысловых элементов в обработанных текстах по шкале от 0 до 100%. Средний результат составил 94% (стандартное отклонение 4.2%), что согласуется с литературными данными о качестве генеративных моделей [2].

Научная новизна и обсуждение результатов

Научная новизна работы заключается в трех основных результатах. Во-первых, разработана формальная модель интеграции API генеративных нейросетей в вебплатформу, описываемая кортежем М = (U, С, R, Р, F,A), где Р - функция параметризации промптов, F - алгоритм устойчивого взаимодействия с API, A -функция аудита и учета ресурсов. Модель впервые обеспечивает одновременное выполнение требований изоляции данных, централизованного управления промптами, отказоустойчивости и учета ресурсов, что подтверждается формальным доказательством свойств модели. Во-вторых, предложен метод параметризации промптов, основанный на хранении системных промптов в реляционной базе данных с возможностью динамической сборки финальной инструкции с учетом контекстных параметров (тип обработки, необходимость сокращения). Метод позволяет адаптировать поведение нейросети под различные сценарии обработки без изменения программного кода, что критически важно для корпоративного использования. В-третьих, Создан алгоритм устойчивого взаимодействия с внешним API, реализующий обработку таймаутов, сетевых ошибок и ошибок API, а также атомарное сохранение результатов с одновременной инкрементацией счетчика использования ресурсов. Алгоритм обеспечивает отказоустойчивость системы и целостность данных при учете использования платных ресурсов. Процесс разработки и внедрения системы осуществлялся в соответствии с методологиями управления требованиями к программному обеспечению [11].

Теоретическая значимость работы заключается в том, что предложенная формальная модель может быть использована как основа для проектирования корпоративных систем интеграции AI-сервисов в различных предметных областях, не ограничиваясь обработкой пресс-релизов. Практическая значимость подтверждается внедрением разработанной платформы в промышленную эксплуатацию в организации-заказчике. Полученные экспериментальные данные демонстрируют сокращение времени обработки текста в 2.5 раза при сохранении качества на уровне 94%.

Заключение

В работе представлена формальная модель интеграции API генеративных нейросетей в корпоративную веб-платформу для автоматизированной обработки текстовых данных. Основные научные результаты включают разработку формальной модели М = (U, С, R, Р, F, А) с доказанными свойствами изоляции данных, централизованного управления промптами, отказоустойчивости и атомарности учета; предложение метода параметризации промптов Р: С х{0,1} ^5, позволяющего динамически формировать инструкции для нейросети на основе хранимых в базе данных контекстов; создание алгоритма устойчивого взаимодействия с внешним API, реализующего обработку таймаутов и ошибок; проведение экспериментального исследования, подтвердившего гипотезу о сокращении времени обработки текста (р <  0.001, размер эффекта г = 0.92). Разработанная платформа внедрена в промышленную эксплуатацию. Полученные результаты могут быть использованы при разработке корпоративных систем автоматизации обработки текстового контента с применением технологий искусственного интеллекта.