Экстремальная специализация крупных языковых моделей на основе онтологической релевантности для промышленных задач

Предлагается методология экстремальной компрессии крупных языковых моделей (LLM) посредством целевого удаления функциональных возможностей, не релевантных конкретной узкопрофильной промышленной задаче. В отличие от традиционных подходов к сжатию, ориентированных на сохранение общих способностей модели, данный подход фокусируется на идентификации и последующем устранении параметров и внутренних представлений, ответственных за обработку знаний, выходящих за пределы необходимой предметной области. Метод предполагает анализ семантической важности данных относительно целевой онтологии задачи (например, диагностика неисправностей станка на основе логов), применение структурированного прунинга и селективного замораживания модулей сети. Результатом является значительное уменьшение вычислительных требований и размера модели при сохранении требуемой специализированной функциональности. Данный подход обеспечивает практическую возможность внедрения LLM в ресурсоограниченные промышленные среды, требующие высокой эффективности и предсказуемости.