Стандартизация и безопасное кодирование: объединение квантования, прунинга и дистилляции в единый адаптивный конвейер для микроконтроллеров класса Cortex-M

Khudaiberideva G. B.

master and department assistant at the department of "Computer Science and Information Technology" Moscow Polytechnic University Moscow, Russia

Kozhukhov D. A.

master and department assistant at the department of "Computer Science and Information Technology" Moscow Polytechnic University Moscow, Russia

Pimenkova A. A.

bachelor’s student at the department of "Computer Science and Information Technology" Moscow Polytechnic University Moscow, Russia

STANDARDIZATION AND SECURE CODING COMBINING QUANTIZATION, PRUNING, AND DISTILLATION INTO A SINGLE ADAPTIVE PIPELINE FOR CORTEX-M CLASS MI RO ONTROLLERS

Annotation : The deployment of neural networks on Cortex-M class microcontrollers is subject to limitations in computing resources, memory, and power consumption. Individual application of model compression methods such as quantization, pruning, and knowledge distillation demonstrates limited effectiveness under these constraints. This work suggests a study of synergetic effects when sequentially combining these methods in a single adaptive pipeline. The main focus is on the analysis of interdependencies, for example, the effect of structured pruning on subsequent quantization. A methodology is proposed for creating an adaptive tool that automatically determines and adjusts the optimal sequence and parameters of compression methods for a given target model, a target Cortex-M microcontroller, and required accuracy indicators. Experimental results confirm that the proposed adaptive pipeline is more efficient than the isolated application of compression methods, providing a higher degree of compression and acceleration while meeting the target accuracy metrics on resource-limited devices.

Введение

Актуальность развертывания моделей глубокого обучения на микроконтроллерах (МК) семейства Cortex-M, характеризующихся существенными ограничениями оперативной и постоянной памяти, тактовой частоты и энергопотребления, неуклонно возрастает в контексте развития Интернета вещей и периферийных вычислений [1]. Традиционные модели нейронных сетей обладают избыточной параметрической сложностью и вычислительными требованиями, делающими их прямое применение на МК класса Cortex-M непрактичным [2]. Для преодоления данных ограничений активно исследуются методы сжатия моделей, среди которых наиболее распространены квантование весов и активаций (Quantization), прунинг (Pruning) и дистилляция знаний (Knowledge Distillation) [3, 4]. Каждый из этих методов обладает уникальными характеристиками воздействия на модель: квантование снижает битность представления данных, прунинг удаляет избыточные параметры или связи, дистилляция переносит знания от большой ("учитель") к малой ("ученик") модели. Однако изолированное применение данных методов часто не позволяет достичь необходимого баланса между степенью сжатия, скоростью вывода и сохранением точности для конкретных ограничений целевого МК [5]. Более того, порядок применения и параметры этих методов критически влияют на конечный результат, создавая сложную многомерную задачу оптимизации. Настоящая работа фокусируется на исследовании синергетических эффектов и взаимозависимостей при последовательном объединении квантования, прунинга и дистилляции в единый конвейер обработки и разработке адаптивной системы, автоматически конфигурирующей данный конвейер под специфические требования целевого устройства Cortex-M и приложения.

Постановка проблемы и анализ существующих подходов.

Проблема эффективного сжатия моделей для МК класса Cortex-M усугубляется их крайней гетерогенностью по вычислительной мощности (от M0 до M7), объему доступной памяти (десятки-сотни КБ ОЗУ, сотни КБ-единицы МБ ПЗУ) и поддержке аппаратных ускорителей (наличие/отсутствие SIMD инструкций, как в ARM CMSIS-NN) [6]. Существующие подходы к сжатию нейронных сетей можно условно разделить на методы, применяемые во время обучения (training-aware) и после обучения (post-training) [7]. К первым относится дистилляция знаний и обучение с учетом прунинга/квантования (QAT, Quantization-Aware Training). Ко вторым – посттренировочное квантование (PTQ, Post-Training Quantization) и посттренировочный прунинг. Преимущество посттренировочных методов заключается в меньшей вычислительной сложности и независимости от исходного процесса обучения модели [8]. Однако их эффективность, особенно в экстремальных условиях МК Cortex-

M, часто ниже, чем у методов, интегрированных в обучение. Ключевым недостатком большинства исследований и инструментов (таких как TensorFlow Lite Micro, STM32Cube.AI, Apache TVM) является применение методов сжатия по отдельности или в фиксированных, эмпирически подобранных комбинациях [9, 10]. Отсутствует систематический анализ того, как выбор типа прунинга (структурированный, неструктурированный, глобальный, поэлементный) влияет на последующее квантование весов и активаций, или как дистилляция может компенсировать потери точности, вызванные агрессивным прунингом и квантованием. Недостаточно изучен вопрос адаптации параметров конвейера сжатия (порядок методов, степень прунинга, битность квантования, архитектура модели-ученика для дистилляции) под конкретную целевую платформу Cortex-M с ее уникальными характеристиками и допустимым уровнем потери точности [11]. Существующие решения редко предоставляют инструменты для автоматизированного поиска оптимальной конфигурации конвейера сжатия, требуя от разработчика ручного перебора множества вариантов, что непрактично для сложных моделей.

Предлагаемый адаптивный конвейер сжатия.

Для решения обозначенных проблем предлагается единый адаптивный конвейер сжатия нейронных сетей, интегрирующий методы прунинга, квантования и дистилляции знаний. Инновационность подхода заключается в трех ключевых аспектах: исследование синергии методов, последовательное применение с учетом взаимовлияния и автоматизация выбора оптимальной конфигурации под целевую платформу. Конвейер функционирует как последовательность этапов обработки исходной модели.

Начальным этапом является структурированный прунинг. Приоритет отдается структурированным методам (удаление целых каналов, фильтров или блоков), так как они обеспечивают предсказуемое уменьшение вычислительного графа модели, что критически важно для эффективной работы на МК с фиксированными аппаратными возможностями и оптимизированных библиотеках вроде CMSIS-NN [12]. Используются алгоритмы, основанные на оценке значимости параметров (например, по величине весов, по вкладу в активации или через анализ чувствительности слоев). Результатом этапа является модель с уменьшенной архитектурой.

Следующим этапом применяется квантование. Предлагается использовать посттренировочное квантование (PTQ) как менее ресурсоемкое, но при необходимости конвейер может быть расширен поддержкой квантовано-осознанного обучения (QAT) для более агрессивных настроек сжатия. Ключевой аспект заключается в том, что структура модели, полученная после прунинга, влияет на процесс калибровки квантования. Удаление избыточных каналов или фильтров может изменить распределение активаций в оставшихся слоях, что требует адаптивной настройки параметров квантования (диапазоны min/max, выбор схемы квантования – асимметричная, симметричная, per-channel/per-tensor) [13]. Результатом является модель с пониженной битностью весов и активаций (например, 8-битная, 4-битная).

Завершающим этапом конвейера является дистилляция знаний. Здесь модель, полученная после прунинга и квантования, выступает в роли "учителя". Цель этапа – восстановить точность, потенциально утраченную на предыдущих стадиях агрессивного сжатия, путем обучения компактной модели-"ученика" (возможно, с архитектурой, дополнительно оптимизированной под целевую платформу) имитировать выходы или внутренние представления "учителя" [14]. Использование сжатой модели в качестве "учителя" вместо исходной полной модели снижает вычислительные затраты на этапе дистилляции и позволяет сфокусироваться на специфических особенностях уже оптимизированной модели.

Адаптивный механизм выбора конфигурации.

Сердцем предложенного подхода является адаптивный механизм, автоматически подбирающий оптимальную конфигурацию конвейера сжатия для заданных входных параметров: исходная модель, целевой микроконтроллер Cortex-M (с его спецификацией: тип ядра, объем RAM/Flash, наличие аппаратных ускорителей), целевой показатель точности (например, минимально допустимая Top-1 Accuracy). Данный механизм реализуется как система оптимизации с черным ящиком (blackbox optimization). Пространство поиска включает: тип и степень агрессивности прунинга (процент удаляемых каналов/фильтров), битность квантования весов и активаций (возможны разные схемы для разных слоев), параметры дистилляции (температура, веса лоссов, архитектура модели-ученика), порядок применения методов (хотя базовый порядок Прунинг->Квантование->Дистилляция установлен как стартовый, механизм может исследовать вариации). В качестве целевой функции оптимизации выступает взвешенная комбинация метрик: размер модели в памяти (Flash), потребление оперативной памяти (RAM) во время вывода, скорость вывода (латентность), энергопотребление (если доступны модели) и отклонение точности от целевого значения. Для эффективного исследования пространства конфигураций используются методы байесовской оптимизации или эволюционные алгоритмы [15]. Механизм выполняет итеративный процесс: выбор конфигурации -> применение конвейера с данной конфигурацией -> оценка результирующей модели на эмуляторе целевого МК или с использованием точных моделей ресурсов -> обновление стратегии поиска на основе полученных метрик. Критерием остановки является достижение целевой точности при минимальных ресурсных затратах или исчерпание вычислительного бюджета оптимизации.

Заключение

Настоящая работа была посвящена решению актуальной проблемы развертывания моделей глубокого обучения на ресурсо-ограниченных микроконтроллерах семейства Cortex-M, что критически важно для развития Интернета вещей и периферийных вычислений. Прямое применение стандартных моделей на таких устройствах невозможно из-за жестких ограничений памяти, вычислительной мощности и энергопотребления. Хотя методы сжатия, такие как квантование, прунинг и дистилляция знаний, широко исследуются, их изолированное применение или использование в фиксированных комбинациях часто не позволяет достичь необходимого баланса между степенью сжатия, скоростью вывода и сохранением требуемой точности, особенно с учетом крайней гетерогенности платформ Cortex-M.

Для преодоления этих ограничений был предложен инновационный адаптивный конвейер сжатия. Его ключевая идея заключается в синергетическом последовательном применении структурированного прунинга, посттренировочного квантования (PTQ) и дистилляции знаний. Структурированный прунинг, удаляя избыточные каналы или фильтры, формирует оптимизированную архитектуру модели, что упрощает ее последующее выполнение на целевом МК. Применяемое затем квантование существенно снижает битность представления весов и активаций, уменьшая требования к памяти и вычислениям. Принципиально важно, что дистилляция знаний использует уже сжатую модель (после прунинга и квантования) в качестве "учителя". Это позволяет эффективно восстановить точность, потенциально утерянную на предыдущих агрессивных этапах сжатия, путем обучения компактной модели-ученика имитировать специфические знания, заложенные в оптимизированной архитектуре, и адаптировать их под целевую платформу.

Сердцем предложенного подхода является адаптивный механизм автоматической конфигурации конвейера. Этот механизм, реализованный на основе методов оптимизации "черного ящика" (таких как байесовская оптимизация или эволюционные алгоритмы), автоматически подбирает оптимальные параметры каждого этапа (степень прунинга, битность квантования, параметры дистилляции, архитектуру ученика) и даже исследует порядок их применения. Целью оптимизации является достижение заданного уровня точности при минимизации ресурсных затрат – размера модели в ПЗУ (Flash), потребления ОЗУ (RAM), латентности вывода и энергопотребления – строго в соответствии со спецификацией конкретного микроконтроллера Cortex-M. Таким образом, данный подход предоставляет систематизированное и автоматизированное решение для эффективного развертывания сложных моделей ИИ на широком спектре крайне ограниченных периферийных устройств.