Метод сжатия модели машинного обучения на основе итеративной фильтрации слоев

Ускоряющийся рост как размера модели машинного обучения, так и требуемых вычислительных мощностей, привел к появлению ряда методов, которые снижают затрачиваемые ресурсы при использовании моделей машинного обучения. Такими методами являются: квантование, урезание, дистилляция и их комбинации. Представленное исследование посвящено одной из актуальных тем, связанных с урезанием (pruning – анг.) моделей машинного обучения для дальнейшего сжатия, что в перспективе позволит использовать их в более компактных устройствах, например, таких как портативные компьютеры или смартфоны. Урезание или фильтрация параметров моделей базируется на различных критериях. Предлагаемый метод основывается на такой конструктивной особенности модели, как слои нормализации, которые приводят значения весов моделей к аналогу нормального распределения. Исходя из распределения, в качестве критерия предлагается использовать интервалы среднеквадратичного отклонения. Веса, которые попадают в интервалы среднеквадратичного отклонения, урезаются в слое с дальнейшим умножением на масштабирующий коэффициент. Методика фильтрации применяется ко всей модели с периодическим контролем метрик при обработке слоев, что реализовано в виде итеративного алгоритма. В результате применения алгоритма была получена сжатая модель с допустимым снижением метрик (0.95 от эталонного). В зависимости от исходных данных сжатие варьировалось от 0.113 до 0.1848 от общего числа параметров. Количество удаленных параметров слоя изменялось с 0.74 до 0.99 в относительных единицах, где обработкe подвергались до половины всех слоев модели. Программный пакет с расчетами, используемыми в исследовании, представлен по следующей ссылке [8].