Исследование возможности обфускации нейросетей и функционирования обфусцированных нейросетей в рамках задачи классификации

В некоторых случаях возникает необходимость защитить знания, содержащиеся в нейронной сети, при этом не удаляя их из сети. Одна из проблем заключается в том, что атакующий может восстановить входные данные, приводящие к желаемому выводу, используя методы, значительно более эффективные, чем полный перебор. Для решения этой проблемы предлагается использовать подход обфускации, повышающий сложность атак на инверсию модели и уклонение. В данной работе представлен механизм защиты, основанный на немонотонных функциях активации (модификациях ReLU) с низкой параметризацией, разработанный для повышения сложности атак в условиях открытого доступа (белый ящик). В работе рассматриваются эвристики (стохастические перенос, обмен с эквивалентом) и компоненты (дополнительные варианты ReLU), которые улучшают сходимость сети с немонотонной функцией активации. Каждый нейрон с такой функцией способен эмулировать до двух стандартных нейронов, повышая энтропию хранимой информации, что в некоторых случаях позволяет уменьшить размер сети до 2 раз без существенной потери качества.