Разложение функции Softmax на основе CosFace для интерпретации и анализа динамики обучения
Автор: Шокоров В.А., Самосюк А.В.
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Информатика и управление
Статья в выпуске: 1 (69) т.18, 2026 года.
Бесплатный доступ
С ростом числа прикладных применений искусственного интеллекта задача интерпретации поведения нейронной сети становится актуальнее. Существуют подходы интерпретации модели на основании градиентов, с помощью Activation Patching, а также с использованием Sparse Autoencoder. В работе предлагается метод декомпозиции функции SoftMax в рамках функции потерь CosFace для задачи распознавания лиц. Данная декомпозиция позволит упростить описание процесса обучения модели. Ключевой вклад работы: (1) замена зависящего от данных SoftMax на фиксированные веса взаимодействия логитов, (2) устранение артефактов обучения прототипов через максимальный марджин (исключение градиента отталкивания от целевого прототипа) и использование «чистых» прототипов (исключение негативной компоненты и балансировка обновления). Доказательство сохранения точности (±0.5%) приводится на датасетах LFW, CFP-FP, AgeDB, IJB при упрощении анализа динамики обучения.
Объяснимый искусственный интеллект, декомпозиция softmax, интерпретация модели ии, распознавание лиц
Короткий адрес: https://sciup.org/142247880
IDR: 142247880 | УДК: 004.93’11
CosFace softmax decomposition to facilitate interpretability and learning dynamics analysis
With the growing number of artificial intelligence applications, the relevance of the neural network interpretability problem also increases. Some approaches focus on explaining model behavior based on gradients or Activation Patching, while some other works use Sparse Autoencoders. This work proposes a method to decompose the SoftMax function within the CosFace loss in the context of face recognition. Such decomposition simplifies the analysis of the model learning dynamics without substantially sacrificing quality. The key contributions of the work are: (1) replacing the data-dependent SoftMax with fixed logits interaction weights, and (2) eliminating training class prototypes shift from a class centroids via: maximum margin (removing the repulsive gradients from the target prototype) and using «pure» gradient-free prototypes (eliminating the negative component with balanced update). Benchmarks demonstrate a negligible accuracy (±0.5%) difference from the baseline model on LFW, CFP-FP, AgeDB, and IJB datasets while simplifying the analysis of learning dynamics.
