Анализ смещений биометрических эмбеддингов при локальных GAN-манипуляциях лиц для систем идентификации
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Информатика и управление
Статья в выпуске: 3 (71) т.18, 2026 года.
Бесплатный доступ
Работа основана на патенте US2025267009A1, посвященном системам идентификации, использующим биометрические эмбеддинги для защиты цифрового контента. Предлагается методика анализа смещений эмбеддингов систем распознавания лиц под воздействием семантических GAN-манипуляций, локально изменяющих области лица на изображениях. В эксперименте применены пять популярных моделей распознавания лиц (VGG-Face, FaceNet, OpenFace, Dlib, ArcFace), датасеты FFHQ и Human Profile Photos, а также 25 промптов, реализующих изменения рта, носа, глаз, возраста и полноты с применением inpainting-режима генеративной модели. Исследуются гипотезы о существовании глобальных направлений сдвига, задаваемых промптом, и смещении к центроидам векторного пространства; приводятся оценки mean cosine similarity и разброса направлений для усреднeнных векторов и центроидов. Полученные результаты показывают, что промпты не задают жeсткое направление смещения, но формируют устойчивые слабые и средние зависимости, позволяющие реализовывать частично контролируемые целевые сдвиги эмбеддингов, что критично для анализа атак на биометрические системы идентификации и построения дальнейших методов оценки робастности.
Короткий адрес: https://sciup.org/142248880
IDS: 142248880 | УДК: 004.93’1
Analysis of biometric embedding shifts under local GAN-based facial manipulations for identification systems
The work is based on patent US2025267009A1, dedicated to biometric identification systems using biometric embeddings to protect digital content. A technique is proposed for analyzing the embedding biases of facial recognition systems under the influence of semantic GAN manipulations that locally alter facial areas in images. The experiment used five popular face recognition models (VGG-Face, FaceNet, OpenFace, Dlib, ArcFace), FFHQ and Human Profile Photos datasets, as well as 25 prompts that implement mouth, nose, eye, age, and fullness changes using the inpainting mode of the generative model. Hypotheses about the existence of global displacement directions set by prompts and displacement to the centroids of the vector space are investigated; estimates of mean cosine similarity and direction spread for averaged vectors and centroids are given. The results obtained show that prompts do not set a rigid direction of displacement, but form stable weak and medium dependencies that allow partially controlled target shifts of embeddings, which is critical for analyzing attacks on biometric identification systems and constructing further methods for assessing robustness.
