Анализ надежности систем распознавания лиц посредством внедрения оценки сдвига в кластерное пространство признаков при манипуляциях с лицами на основе GAN
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Информатика и управление
Статья в выпуске: 3 (71) т.18, 2026 года.
Бесплатный доступ
Данная работа является продолжением исследования направленности смещений биометрических эмбеддингов при GAN-манипуляциях и посвящена анализу влияния этих смещений на кластерную структуру пространства признаков и качество идентификации. Работа основана на патенте US2025267009A1, посвященном системам идентификации, использующим биометрические эмбеддинги для защиты цифрового контента. В работе представлен анализ влияния смещений биометрических эмбеддингов на структуру кластеризованного пространства признаков при локализованном редактировании лиц с применением генеративных моделей. Проведено исследование корреляции между дельтами расстояний до центров кластеров и качеством идентификации в поисковых задачах с использованием метода Спирмена для пяти популярных моделей распознавания лиц (VGG-Face, FaceNet, OpenFace, Dlib, ArcFace) в конфигурациях с 3 и 4 кластерами. Применены методы машинного обучения (Random Forest) для построения предсказательных моделей качества поиска на основе метрик смещений. Выявлены критические события (смена кластера) и их влияние на деградацию идентификации. Проведена стратификация результатов по типам модификаций лица (рот, нос, глаза, возраст, полнота) с использованием непараметрических тестов (U-тест Манна – Уитни). Результаты демонстрируют, что метрики кластерных смещений обладают высокой предсказательной силой для оценки надежности систем идентификации и позволяют разработать методику оценки робастности для практического применения в системах биометрической верификации.
Короткий адрес: https://sciup.org/142248881
IDS: 142248881 | УДК: 004.93’1
Reliability analysis of face recognition systems under GAN-based facial manipulations using shift assessment in clustered feature space
This work is a continuation of the study of the direction of biometric embedding biases during GAN manipulations and is devoted to the analysis of the effect of these biases on the cluster structure of the feature space and the quality of identification. The work is based on patent US2025267009A1, dedicated to biometric identification systems using biometric embeddings to protect digital content. The paper presents an analysis of the impact of biometric embedding shifts on the structure of clustered feature space during localized facial editing using generative models. We investigate the correlation between deltas of distances to cluster centers and face identification quality in search tasks using Spearman’s method for five popular face recognition models (VGG-Face, FaceNet, OpenFace, Dlib, ArcFace) in configurations with 3 and 4 clusters. Machine learning methods (Random Forest) are applied to construct predictive models of search quality based on embedding shift metrics. Critical events (cluster switching) and their impact on identification degradation are identified. Results are stratified by facial modification types (mouth, nose, eyes, age, fatness) using nonparametric tests (Mann – Whitney U). The results demonstrate that clustered space shift metrics possess high predictive power for assessing the reliability of identification systems and enable the development of a robustness evaluation methodology for practical application in biometric verification systems.
