Анализ смещений биометрических эмбеддингов при локальных GAN-манипуляциях лиц для систем идентификации

Аршанский А.Р. Колыбельников А.И. Назаров А.Н.

Журнал: Труды Московского физико-технического института @trudy-mipt

Рубрика: Информатика и управление

Статья в выпуске: 3 (71) т.18, 2026 года.

Бесплатный доступ

Работа основана на патенте US2025267009A1, посвященном системам идентификации, использующим биометрические эмбеддинги для защиты цифрового контента. Предлагается методика анализа смещений эмбеддингов систем распознавания лиц под воздействием семантических GAN-манипуляций, локально изменяющих области лица на изображениях. В эксперименте применены пять популярных моделей распознавания лиц (VGG-Face, FaceNet, OpenFace, Dlib, ArcFace), датасеты FFHQ и Human Profile Photos, а также 25 промптов, реализующих изменения рта, носа, глаз, возраста и полноты с применением inpainting-режима генеративной модели. Исследуются гипотезы о существовании глобальных направлений сдвига, задаваемых промптом, и смещении к центроидам векторного пространства; приводятся оценки mean cosine similarity и разброса направлений для усреднeнных векторов и центроидов. Полученные результаты показывают, что промпты не задают жeсткое направление смещения, но формируют устойчивые слабые и средние зависимости, позволяющие реализовывать частично контролируемые целевые сдвиги эмбеддингов, что критично для анализа атак на биометрические системы идентификации и построения дальнейших методов оценки робастности.

распознавание лиц \ генеративно-состязательные сети (GAN) \ сдвиг эмбеддингов \ биометрические эмбеддинги; семантическая дорисовка изображений \ устойчивость (робастность) моделей \ патент US2025267009A1

Короткий адрес: https://sciup.org/142248880

IDS: 142248880   |   УДК: 004.93’1

Analysis of biometric embedding shifts under local GAN-based facial manipulations for identification systems

The work is based on patent US2025267009A1, dedicated to biometric identification systems using biometric embeddings to protect digital content. A technique is proposed for analyzing the embedding biases of facial recognition systems under the influence of semantic GAN manipulations that locally alter facial areas in images. The experiment used five popular face recognition models (VGG-Face, FaceNet, OpenFace, Dlib, ArcFace), FFHQ and Human Profile Photos datasets, as well as 25 prompts that implement mouth, nose, eye, age, and fullness changes using the inpainting mode of the generative model. Hypotheses about the existence of global displacement directions set by prompts and displacement to the centroids of the vector space are investigated; estimates of mean cosine similarity and direction spread for averaged vectors and centroids are given. The results obtained show that prompts do not set a rigid direction of displacement, but form stable weak and medium dependencies that allow partially controlled target shifts of embeddings, which is critical for analyzing attacks on biometric identification systems and constructing further methods for assessing robustness.

Текст научной статьи Анализ смещений биометрических эмбеддингов при локальных GAN-манипуляциях лиц для систем идентификации

Системы распознавания лиц (Face Recognition, FR) являются одним из ключевых направлений развития биометрической идентификации и уже используются в защите цифрового контента, системах доступа, судебной экспертизе и банковской сфере. Отдельный класс решений опирается на представление изображений лиц в виде векторов в высокомерном пространстве признаков (биометрических эмбеддингов), для которых расстояния и пороговые значения служат основой принятия решений об идентичности. Примером такого подхода является патент US2025267009A1 [1], в котором предлагается использовать биометрические эмбеддинги в составе блокчейн-архитектуры для защиты от подделки цифрового контента, включая deepfake-модификации.

Современные FR-модели, такие как FaceNet, ArcFace, VGG-Face, Dlib и OpenFace [2-7], демонстрируют точность более 99 % на открытых бенчмарках, поддерживают масштабируемость, работу в реальном времени и имеют открытые реализации, что способствует их широкому внедрению. Параллельно активно развиваются методы детекции deepfake и тестовые наборы для оценки робастности [8-15], в том числе ориентированные на различные виды шумовых и пиксельных возмущений. Тем не менее такие тесты в основном учитывают неконтролируемые или низкоуровневые искажения, не учитывающие семантику изменений, и слабо отражают сценарии целенаправленных атак, основанных на семантически осмысленных манипуляциях внешности с помощью генеративных моделей.

Появление мощных генеративных моделей, в том числе GAN-архитектур с режимом inpainting [16], привело к возможности локальных, визуально правдоподобных изменений отдельных зон лица (глаза, рот, нос, кожа, возраст, полнота) без грубых артефактов. Такие изменения могут не вызывать подозрений у человека-наблюдателя, но при этом существенно смещать эмбеддинги в векторном пространстве признаков, влияя на результат идентификации и создавая угрозу для систем, в которых корректность эмбеддинга является критически важным элементом безопасности, как в случае US2025267009A1 [1]. В подобных архитектурах система генерации биометрических эмбеддингов становится третьим уязвимым звеном наряду с хеш-функцией и криптографической подписью.

Существующие методики оценки робастности FR-моделей к атакам фокусируются преимущественно на глобальных возмущениях или добавлении шумовых/адверсариальных паттернов на уровне пикселей и, как правило, не учитывают семантически корректных локальных GAN-модификаций. FR-модели часто рассматриваются как «черные ящики»: неочевидно, как именно конкретная структура промята, выбранная область лица и интенсивность изменения влияют на смещение эмбеддинга. Кроме того, имеющиеся работы по кластеризации эмбеддингов, как правило, не анализируют целенаправленные семантические атаки и не дают количественных метрик, позволяющих связать тип манипуляции с риском ошибочной идентификации.

Возникает исследовательский пробел: отсутствует методология количественного анализа направленности смещений биометрических эмбеддингов при локализованных GAN-манипуляциях и оценки того, в какой степени текстовый промпт можно рассматривать как управляемое направление в векторном пространстве признаков. Не изучено, приводят ли семантические изменения отдельных зон лица к смещениям в сторону некоторого устойчивого направления или виртуального центроида, задаваемого Промптом, и насколько эти эффекты зависят от архитектуры FR-модели. Для систем идентификации, использующих расстояния между эмбеддингами в качестве решающего критерия, ответ на этот вопрос крайне важен с точки зрения построения реалистичных атак и разработки практических рекомендаций по выбору моделей и настройке порогов.

Цель данной работы — разработать и апробировать методику анализа смещений биометрических эмбеддингов систем распознавания лиц под воздействием семантических локальных GAN-манипуляций и исследовать направленность этих смещений в векторном пространстве признаков. В рамках исследования используются пять популярных FR-моделей (VGG-Face, FaceNet, OpenFace, Dlib, ArcFace), база из 50 000 изображений FFHQ [17]

и набор из 312 профильных снимков Human Profile Photos [18], для которых с помощью 25 промптов формируются 38 377 GAN-модулированных изображений с изменениями рта, носа, глаз, возраста и полноты. Анализируются гипотезы о существовании глобального направления смещения, задаваемого промятом, и смещении к центроидам, соответствующим конкретным направлениям, на основе метрик mean cosine similarity и разброса углов между векторами смещения.

Предлагаемая методика позволяет количественно оценивать влияние различных типов локальных изменений лица на смещения эмбеддингов для разных FR-моделей и выявлять частично предсказуемые компоненты этих смещений. Полученные результаты формируют основу для последующего более детального кластерного анализа робастности и разработки практических критериев оценки устойчивости биометрических систем идентификации к семантическим GAN-атакам.

2.    Данные и генерация GAN-модуляций

Эксперименты проводились в моделированных векторных пространствах, построенных по достаточно крупным наборам изображений лиц. В качестве основной базы использовался датасет FFHQ [17], из которого было выбрано 50 000 изображений лиц разного возраста, пола и расы в высоком разрешении. Дополнительно применялся Human Profile Photos Dataset, включающий 312 высококачественных изображений лиц, снятых строго в профиль, без грима, выраженных мимических деформаций и заметных артефактов, что делает его удобным для контролируемого моделирования семантических изменений.

Все изображения были векторизованы пятью популярными моделями распознавания лиц: VGG-Face, FaceNet, OpenFace, Dlib и ArcFace [2-7]. Для каждой модели формировалось собственное векторное пространство эмбеддингов, в котором далее анализировались смещения, вызванные GAN-модуляциями; все последующие эксперименты выполнялись независимо для каждой FR-архитектуры (рис. 1).

Рис. 1. Примеры GAN-модуляций изображений

Для задания областей локальных изменений применялась автоматическая разметка ключевых точек лица на основе библиотеки mediapipe. На каждом изображении выделялся набор опорных точек, охватывающий основные структурные элементы: контур лица, область глаз, носа, рта и прилегающих зон кожи (рис. 2). На основе этих точек формировались полигоны, определяющие маски для дальнейшего inpainting генеративной моделью.

Рис. 2. Демонстрация выделения ключевых точек лица, используемых для дальнейшего выделения полигонов различных зон для модуляции GAN

Использовалось четыре набора ключевых точек, каждый из которых соответствовал одной из основных модулируемых зон: рот, нос, глаза, кожа/овал лица. Для каждой зоны строилась бинарная маска, по контуру которой ограничивалась область изменения; при этом для манипуляций, связанных с возрастом и полнотой, маска кожи формировалась так, чтобы исключить области, задействованные в других типах изменений (глаза, нос, рот), что позволяло избежать смешения эффектов.

Модуляции проводились по пяти типам семантических изменений, соответствующих различным областям лица и характеристикам внешности. Для каждого типа использовалось по пять текстовых промптов, всего 25 направлений, которые в дальнейшем кодировались в виде 25 уникальных шб5-идентификаторов (далее — тб5-направления). Последующие ссылки на промяты в численных таблицах и анализе приводятся именно в этом шб5-формате.

Таблица 1 Типы локальных GAN-модификаций

Тип изменения

Описание области / эффекта

Mouth

Локальные изменения формы и внешнего вида ротовой области

Nose

Изменения формы и размеров носа

Eyes

Изменения формы, размера и выражения глаз (общая маска для обоих глаз)

Age

Изменения возрастных признаков (морщины, овал лица, текстура кожи)

Fatness

Изменения полноты лица (объём мягких тканей, контур щёк и подбородка)

Для каждого из 312 донорских профильных изображений генерировались варианты с применением указанных масок и промптов в режиме inpainting генеративной модели, в результате чего было получено 38 377 GAN-модулированных изображений. Такая схема позволила для каждого донора сформировать множество пар «исходное-модифицированное»

с различными типами локальных семантических изменений, но без глобальной перестройки сцены или появления грубых артефактов.

Итоговый объем данных для анализа направленности смещений включает: 50 000 эм-беддингов FFHQ [17], формирующих фоновые распределения вектора признаков, и 312 исходных эмбеддингов из Human Profile Photos Dataset с их 38 377 GAN-модулированными вариантами для каждой из пяти FR-моделей. Такое сочетание базового большого датасета и специально подготовленного профильного набора позволяет одновременно учитывать общую геометрию эмбеддингового пространства и детально исследовать эффекты локальных семантических изменений на уровне пар «донор-модификация».

3.    Методика анализа смещений эмбеддингов

Целью данного раздела является количественный анализ направленности смещений биометрических эмбеддингов при локальных GAN-манипуляциях и проверка гипотез о роли текстового промпта как управляющего фактора векторного сдвига. Рассматриваются пары эмбеддингов (E°rig, EpAN), соответствующие исходному и модифицированному изображениям одного и того же донора, для всех пяти моделей распознавания лиц.

Для каждой пары исходного и GAN-модифицированного изображений рассчитывался вектор смещения в пространстве эмбеддингов:

А^ = E^As - E."s, где E°rig и EpAN— эмбеддинги исходного и соответствующего GAN-изображения для пары с номером i Для каждого текстового промпта (тс!5-направления) учитывался набор {АД, сформированный по всем донорам и всем сгенерированным модификациям с данным Промптом.

Для оценки «среднего» направления смещения, задаваемого промятом, вычислялся усредненный вектор:

1 N А = X У А., . =1

где X — чис.то пар (E/11 \ЕЕ vx). соответствующих конкретному промпту. В дальнейшем А использовался как кандидат на глобальное направление сдвига, индуцируемое этим Промптом в пространстве эмбеддингов.

Первая гипотеза предполагала, что каждый текстовый промпт задает устойчивое глобальное направление смещения, т. е. векторы А. для данного промпта коллинеарны некоторому вектору А с небольшим разбросом. Для проверки гипотезы данные по каждому промпту разбивались на обучающую и тестовую части в пропорции 90/10. На обучающей части вычислялся усредненный вектор А, после чего для каждого вектора смещения Аj в тестовой выборке вычислялась косинусная близость:

ros sim(А,, А)= А А > . -   (’, )   ЦАЩ1АЦ

Для каждого промпта оценивались две сводные характеристики: среднее значение косинусной близости mean cosine similarity и ее стандартное отклонение std cosine similarity по всем A j тестовой выборки. Высокое значение mean при малом std интерпретировалось как наличие устойчивого направления смещения, задаваемого промятом, тогда как низкое mean и/или большое std указывали на высокую вариативность сдвигов.

Вторая гипотеза рассматривала промпт не как направление, а как «целевую точку» ^prompt в вектОрНОМ пространстве, к которой смещаются эмбеддинги при GAN-модуляции. Для каждой группы {А.}, соответствующей одному промпту, на обучающей части вычис лялся центроид:

N

EAAS - С ||2) ,

С’1"1п^ = arg min —    ||

С     t!"

который совпадает с обычным средним значением эмбеддингов EpAN в этой группе. На тестовой части анализировалосв, насколвко векторы смещения Aj направлены в сторону ^prompt относительно исходник эмбеддингов. Для этого рассматривалисв векторы вида vj = С1’1"1 lipt - Efs, и рассчитываласв косинусная близости между Aj и Vj

(Aj ,Vj ) cos_sim (Aj,Vj) = ^ . •

Аналогично первой гипотезе, для каждой комбинации «промпт-модель распознавания» вычислялисв mean cosine similarity и std cosine similarity по этим значениям, что позволяло оценитв степени «стягивания» эмбеддингов к центроиду промпта.

Для каждой из пяти FR-моделей (VGG-Face, FaceNet, OpenFace, Dlib, ArcFace) и каждого из 25 тб5-направлений формировалисв таблицы, содержащие значения mean cosine similarity и std cosine similarity для обеих гипотез — «усредненный вектор» и «центроид». Эти таблицы отражают, насколвко силвно и стабилвно промпт задает направление смещения в пространстве эмбеддингов для конкретной архитектуры распознавания лиц. В дальнейшем на основе этих сводник метрик проводится сравнителвный анализ моделей по степени выраженности направленнвк сдвигов и обсуждаются последствия для построения контролируемвк атак и оценки робастности биометрических систем.

4.    Результаты анализа направленности смещений

Для каждого из 25 тб5-направлений (промптов) и каждой из пяти FR-моделей вычислялись значения mean cosine similarity и std cosine similarity между векторами смещения Aj тестовой части и усредненным вектором A, построенным на обучающей. Сводные результаты приведены в табл. 2.

Анализ результатов по моделям показал следующее

VGG-Face. Значения mean cosine similarity для различных тб5-направлений укладываются в диапазон 0.10-0.35, стандартные отклонения — от 0.08 до 0.21. Косинусная близость для всех направлений близка к нулю или слабо положительна, что свидетельствует о высокой вариативности направлений смещения и отсутствии сильной коллинеарности с усредненным вектором. Можно утверждать, что имеется частичное стремление к единому направлению, но в целом смещения остаются вариативными.

FaceNet. Выявлено несколько направлений (’085b45edc8’, ’6cabal3e92’, ’6384500851’, ’2710a4a0fc’), для которых mean cosine similarity находится на уровне 0.48-0.55, что сопоставимо с низкой-средней коллинеарностью и заметно выше, чем у большинства направлений VGG-Face. У остальных направлений значения лежат преимущественно в диапазоне 0.22-0.35, что свидетельствует об отсутствии явно выраженного глобального направления смещения.

OpenFace. Диапазон mean cosine similarity составляет 0.10-0.44; только промпты ’085b45edc8’, ’6cabal3e92’ и ’2710a4a0fc’ выходят выше 0.4. Аналогично предыдущим моделям, по большей части отсутствуют явно выраженные направления.

Dlib. Как и в предыдущих случаях, только ограниченное число направлений (например, ’085b45edc8’, ’6cabal3e92’, ’6384500851’) демонстрируют заметную направленность со значениями mean cosine similarity порядка 0.51-0.58.

ArcFace. Большинство значений mean cosine similarity лежит в диапазоне 0.17-0.41; значимыми «лидерами» являются только ’085b45edc8’, ’6384500851’ и ’6саЬа13е92’, где значения доходят до 0.37-0.41.

Таким образом, гипотеза о глобальном направлении смещения не подтверждается явно, хотя показано, что некоторые промпты все же могут давать умеренное направленное смещение в конкретную сторону. Стоит отметить, что результаты следует интерпретировать с учётом модулируемых площадей лица: было бы странно, модулируя исключительно нос или ротовую область, получать сильные устойчивые смещения. С этой точки зрения интерпретация результата такова: контролируемые изменения даже одной зоны могут вызывать частично предсказуемые смещения в векторном пространстве.

Оценки смещений по усредненным векторам

Таблица 2

Код

VGG-Face

Facenet

OpenFace

Dlib

ArcFace

mean

std

mean

std

mean

std

mean

std

mean

std

085b45edc8

0.346

0.128

0.541

0.182

0.415

0.265

0.576

0.163

0.407

0.145

17f85789bd

0.166

0.122

0.231

0.186

0.206

0.240

0.211

0.149

0.177

0.147

584a66262d

0.165

0.124

0.276

0.203

0.220

0.256

0.282

0.186

0.227

0.145

6384500851

0.302

0.133

0.487

0.202

0.335

0.255

0.514

0.194

0.366

0.161

6cabal3e92

0.356

0.121

0.545

0.164

0.443

0.223

0.580

0.175

0.394

0.125

8066ee9088

0.226

0.150

0.271

0.228

0.315

0.282

0.346

0.249

0.210

0.154

80c67e8580

0.191

0.165

0.323

0.237

0.256

0.281

0.314

0.280

0.251

0.185

db842e8a80

0.126

0.134

0.270

0.292

0.153

0.238

0.170

0.215

0.194

0.165

dec5277002

0.187

0.135

0.291

0.259

0.303

0.253

0.363

0.190

0.241

0.148

f9bc84630c

0.124

0.158

0.260

0.251

0.169

0.232

0.186

0.214

0.207

0.182

13819f5fl6

0.187

0.087

0.253

0.161

0.354

0.246

0.292

0.208

0.254

0.153

45eafl7131

0.166

0.102

0.231

0.190

0.229

0.229

0.272

0.163

0.170

0.202

adf465ad53

0.225

0.145

0.350

0.214

0.285

0.238

0.398

0.206

0.289

0.173

blc4696aed

0.156

0.124

0.265

0.206

0.155

0.237

0.293

0.179

0.197

0.191

eef4ff6810

0.202

0.121

0.266

0.185

0.279

0.261

0.310

0.173

0.219

0.132

1229aaOe5e

0.128

0.215

0.248

0.188

0.140

0.307

0.126

0.237

0.176

0.373

2710a4a0fc

0.240

0.124

0.480

0.221

0.407

0.258

0.392

0.199

0.386

0.191

929c08fle5

0.187

0.200

0.324

0.202

0.271

0.243

0.188

0.226

0.206

0.361

98b95fala8

0.103

0.152

0.269

0.242

0.101

0.259

0.151

0.169

0.138

0.283

9cfflf0928

0.159

0.189

0.226

0.179

0.237

0.297

0.185

0.199

0.189

0.335

6904369ad4

0.148

0.142

0.241

0.232

0.193

0.258

0.262

0.245

0.174

0.151

ae5c04ae5c

0.169

0.151

0.284

0.236

0.220

0.288

0.279

0.235

0.215

0.163

e59aa46321

0.133

0.138

0.227

0.222

0.188

0.296

0.225

0.225

0.165

0.152

e91c52e952

0.205

0.169

0.317

0.248

0.247

0.253

0.305

0.257

0.236

0.186

f81bc8c3f3

0.206

0.157

0.331

0.253

0.284

0.272

0.346

0.245

0.246

0.171

Аналогичная процедура проводилась для гипотезы о смещении к центроиду (ДРготР\ Результаты приведены в табл. 3.

В отличие от предыдущей гипотезы здесь наблюдается выраженная направленность смещения, пусть вариативность все еще сохраняется высокой.

VGG-Face. Значения mean cosine similarity устойчиво выше: почти у всех md5 значения превышают 0.3, а для части промптов достигают 0.5-0.65.

FaceNet. Для многих промптов mean cosine similarity по центроиду находится в диапазоне 0.41-0.68, причём для направлений ’6cabal3e92’, ’085b45edc8’, ’6384500851’, T3819f5fl6’ значения достигают 0.52-0.68.

OpenFace. Для наиболее «сильных» направлений (’6cabal3e92’, ’085b45edc8’, ’6384500851’, ’1381915116’) mean cosine similarity достигает 0.43-0.51, а стандартное отклонение при этом — умеренное (от 0.16 до 0.22).

Dlib. Для группы промптов (’6cabal3e92’, ’085b45edc8’, ’6384500851’, ’ad!465ad53’, ’1381915116’) mean cosine similarity по центроиду превышает 0.54-0.70, а стандартное отклонение невелико (0.10-0.14). Это четко указывает на устойчивое «стягивание» эмбеддингов к центру изменения. В основной массе md5 mean cosine similarity по центроиду составляет 0.31-0.51, что для большинства промптов заметно выше, чем по первой гипотезе.

ArcFace. Большинство значений mean cosine similarity лежит в диапазоне 0.28-0.50; значимыми «лидерами» остаются только ’085b45edc8’, ’6384500851’ и ’6саЬа13е92’, где значения доходят до 0.61-0.69. Для основной массы промптов эффект группового направления остается слабее, чем у Dlib или FaceNet, но тем не менее выше, чем по гипотезе об усредненном векторе.

Оценки смещений к центроидам

Таблица 3

Код

VGG-Face

Facenet

OpenFace

Dlib

ArcFace

mean

std

mean

std

mean

std

mean

std

mean

std

085b45edc8

0.626

0.093

0.606

0.121

0.432

0.187

0.648

0.125

0.637

0.157

17f85789bd

0.489

0.103

0.417

0.169

0.400

0.201

0.441

0.146

0.452

0.177

584a66262d

0.501

0.104

0.437

0.162

0.364

0.192

0.481

0.138

0.496

0.126

638450085f

0.605

0.096

0.575

0.139

0.417

0.193

0.608

0.136

0.606

0.120

6cabal3e92

0.663

0.073

0.684

0.095

0.507

0.157

0.700

0.107

0.691

0.097

8066ee9088

0.328

0.113

0.272

0.160

0.338

0.221

0.348

0.171

0.298

0.205

80c67e8580

0.327

0.123

0.312

0.176

0.362

0.184

0.368

0.149

0.317

0.171

db842e8a80

0.295

0.117

0.289

0.173

0.290

0.213

0.317

0.165

0.279

0.177

dec5277002

0.327

0.121

0.296

0.176

0.343

0.224

0.430

0.163

0.352

0.154

f9bc84630c

0.282

0.108

0.251

0.153

0.289

0.215

0.323

0.159

0.303

0.173

13819f5fl6

0.536

0.117

0.522

0.180

0.452

0.217

0.540

0.139

0.505

0.181

45eafl7131

0.504

0.107

0.448

0.177

0.357

0.194

0.477

0.144

0.484

0.174

adf465ad53

0.537

0.109

0.478

0.161

0.417

0.210

0.561

0.129

0.555

0.161

blc4696aed

0.490

0.125

0.433

0.184

0.380

0.211

0.470

0.144

0.467

0.216

eef4ff6810

0.519

0.105

0.436

0.161

0.382

0.193

0.506

0.135

0.498

0.184

1229aa0e5e

0.324

0.216

0.332

0.287

0.322

0.250

0.292

0.249

0.303

0.274

2710a4a0fc

0.350

0.134

0.432

0.150

0.462

0.188

0.342

0.161

0.281

0.185

929c08fle5

0.378

0.207

0.399

0.256

0.401

0.203

0.352

0.227

0.317

0.289

98b95fala8

0.287

0.163

0.287

0.216

0.303

0.232

0.257

0.201

0.279

0.234

9cfflf0928

0.339

0.202

0.345

0.259

0.361

0.240

0.332

0.231

0.309

0.248

6904369ad4

0.380

0.096

0.322

0.139

0.302

0.185

0.302

0.128

0.349

0.171

ae5c04ae5c

0.394

0.110

0.361

0.151

0.327

0.198

0.312

0.141

0.368

0.185

e59aa46321

0.393

0.117

0.350

0.170

0.325

0.198

0.326

0.152

0.372

0.130

e91c52e952

0.419

0.107

0.384

0.153

0.326

0.212

0.346

0.148

0.389

0.158

f81bc8c3f3

0.414

0.111

0.382

0.167

0.340

0.201

0.346

0.138

0.357

0.209

Проведенный анализ показал, что промпт не является однозначным направлением смещения исходного эмбеддинга в определенную сторону или к определенной точке, сохраняя значительную вариативность. Тем не менеес устойчивые слабые и средние зависимости присутствуют, вследствие чего использование GAN-модуляций для реализации частично контролируемых целевых сдвигов эмбеддингов возможно. Гипотеза о смещении к центроиду промпта получила более выраженную поддержку по сравнению с гипотезой о глобальном векторе: большинство моделей демонстрируют значения mean cosine similarity порядка 0.4-0.7, что свидетельствует о наличии устойчивой «целевой области» в векторном пространстве, задаваемой текстовым Промптом.

Полученные результаты демонстрируют, что даже локальные семантические изменения (рот, нос, глаза, возраст, полнота) способны индуцировать частично предсказуемые смещения в пространстве биометрических эмбеддингов, что важно для анализа уязвимости систем идентификации уровня US2025267009A1 [3] и формирует основу для последующего более детального кластерного анализа робастности.

5.    Обсуждение и выводы

Полученные результаты показывают, что локальные семантические GAN-манипуляции действительно вызывают измеримые смещения в пространстве биометрических эмбеддингов, и эти смещения обладают определённой структурой, позволяющей говорить о частичной предсказуемости направлений, задаваемых текстовыми промптами. Гипотеза о существовании глобального направления, определяемого Промптом и сохраняющегося для всех пар «исходное-модифицированное» изображение, получила умеренную поддержку. Значения mean cosine similarity в диапазоне 0.1-0.5 указывают на наличие общего тренда, но с существенным разбросом, обусловленным различиями между исходными изображениями, архитектурой генеративной модели и мелкими вариациями в процедуре inpainting. Это естественно: при модуляции только нескольких пиксельных областей (нос, рот) эффект на глобальный эмбеддинг может быть нестабильным и зависеть от контекста исходного лица. Гипотеза о смещении эмбеддингов к центроиду промпта получила более выраженную поддержку, с mean cosine similarity в диапазоне 0.3-0.7 для большинства направлений и моделей. Это свидетельствует о том, что GAN-модуляции, хотя и не смещают эмбеддинги в жестко фиксированном направлении, но тяготеют эмбеддинги к определенной целевой области в векторном пространстве. Интерпретировать это можно как наличие неявного семантического «притягивающего центра», ассоциированного с текстовым описанием (промптом) изменения, — например, центра, соответствующего «более молодому лицу» или «шире открытым глазам».

Дифференциация моделей по робастности

Анализ выявил заметные различия в чувствительности различных FR-архитектур к направленным смещениям. Dlib и FaceNet продемонстрировали наиболее выраженную направленность смещений по гипотезе центроида, с mean cosine similarity часто превышающими 0.6 для «сильных» направлений. Это говорит о том, что эмбеддинги этих моделей более «структурированы» относительно семантических измерений внешности и более чувствительны к локальным изменениям. С точки зрения атак, это означает, что данные модели легче «обмануть» контролируемыми GAN-манипуляциями, смещая эмбеддинги в сторону целевого лица. VGG-Face показал умеренную направленность, промежуточную между Dlib/FaceNet и ArcFace, с центроидными значениями mean cosine similarity в диапазоне 0.3-0.65. ArcFace демонстрировал наименьшую зависимость от направлений промптов, с большинством значений mean cosine similarity в диапазоне 0.2-0.5. Это может указывать на большую робастность архитектуры ArcFace относительно локальных семантических изменений внешности, что обусловлено ее особенностью - обучение с использованием margin-based loss, нацеленным на увеличение межклассового разброса. OpenFace занимает промежуточное положение, с результатами близкими к VGG-Face, но с некоторой вариативностью. Указанные различия критичны при выборе FR-модели для систем высокой безопасности, поскольку они напрямую влияют на уязвимость к целенаправленным семантическим атакам.

Роль типа и масштаба модуляции

Интерпретируя результаты, важно отметить, что модулируемые зоны занимали различные доли лица. Рот и нос — локальные области с относительно малой площадью, тогда как изменения возраста и полноты охватывали значительную часть овала и кожи лица. Несмотря на это, направленность смещений наблюдалась и для локальных, и для глобальных изменений, что свидетельствует о том, что даже локальные inpaint-операции могут вызывать предсказуемые смещения в пространстве эмбеддингов. Стоит отметить, что величина смещения (в смысле норм ||Аф) не была предметом систематического анализа в данной работе, однако визуальное качество модифицированных изображений оставалось высоким, без заметных артефактов. Это подчеркивает проблему: атаки на основе GAN-манипуляций могут быть незаметны для наблюдателя, но эффективны против систем распознавания лиц, опирающихся на пороговые значения расстояний между эмбеддингами.

Практические следствия для систем идентификации

Полученные результаты несут прямые следствия для систем типа US2025267009A1 [3], где биометрические эмбеддинги наряду с криптографическими хеш-функциями и подписями служат ключевым звеном в цепи проверки подлинности контента. Во-первых, становится ясно, что простое сравнение эмбеддингов через пороговое расстояние недостаточно для обнаружения целенаправленных GAN-атак. Противник, обладающий информацией о FR-модели, может подобрать такие промпты и параметры inpaint, которые переместят эмбеддинг модифицированного изображения в сторону целевого лица, оставляя визуаль-HBie признаки узнаваемости исходного лица на приемлемом уровне. Во-вторв1х, различие в чувствительности моделей (особенно контраст между ArcFace и Dlib) предполагает, что выбор архитектуры FR-модели критичен не только для точности идентификации, но и для уровня защиты от семантических атак. Для систем высокого уровня защиты целесообразно отдавать предпочтение моделям, демонстрирующим меньшую чувствительность к локальным манипуляциям, или комбинировать несколько архитектур. В-третьих, полученная информация о частичной предсказуемости смещений может быть использована для построения методик обнаружения: если промпт задает определенный центроид в пространстве эмбеддингов, то аномальные или атипичные смещения в этом направлении могут служить индикатором подделки.

Связь с кластерным анализом и дальнейшей работой

Настоящее исследование сосредоточивалось на анализе направленности смещений на уровне отдельных векторов и усредненных характеристик. Однако полная оценка влияния GAN-манипуляций на системы идентификации требует анализа изменений в кластеризованном пространстве признаков, что учитывает распределение других эмбеддингов, пороговые значения и структуру базы данных. Дальнейшее исследование будет посвящено анализу смещений в контексте fe-средних и иных методов кластеризации, а также оценке влияния на ранги поиска в задачах идентификации. Кроме того, предполагается расширить исследование на случаи с множественными одновременными модуляциями (например, одновременное изменение возраста и полноты), что может привести к ещё более эффективным атакам.

Ограничения работы также стоит отметить

Исследование ограничивалось пятью промптами для каждого типа модификации; более широкий набор промптов или использование непрерывного пространства семантических направлений могло бы дать более полную картину. Использовались только профильные изображения из Human Profile Photos Dataset; результаты на фронтальных или полуфрон-тальных позициях лица могут отличаться. Генеративная модель для inpaint была одной фиксированной архитектуры; иные генеративные модели (DALL-E, другие GAN или диффузионные модели) могут вести себя по-другому. Анализ направленности был выполнен на основе косинусной меры; иные метрики расстояния в пространстве эмбеддингов могут дать отличные результаты.

Данная работа представила первую систематическую оценку направленности смещений биометрических эмбеддингов при локальных GAN-манипуляциях для пяти популярных FR-моделей. Основные результаты можно кратко сформулировать следующим образом: Промпты задают частично предсказуемые смещения: хотя строгой коллинеарности векторов смещения не наблюдается, выявлено устойчивое притяжение эмбеддингов к центроидам, ассоциированным с промптами. Существует модельная специфика: Dlib и FaceNet более чувствительны к направленным смещениям, ArcFace демонстрирует большую робастность. Даже локальные манипуляции эффективны: изменения, охватывающие менее 10 % площади лица, способны вызвать заметные и отчасти предсказуемые сдвиги в пространстве эмбеддингов.

Практическая значимость для систем защиты

Результаты подчеркивают существенную важность комплексной оценки уязвимости систем идентификации к семантическим GAN-атакам и необходимость применения дополнительных механизмов защиты в системах типа US2025267009A1 [3]. Полученная методика анализа направленности смещений может быть применена к анализу других типов манипуляций (фильтры, аффинные трансформации, синтетические лица) и служит основой для построения защитных мер против целенаправленных атак на биометрические системы идентификации.