Формирование признакового пространства для задач обнаружения аномалий в поведении объектов по потоковым данным

Современные системы сбора и обработки информации в экономической, технической и социальной сферах генерируют массивы данных значительного объема, фиксирующие состояние наблюдаемых объектов в дискретные моменты времени. Типичным примером является контрольно-кассовая техника (ККТ), ежедневно передающая в налоговые органы фискальные данные – сведения о выручке, количестве операций, доле наличных средств в обороте, а также о номенклатуре реализованных товаров и услуг [1–4]. Подобные данные образуют многомерные временные ряды с низкой интенсивностью – одно измерение в сутки или несколько часов [5; 6].

Одной из прикладных задач, решаемых в рамках налогового администрирования, является выявление объектов, поведение которых отклоняется от нормативного. Особую сложность представляют аномалии, проявляющиеся не в виде единичных выбросов, которые легко обнаруживаются статистическими методами, а в форме длительных структурных изменений динамики показателей [7; 8]. Примером такой аномалии служит использование ККТ в схемах, направленных на сокрытие реального финансового оборота (так называемые «арендные» схемы, когда налогоплательщик предоставляет свою ККТ другому лицу) [9; 10].

Предмет нашего исследования – поведение технического объекта, управляемого человеком (субъектом). В нашем практическом примере ККТ управляется как продавцом, устанавливающим режим работы и ассортимент торговой точки, так и покупателем, принимающим решения о покупке в соответствии со своими предпочтениями. Процесс взаимодействия продавца с покупателями – нестационарный временной процесс, параметры которого в нормальных условиях зависят от сезона, сложившейся ситуации на рынке, эффективности управления ассортиментом, ценообразованием, логистическими процессами на стороне продавца, т. е. паттерном его поведения, который подстраивается под паттерн поведения покупателей. Мы предполагаем, что для аномального объекта меняется паттерн поведения продавца, при этом специфическая аномалия в поведении, такая как «арендная» схема использования кассового аппарата, находит свое отражение в совокупности значений параметров (статистических признаков) процесса. В некоторых случаях поведение покупателя может лишь имитироваться продавцом (фиктивная продажа на незначительные суммы для имитации нормальной работы). В других случаях меняется локация и ассортимент торговой точки, т. е. меняется как состав покупателей, так и фактический продавец, что также отражается в значениях параметров процесса. При этом продавец может применять приемы, направленные на сглаживание возникающих изменений, что усложняет обнаружение аномального поведения простыми статистическими методами. Кроме нашего практического примера с ККТ, к подобным сложным управляемым объектам, генерирующим потоковые данные, относится, например, трафик в сетях связи – мобильной или фиксированной. При этом технический объект – линия связи, как и в нашем примере, лишь фиксирует факт взаимодействия двух субъектов – поставщика информации и ее потребителя (абонента). При этом аномальное поведение также свидетельствует о подмене одного из взаимодействующих субъектов, например, вследствие взлома систем одного из них.

Традиционные статистические методы обнаружения аномалий – Z-score, межквартильные диапазоны, методы на основе распределения [11] – обладают низкой чувствительностью к подобным паттернам, особенно при сильно несбалансированных выборках (доля аномальных объектов менее 1 %) [12; 13]. Методы машинного обучения [14–16], напротив, демонстрируют высокую эффективность, но требуют значительных объёмов размеченных данных, что на практике является серьёзным ограничением.

При решении ряда задач, например, в задачах прогнозирования развития экосистем [17] используются временные ряды с крайне низкой частотой дискретизации (одно измерение в месяц) и ярко выраженной сезонностью, благодаря которой последовательные измерения одного и того же показателя нельзя рассматривать как единый временной ряд. В этом случае каждое измерение каждого показателя рассматривается как отдельный информативный признак, что допустимо лишь при крайне низкой интенсивности потока данных.

В настоящей работе предлагается подход, основанный на явном гипотетическом моделировании целевых аномалий. Выдвинутые гипотезы основаны на конкретном практическом примере – данных ККТ, но они, не будучи привязаны к конкретным значениям показателей данного объекта, могут быть применены и к другим объектам и задачам, таким как выявление аномалий в поведении абонентов сетей связи [18] или некоторые задачи медицинской диагностики [19; 20]. Каждое предположение о поведении аномального объекта далее формализуется в виде одного или нескольких количественных признаков, извлекаемых из исходных временных рядов. Предлагаемый подход обеспечивает интерпретируемость – каждый признак имеет содержательное обоснование, обоснованность – признаки не вносятся «вслепую», а соответствуют экспертной логике, снижение зависимости от объёма обучающей выборки – признаки целенаправленно выделяют наиболее значимые различия.

Формальная постановка задачи

Пусть задано множество объектов Ω = {ω1, …, ωN}. Для каждого объекта ωi определён временной ряд

Y i ( t ) = ( y i ⁽¹⁾ ( t ), …, y i ^{( m )} ( t )) ^T ∈ R^m , t = 1, …, T , (1)

где T – горизонт наблюдения (число исследуемых дискретных интервалов времени); m – число регистрируемых первичных показателей. Предполагается, что данное число относительно невелико. В рамках нашего практического примера число первичных показателей крайне ограничено, m = 4, а именно: y i ⁽¹⁾ ( t ) – суммарная выручка за сутки; y i ⁽²⁾ ( t ) – количество операций (чеков) за сутки; y i ⁽³⁾ ( t ) – доля наличных средств в выручке; y i ⁽⁴⁾ ( t ) – средняя цена товара (услуги) за день. Объект представляется вектором исходных характеристик.

Требуется построить решающее правило F :Ω → {0,1}, где F (ω i ) = 1 интерпретируется как наличие у объекта признаков целевой аномалии (в нашем практическом примере – участие в арендной схеме).

Пусть дана ограниченная по объему обучающая выборка L ⊂ Ω с истинными метками y i ∈ {0,1}. Объём | L | не превышает нескольких десятков объектов. Доля положительного класса в генеральной совокупности не превышает 0,01. Временные ряды y i ⁽¹⁾ ( t )– y i ⁽⁴⁾ ( t ) характеризуются нестационарностью (среднее и дисперсия могут изменяться во времени), наличием пропусков (отсутствие данных за отдельные дни), присутствием шумов (случайные выбросы, не связанные с аномалией) [21].

Решающее правило F является объектом настоящего исследования, при этом предмет исследования – методы формирования пространства значений информативных признаков f i,j = f j ( Y i ( t )) объектов, где i – номер объекта, j – номер признака. Нашей целью является построение решающего правила, работающего на основе сформированного множества информативных признаков, обеспечивающего повышение эффективности обнаружения аномалий в соответствии с известными критериями эффективности.

В нашем случае решающее правило применяется не непосредственно к исходным данным Y_i ( t ), но к рассчитанным на их основе значениям некоторых статистических признаков (статистик) f_i, j . Каждый из признаков является функционалом (статистикой), определенным на выборке (временном ряду), соответствующем рассматриваемым объектам. Исследуемая задача сводится к формированию такого набора признаков (статистик) f ₁( Y_i ( t )) … f _m( Y_i ( t )), который обеспечивал бы наилучшую (на практике – достаточную) эффективность решения задачи классификации объектов.

Таким образом, нашу задачу можно формализовать следующим образом:

L(F*(f1(Y1(t)), … fm(Y1(t)), …, F*(f1(YN(t)), … fm(YN(t))) → maxf1,...,fm, где F* – решающее правило, работающее на основе информативных признаков f1(Yi(t)), … fm(Yi(t)), L(.) – выбранная мера эффективности. На практике мы имеем многокритериальную задачу, где при повышении выбранной меры эффективности (например, точности – accuracy) должны обеспечиваться некоторые приемлемые значения других мер эффективности.

В основе решающего правила F ^* лежит некоторый метод классификации объектов (алгоритм или алгоритмическая комбинация), обрабатывающий вторичные данные – рассчитанные значения признаков (статистик) множества объектов f_i, j . Мы предполагаем, что такой метод известен, наша задача сводится лишь к подбору множества вторичных информативных признаков (статистик).

В настоящем исследовании мы предлагаем двухстадийную процедуру формирования признакового пространства. На первой стадии выдвигаются некоторые рациональные гипотезы о возможном поведении аномальных объектов, на основании которых формируется множество (вероятно, избыточное) признаков, в значениях которых могла бы проявляться каждая из гипотез. Так мы формируем полный набор признаков f^* 1 ( Y i ( t )), … f^* M ( Y i ( t )). На второй стадии предлагается применить комплекс методов отбора (фильтров) признаков, формирующих подмножество { f 1 ( Y i ( t )), … f m ( Y i ( t ))} ⊂ { f^* 1 ( Y i ( t )), … f^* M ( Y i ( t ))}.

Предположения о проявлениях аномального поведения объектов

В отличие от методов автоматического построения признаков (например, на основе глубоких сверточных или рекуррентных архитектур [22]), предлагаемый подход базируется на явно сформулированных и проверяемых предположениях о том, как именно проявляется целевая аномалия в наблюдаемых данных. Ниже приведены пять основных гипотез H1 – H5, каждая из которых порождает семейство количественных признаков временного ряда для каждого из первичных показателей.

H1: Гипотеза о смене стационарного режима (структурный сдвиг).

Содержательная формулировка. Аномальный объект в некоторый момент времени меняет свой средний уровень функционирования. Если до некоторого момента времени τ значения показателя y ( t ) колебались вокруг одного среднего значения μ₁, то после τ они устойчиво держатся возле другого среднего значения μ₂. Такое поведение может соответствовать началу использования арендованного аппарата на новой торговой точке (рост выручки) либо прекращению использования на прежней точке (падение выручки).

Математическая формализация. Для каждого объекта и каждого первичного показателя вычисляется длительность максимальной серии подряд идущих периодов отсчета со значением выше общего среднего:

Labove = max{k:∀j∈{1, …, k}, y(tj) > y},(2)

где y = T S L y (') •

Кроме того, определяется длительность максимальной серии суток со значением ниже общего среднего:

Lbelow = max{k:∀j∈{1, …, k}, y(tj) < y}.(3)

Также вводятся аналогичные показатели, но относительно скользящего среднего, ysiiding(t )=1 S T=i y (t) , призванные снизить число ложных срабатываний на начальном участке ряда.

H2: Гипотеза о концентрации суммарного объёма («всплесковый» характер поведения объекта).

Содержательная формулировка. Для аномальных сложных объектов характерно поведение, когда основная доля суммарного значения показателя (например, выручки) приходится на небольшое количество временных отсчетов. Это отличает их от объектов со стабильной, равномерной во времени активностью. Касательно нашего практического примера, арендные аппараты часто используются интенсивно в течение коротких периодов (например, во время работы временной торговой точки), после чего наступает длительный простой.

Математическая формализация. Пусть y (1) ≥ y (2) ≥ … ≥ y ( T ) – упорядоченные в порядке убывания значения показателя. Тогда признак «доля k временных отсчетов с максимальными показателями» вычисляется как

S T 1 y W

S ‘ = 1 y ( J )'

В нашем практическом примере мы использовали значения k = 5, 10, 15, 30, 60 суток, что позволяет оценить концентрацию на разных масштабах.

H3: Гипотеза о бинарной (двухрежимной) структуре распределения.

Содержательная формулировка. Временной ряд аномального объекта может быть аппроксимирован смесью двух распределений с разными математическими ожиданиями: низким (режим простоя или неактивного использования) и высоким (режим активной работы в рамках аномальной схемы). Нормальные объекты, работающие в стабильном режиме, демонстрируют либо одномодальное распределение, либо два близко расположенных центра.

Математическая формализация. Для каждого объекта выполняется кластеризация значений показателя на два кластера методом k -means [23–25] при k = 2. Обозначим:

μ 1 , μ 2 – средние значения в кластерах (μ 1 < μ 2 );

n 1 , n 2 – количества объектов в кластерах;

σ 1 ² , σ 2 ² – внутрикластерные дисперсии показателя.

Формируются следующие признаки:

• –    абсолютная разность средних: Δμ = μ 2 - μ 1 ;

^2 - Hl

• –    относительная разность средних: Δμ = 21

7<^2

min ( n , n )

• –    доля малого кластера: fsmall =;

n i — n 2

у     max ( ^П1 , ^П 2 )

• –    доля большого кластера: flarge =.

ⁿ 1 ^{- n} 2

Высокие значения Δμ и Δμrel при умеренных долях кластеров свидетельствуют о наличии двух хорошо разделенных режимов работы, один из которых (или оба) могут соответствовать целевой аномалии.

• H 4 : Гипотеза о наличии длительных периодов бездействия.

Содержательная формулировка. Аномальные объекты часто демонстрируют продолжительные интервалы, в течение которых значение показателя равно нулю (или близко к нулю). Это отражает простой объекта между периодами разового аномального использования (в нашем практическом примере – между сменой арендаторов), периоды транспортировки или перенастройки. Для нормальных объектов, работающих ежедневно, такие длительные паузы нетипичны.

Математическая формализация. Для каждого объекта вычисляются:

• –    общее количество нулевых периодов отсчета Z _total = I T , 1 ( y (') = 0 ) , где 1(.) – единичная функция, равная 1 при выполнении условия и 0 при невыполнении;

• –    максимальная длина непрерывной последовательности нулевых периодов отсчета Z max streak = max{ k : ∀ j ∈ {1, …, k }, y ( t j ) = 0};

• –    доля нулевых периодов отсчета: f zeros = Z total / T .

• H 5 : Гипотеза о повышенной вариативности (нестабильности).

Содержательная формулировка. Аномальные сложные объекты в целом обладают большей изменчивостью значений показателей по сравнению с типичными объектами, работающими в предсказуемом, ритмичном режиме. Это связано с нерегулярным характером аномального использования: периоды высокой активности сменяются полным бездействием, что порождает высокую дисперсию.

Математическая формализация. Используются классические показатели вариации:

• -    стандартное отклонение: а = T I I T ( y ( t ) - y ) ² ;

• –    коэффициент вариации CV = σ/ y (при y > 0);

• –    размах R = max_t y ( t ) - min _t y ( t );

• –    межквартильный размах IQR = Q 3 - Q 1 .

Дополнительные гипотезы (вспомогательные признаки).

Помимо пяти основных гипотез, в признаковое пространство включены дополнительные признаки временных рядов, отражающие асимметрию распределения (skewness) – для выявления смещения в сторону высоких или низких значений, эксцесс (kurtosis) – для выявления «тяжёлых хвостов» распределения, автокорреляцию на лагах (в практическом примере лаги равны 1, 7, 14 дней) – для выявления периодических структур, отношение максимального значения к среднему – для выявления аномальных всплесков.

Полная система признаков

На основе сформулированных гипотез сформировано многомерное признаковое пространство (результат первой стадии процедуры формирования признакового пространства). Все признаки вычисляются для каждого из первичных показателей m , т. е. число признаков всегда кратно числу первичных показателей, а также для некоторых их комбинаций. Признаки разбиты на шесть групп в соответствии с используемым способом определения их значений.

Группа признаков, основанных на средних значениях и отклонениях, включает наиболее часто используемые статистики для каждого первичного признака:

• –    среднее арифметическое первичного показателя;

• –    медиана первичного показателя;

• –    стандартное отклонение первичного показателя;

• –    коэффициент вариации первичного показателя;

• –    асимметрия (skewness) первичного показателя;

• –    эксцесс (kurtosis) первичного показателя;

• –    минимальное значение первичного показателя;

• –    максимальное значение первичного показателя;

• –    размах первичного показателя;

• –    межквартильный размах первичного показателя;

• –    отношение максимума первичного показателя к среднему;

• –    отношение максимума первичного показателя к медиане;

• –    доля отсчетов времени со значением первичного показателя выше среднего;

• –    доля отсчетов времени со значением первичного показателя выше медианы;

• –    среднее логарифмированных значений первичного показателя (для сильно скошенных рядов);

• –    медиана логарифмированных значений первичного показателя.

Группа признаков, основанных на сериях значений (стриках), формирует по восемь признаков для каждого первичного признака, в соответствии с двумя типами сравнения (с общим средним и со скользящим средним):

• –    максимальная длина серии значений первичного показателя выше среднего;

• –    максимальная длина серии значений первичного показателя ниже среднего;

• –    количество серий значений первичного показателя выше среднего;

• –    количество серий первичного показателя ниже среднего.

Группа признаков, основанных на концентрации (долях временных отсчетов с максимальными показателями), включает признаки для каждого показателя и определенных количеств k отсчетов времени. В нашем практическом примере с ККТ k ∈ {5, 10, 15, 30, 60, 90}. Группа включает признаки:

• –    доля суммы k отсчетов времени с максимальными значениями показателя в общей сумме;

• –    доля суммы k отсчетов времени с нулевыми или минимальными значениями показателя (для выявления длительных простоев).

Группа признаков, основанных на бикластерной структуре, формируется по результатам бикластеризации (отдельно для каждого объекта) временных отрезков для каждого первичного признака. В группу входят следующие показатели:

• –    абсолютная разность средних значений первичного признака для двух кластеров;

• –    относительная разность средних кластеров значений первичного признака (нормированная на дисперсию);

• –    доля малого кластера;

• –    доля большого кластера.

Группа признаков, основанных на нулевых значениях, включает для каждого первичного признака:

• –    общее количество отсчетов времени с нулевым (или минимальным) значением первичного признака;

• –    максимальная длина серии нулевых отсчетов времени с нулевым (или минимальным) значением первичного признака;

• –    доля отсчетов времени с нулевым (или минимальным) значением первичного признака.

Группа признаков, основанных на автокорреляции, включает признаки, вычисляемые для каждого первичного признака и определенных значений длины временных лагов, в нашем примере – τ ∈ {1, 7, 14}:

• –    коэффициент автокорреляции ρ( τ ).

Комбинированный метод отбора признаков

Исходное признаковое пространство обладает избыточностью: часть признаков может быть слабо связана с целевой переменной, часть сильно коррелирует между собой (мультиколлинеарность). Для повышения эффективности последующих моделей классификации и снижения риска переобучения применяются методы селекции признаков.

Нами были выбраны и исследованы экспериментально распространенные методы сокращения признакового пространства, приведенные в табл. 1, где также приводится обоснование использования признака и выбора его пороговых значений.

Предварительные эксперименты с перечисленными базовыми методами показывают их способность существенно сокращать число признаков для нашего практического примера. Так, по результатам корреляционного анализа из 96 признаков остаётся 40–45 (в зависимости от выборки). После удаления мультиколлинеарных признаков размерность сокращается до 25–35. PCA позволяет сократить размерность с 96 до 20–30 компонент, однако полученные компоненты не имеют прямой интерпретации, что является недостатком для задач, требующих объяснения решений.

Базовые методы отбора признаков

Таблица 1

Метод	Принцип работы	Обоснование выбора пороговых значений
Корреляционный анализ с целевой переменной	Для каждого признака f j вычисляется коэффициент линейной корреляции Пирсона r ( fj , y ) с бинарной целевой переменной y . Признаки с | r | ниже заданного порога считаются слабо связанными с аномалией и исключаются	В задачах с сильно несбалансированными классами даже умеренная корреляция (| r | ≈ 0,15–0,20) может быть статистически значимой. Эмпирически выбран порог θ = 0,2
Отбор на основе теста Колмогорова – Смирнова (K-S)	K-S тест является непараметрическим методом проверки гипотезы о том, что две выборки (в данном случае – значения признака для аномальных и нормальных объектов) извлечены из одного и того же распределения. Используется статистика Dn ,m = supx|Fn(x) - Gm(x)|, где Fn и Gm – эмпирические функции распределения	Признаки с p-value ≥ 0,05 (нулевая гипотеза о равенстве распределений не отвергается) исключаются
ANOVA	В методе ANOVA (отбор на основе однофакторного дисперсионного анализа) проверяется гипотеза о равенстве средних значений признака в двух группах (аномальные и нормальные объекты). Вводится F-статистика: F = S between / S within, где S between – межгрупповая дисперсия; S within – внутригрупповая дисперсия признака. Эффективен, при распределении признаков, близких к нормальным. Для сильно скошенных признаков применяется логарифмическое преобразование	Признаки с p-value ≥ 0,01 исключаются (более строгий порог по сравнению с K-S тестом для компенсации множественных сравнений)
Удаление мульти-коллинеарных признаков	Вычисляется матрица парных корреляций Пирсона между всеми оставшимися признаками. Из каждой пары признаков с коэффициентом корреляции r > θcorr удаляется один, имеющий меньшую корреляцию с целевой переменной. Мультиколлинеарность ухудшает устойчивость моделей (особенно линейных) и затрудняет интерпретацию	Порог θ corr = 0,8 выбран как стандартный в задачах отбора признаков
Метод главных компонент (PCA)	Для сравнения применяется альтернативный подход – снижение размерности без удаления отдельных признаков. Выполняется стандартизация признаков (нормировка к нулевому среднему и единичной дисперсии), затем PCA	Порог не используется. Выбирается число компонент, объясняющих не менее 99 % суммарной дисперсии

Как показано выше, каждый из рассмотренных методов отбора признаков обладает как достоинствами, так и недостатками. Корреляционный анализ эффективно отсеивает признаки, линейно не связанные с целевой переменной, но нечувствителен к нелинейным зависимостям. Тест Колмогорова – Смирнова улавливает любые различия в распределениях, но может давать ложные срабатывания при малых выборках. ANOVA чувствительна к различиям в средних, но предполагает нормальность распределений [26]. Удаление мультиколлинеарных признаков уменьшает избыточность, но не учитывает связь с целевой переменной.

Предлагаемый комбинированный метод последовательно применяет все четыре метода, что позволяет использовать сильные стороны каждого из них и получить минимальный набор признаков с максимальной предсказательной силой, обеспечив при этом робастность к выбросам и аномалиям в обучающей выборке.

Шаг 1 формирует исходное (полное) признаковое пространство. Для каждого объекта ω i ∈ Ω вычисляются все признаки, входящие в полную систему признаков. Формируется матрица X ∈ R^{N × m} и вектор целевых меток y ∈ {0,1} ^N для размеченной части выборки.

На шаге 2 производится фильтрация признаков по корреляции с целевой переменной. Для каждого признака f j , j = 1, …, m вычисляется коэффициент корреляции Пирсона:

r j =

Xi o ( x , - x j ⁾⁽ y - y )

i - fLO ’ где L – множество размеченных объектов. Признаки с |rj| ≤ 0,2 исключаются. Порог 0,2 выбран эмпирически как обеспечивающий удаление признаков со статистически незначимой линейной связью при одновременном сохранении потенциально полезных признаков с нелинейной связью.

Шаг 3 осуществляет фильтрацию по тесту Колмогорова – Смирнова. Для каждого оставшегося признака f j выполняется двухвыборочный K-S тест.

Вычисляются эмпирические функции распределения для группы аномальных F j ^anom ( x ) и нормальных объектов F j ^norm ( x ):

!    ' x ) = — £ _,1( x < x ), F j “( x ) = — £ _,1( x ,j < x )>          (7)

• i :    ^y l =1                                                     i— i i : ^y i — ¹

anom                                    norm после чего оценивается статистика

D j = x sup | F j ^anom ( x ) - F j ^norm ( x )|. (8)

Вычисляется p -значение ( p -value, уровень значимости). Признаки с p ≥ 0,05 исключаются, так как распределения признака в двух группах статистически неразличимы.

На шаге 4 выполняется фильтрация по ANOVA. Для каждого оставшегося признака выполняется однофакторный дисперсионный анализ. Вычисляются межгрупповая сумма квадратов SSB = n anom ( x _anom - x ) ² + n norm ( x _norm - x ) ² , внутригрупповая сумма квадратов SSW =

• - A2 V / _ .2 SSW / ( N - k )

= £ i _{: y} i _— 1 ( ^xi - x anom ) + £ i _{: y} i _{— 1} ( x - x nom ) и ^F-CTaTUCTUKa : F = SSB / ( k - 1^ , где k = 2 ^- число групп. Признаки с p ≥ 0,01 исключаются. Более строгий порог (0,01 вместо 0,05) выбран для компенсации множественных сравнений.

Наконец, производится удаление мультиколлинеарных признаков, для чего вычисляется матрица парных корреляций Пирсона R для оставшихся признаков. Для каждой пары признаков (fa, fb) с |rab | > 0,8 удаляется тот признак, который имеет меньшее абсолютное значение корреляции с целевой переменной (см. шаг 2) или, при равенстве, меньшую дисперсию. Процесс повторяется итеративно, так как удаление одного признака может изменить корреляции между оставшимися.

Результатом работы метода является множество отобранных признаков F _selected ⊂ { f ₁, …, f_m }, | F selected | ≪ m и соответствующая матрица X selected ∈ R^N ×| F selected |.

Оценим вычислительную сложность предложенного метода. Пусть N labeled – число размеченных объектов, из которых n _anom аномальных объектов и nnorm объектов без признаков аномальности, M = 96 – число первичных признаков. Оценим вычислительную сложность основных шагов.

Шаг 2 (корреляция): O ( M ⋅ N _labeled) – линейная сложность по числу признаков и объектов.

Шаг 3 (K-S тест): для каждого признака требуется сортировка значений в двух группах, что даёт O ( M ⋅ ( n anom log n anom + n norm log n norm )). В худшем случае n anom + n norm = N labeled .

Шаг 4 (ANOVA): O ( M ⋅ N _labeled) – вычисление средних и сумм квадратов.

Шаг 5 (удаление мультиколлинеарности): в худшем случае может потребоваться O ( k ³ ) операций, где k – число оставшихся после шагов 2–4 признаков. На практике метод сходится за 2–3 итерации.

Общая сложность составляет O ( M ⋅ N _labeled), что приемлемо для N _labeled ≈ 2000 и M = 96, как в нашем практическом примере. Время выполнения на типовом современном персональном компьютере не превышает нескольких секунд.

Экспериментальные результаты

В настоящей работе для классификации объектов (выявления аномалий) использованы следующие модели машинного обучения: логистическая регрессия (Logistic Regression) [27], дерево решений (Decision Tree) [28], наивный байесовский классификатор (GaussianNB) [29] – вероятностная модель, предполагающая нормальность распределений признаков, k-ближайших соседей (KNN) [30–32], метод опорных векторов (SVC) [33], случайный лес (Random Forest) [34], XGBoost [35] – градиентный бустинг, оптимизированный по скорости и точности, LightGBM [36] – градиентный бустинг с листовым ростом деревьев.

Для оценки сравнительной эффективности применяемых методов с различными вариантами признакового пространства используются стандартные метрики оценки качества бинарной классификации:

– Accuracy (точность): ( TP + TN ) / ( TP + TN + FP + FN ), где TP – число правильно назначенных положительных классификаций, TN – число правильно назначенных отрицательных классификаций, FP – число ложно назначенных положительных классификаций, FN – число ложно назначенных отрицательных классификаций;

– Precision (точность предсказания положительного класса): TP / ( TP + FP );

– Recall (полнота): ( TP + FN ) / TP ;

– F1-score: (Precision ⋅ Recall) / (Precision+Recall);

– ROC-AUC – площадь под ROC-кривой (True Positive Rate vs False Positive Rate).

В условиях сильного дисбаланса классов основное внимание уделяется F1-score и ROC-AUC, так как Accuracy может быть высокой при тривиальном предсказании всех объектов как нормальных.

Эксперименты проведены на фискальных данных, предоставленных ФНС России. Выборка включает данные 2200 кассовых аппаратов, временной горизонт – 365 дней. Экспертная разметка: 40 аппаратов идентифицированы как участники арендных схем (аномальные, т. е. положительный класс). Дополнительно имеется 9 аппаратов с документально подтверждённым аномальным поведением, используемых для валидации.

В табл. 2 приведены результаты классификации (случайный лес, 100 деревьев) при различных вариантах отбора признаков.

Комбинированный метод, включающий последовательное применение корреляционной фильтрации, K-S теста, ANOVA и удаления мультиколлинеарных признаков, показал наилуч- шие результаты по всем метрикам. Сокращение размерности с 96 до 28 признаков сопровождается повышением ROC-AUC с 0,85 до 0,94.

В табл. 3 приведено сравнение предложенного метода с другими комбинированными подходами отбора признаков.

Таблица 2

Сравнение методов отбора признаков

Метод отбора	Число признаков	Accuracy	Precision	Recall	F1-score	ROC-AUC
Без отбора (все 96)	96	0,82	0,76	0,68	0,72	0,85
Корреляция с целевой (θ = 0,2)	42	0,87	0,82	0,74	0,78	0,90
K-S тест ( p < 0,05)	38	0,86	0,81	0,73	0,77	0,89
ANOVA ( p < 0,01)	35	0,86	0,80	0,72	0,76	0,88
Удаление мульти-коллинеарных (8θ = 0,8)	58	0,84	0,78	0,70	0,74	0,87
Комбинированный (предложенный)	28	0,91	0,87	0,82	0,84	0,94
PCA (99 % дисперсии)	24	0,89	0,84	0,79	0,81	0,92

Таблица 3

Сравнение комбинированных методов отбора признаков

Метод	Состав	Число отобранных признаков	ROC-AUC	Интерпретируемость
Фильтр + обёртка (RFECV)	Корреляция + рекурсивное удаление	32	0,92	Средняя
Гибридный (mutual info + SFS)	Взаимная информация + последовательный отбор	35	0,91	Низкая
LASSO (регуляризация L1)	L1-регуляризация	41	0,89	Высокая
Предложенный комбинированный	Корреляция + K-S + + ANOVA + удаление мультиколлинеарных	28	0,94	Высокая

Предложенный метод демонстрирует лучшее качество классификации при меньшем числе отобранных признаков, сохраняя при этом высокую интерпретируемость.

Для оценки устойчивости предложенного метода к вариациям обучающей выборки проведён эксперимент с бутстрепом (100 итераций). Для каждой итерации случайным образом с возвращением выбиралось 80 % размеченных объектов, выполнялся отбор признаков и обучение классификатора (случайный лес). Результаты:

– среднее число отобранных признаков: 28,3±3,1;

– стабильность отбора (процент признаков, попавших в отбор более чем в 90 % итераций): 76 %;

– средний ROC-AUC: 0,935±0,008.

Высокая стабильность метода подтверждает его пригодность для практического использования.

В табл. 4 представлены результаты обучения восьми моделей на расширенной выборке (после применения метода распространения меток [37; 38], расширившего разметку до 2200 объектов). Использован комбинированный отбор признаков (28 признаков).

Ансамблевые методы (случайный лес, XGBoost, LightGBM) превосходят линейные и простые нелинейные модели по всем метрикам, что объясняется их способностью моделировать сложные нелинейные зависимости между признаками и устойчивостью к шумам.

В табл. 5 приведено сравнение предложенного подхода с некоторыми альтернативными методами обнаружения аномалий на тех же данных.

Предложенный подход существенно превосходит альтернативы по доле подтверждённых аномалий и ROC-AUC, сохраняя высокую интерпретируемость за счёт явного формирования признаков на основе гипотез.

Результаты классификации объектов с использованием различных моделей

Сравнение с альтернативными подходами

Таблица 4

Модель	Accuracy	Precision	Recall	F1-score	ROC-AUC
Логистическая регрессия	0,89	0,85	0,78	0,81	0,91
Дерево решений (max_depth = 5)	0,84	0,79	0,71	0,75	0,82
Наивный Байес (GaussianNB)	0,81	0,74	0,65	0,69	0,78
K-ближайших соседей (k = 7)	0,83	0,77	0,69	0,73	0,80
Метод опорных векторов (RBF)	0,87	0,83	0,75	0,79	0,88
Случайный лес (100 деревьев)	0,91	0,87	0,82	0,84	0,94
XGBoost	0,92	0,88	0,83	0,85	0,94
LightGBM	0,91	0,86	0,81	0,83	0,93

Таблица 5

Метод	Требует разметки	Доля подтвержденных аномалий	ROC-AUC	Интерпретируемость (связь с гипотезами H 1 – H 5 )
Z-score (статистический)	Нет	<30 %	0,65	Высокая
IQR (межквартильный размах)	Нет	<30 %	0,62	Высокая
K-средних + целевой кластер	Частично	40 %	0,75	Средняя
Обучение с учителем (исходная разметка)	Да (40 объектов)	–	0,72	Высокая
Предложенный гибридный подход	Да (40 объектов + Label Spreading)	84 %	0,94	Высокая

Для подтверждения практической пригодности предложенного подхода 785 объектов, классифицированных как аномальные (случайный лес, комбинированный отбор признаков), были переданы на экспертную проверку в ФНС России. Результаты приведены в табл. 6.

Результаты валидации на независимой выборке

Таблица 6

Категория объектов	Количество проверенных	Подтверждённые аномалии	Доля подтверждения, %
Объекты, расположенные в известных зонах риска	915	915 (известно ранее)	100
Объекты вне известных зон риска	145	122	84

Доля подтверждённых аномалий в ранее неизвестных зонах составила 84 %, что существенно превышает результаты, достигаемые при использовании только кластеризации (40 % подтверждения). Доля ложноположительных срабатываний – 16 %.

На основе анализа важности признаков в модели случайного леса (среднее снижение точности при исключении признака) выделены наиболее значимые признаки. Результаты приведены в табл. 7.

Таблица 7

Наиболее информативные признаки

Ранг	Описание	Снижение точности
1	Доля малого кластера выручки	0,087
2	Относительная разность средних кластеров	0,076
3	Максимальная длина серии ниже среднего	0,068
4	Доля 15 максимальных дней в выручке	0,059
5	Количество нулевых дней	0,052
6	Максимальная длина серии выше скользящего среднего	0,048
7	Абсолютная разность средних кластеров	0,044
8	Коэффициент вариации числа чеков	0,041

Эти признаки напрямую соответствуют гипотезам о бинарной структуре (ранги 1, 2, 7), смене режима (ранг 3, 6), концентрации выручки (ранг 4) и длительных простоях (ранг 5).

Заключение

Полученные результаты подтверждают эффективность предложенной методологии. Комбинированный отбор признаков позволил не только сократить размерность пространства в 3,4 раза, но и повысить качество классификации (ROC-AUC вырос с 0,85 до 0,94), что объясняется удалением шумовых и избыточных признаков, которые снижали обобщающую способность моделей. Высокая доля подтверждённых аномалий при валидации (84 %) свидетельствует о том, что предложенная система признаков действительно улавливает сущностные характеристики целевого аномального поведения, а не случайные корреляции в обучающей выборке.

Таким образом, в настоящей работе решена задача формирования признакового пространства для анализа низкоинтенсивных потоковых данных с целью выявления аномалий поведения объектов на примере ККТ. Разработана система признаков их шести групп, базирующаяся на пяти явно сформулированных гипотезах о характере аномалий (смена режима, концентрация показателей, бинарная (бикластерная) структура, длительные паузы, повышенная вариативность). Приведены математические формулировки каждого типа признаков и детальное описание всех шести групп признаков. Предложен комбинированный метод селекции признаков, включающий последовательное применение корреляционного анализа с целевой переменной (θ = 0,2), теста Колмогорова – Смирнова ( p < 0,05), ANOVA ( p < 0,01) и удаления мультиколлинеарных признаков ( r > 0,8). Для нашего практического примера метод позволил сократить размерность с 96 до 28 при одновременном повышении ROC-AUC с 0,85 до 0,94. Определены наиболее информативные признаки – доля малого кластера, относительная разность средних кластеров, максимальная длина серии ниже среднего значения, доля временных отсчетов с максимальными значениями показателей, количество временных отсчетов с нулевыми показателями.

Предложенный подход имеет ряд ограничений, в частности:

• –    чувствительность к выбору порогов – при бинаризации признаков (используемой в кластеризации) и отборе признаков результаты зависят от выбранных порогов;

• –    фиксированный временной горизонт – подход предполагает анализ данных за полный период с фиксироваым числом временных отсчетов.

Предложенная методология может быть применена в других задачах обнаружения аномалий в технических и экономических системах с низкоинтенсивными потоками данных (мониторинг оборудования, анализ финансовых транзакций, контроль телеметрических данных, обнаружение нештатных режимов работы технических систем, медицинская диагностика). При этом перспективными представляются такие направления дальнейших исследований, как:

• –    автоматическое расширение системы гипотез с использованием методов символьной регрессии и генетического программирования [39] для выявления неочевидных закономерностей в данных;

• –    учёт концептуального дрейфа (concept drift) [40] – поведение аномальных объектов может меняться со временем; требуется адаптация моделей в потоковом режиме с периодическим переобучением;

• –    извлечение текстовых признаков из номенклатуры товаров с помощью методов обработки естественного языка (word2vec, FastText, BERT) для выявления несоответствий заявленному виду экономической деятельности;

• –    графовые методы для учёта связей между объектами (миграция объектов между торговыми точками, общие арендаторы) может повысить точность обнаружения за счёт использования структурной информации;

• –    применение рекуррентных нейронных сетей (LSTM, GRU) и трансформеров [41] для автоматического извлечения признаков из временных рядов, что может дополнить предложенную систему гипотез.