Разработка и анализ численного метода адаптивной многомодельной кластеризации с определением структурных компонент и фильтрацией шума
Журнал: Сибирский аэрокосмический журнал @vestnik-sibsau
Рубрика: Информатика, вычислительная техника и управление
Статья в выпуске: 3 т.27, 2026 года.
Бесплатный доступ
Актуальность задачи кластеризации обусловлена необходимостью обработки возрастающих объемов данных со сложной внутренней структурой в различных предметных областях: от анализа биологической информации до контроля качества в высокотехнологичных производствах. Для рассматриваемого класса задач контроля качества электронной компонентной базы характерны априорная неопределенность числа технологических партий, неоднородная локальная плотность, эллипсоидная и нелинейная форма кластеров, частичное пересечение областей признакового пространства и наличие распределённого шума. В этих условиях ограничения традиционных подходов проявляются по-разному: для центроидных и спектральных методов обычно требуется задание или дополнительная оценка числа кластеров, для иерархических методов – выбор правила отсечения дендрограммы, для плотностных методов – подбор параметров окрестности, а для вероятностных методов – соответствие данных принятой параметрической модели. Целью настоящего исследования является разработка и анализ метода адаптивной многомодельной кластеризации, ориентированного на выделение структурных компонент в данных с неизвестным числом кластеров, неоднородной локальной плотностью, нелинейной формой отдельных кластеров и наличием распределённого шума. Метод решения задачи основан на комбинации мультимасштабного анализа локальной плотности, исследования локальной геометрии с помощью главных компонент, построения адаптивной метрики сходства, автоматического определения числа кластеров по спектру лапласиана графа и ансамблевой кластеризации с последующей пост-обработкой шумовых объектов. Ключевая идея заключается в адаптивном переключении между различными моделями описания данных в зависимости от их локальных свойств. Результаты вычислительного эксперимента на модельных данных, имитирующих параметры электронной компонентной базы аэрокосмического применения, демонстрируют существенное превосходство предложенного метода над классическим EM-алгоритмом для смесей гауссовских распределений: значение скорректированного индекса Рэнда повысилось на 30,6 %, доля правильно обнаруженных шумовых объектов увеличилась с 4 до 53 %. При этом предложенным методом во всех запусках эксперимента автоматически определено корректное число кластеров, совпадающее с количеством модельных технологических партий. Показано, что выигрыш предложенного метода обусловлен более корректной обработкой пограничных наблюдений и распределённого шума, не образующего собственной компактной компоненты. В отличие от GMM, предложенный подход сохраняет границы между регулярными кластерами без их искусственного расширения за счёт аномальных объектов. Предложенный метод может быть рекомендован для решения задач кластеризации в условиях априорной неопределенности относительно структуры данных и наличия шума.
Короткий адрес: https://sciup.org/148334403
IDS: 148334403 | УДК: 004.93'1:519.237 | DOI: 10.31772/2712-8970-2026-27-3-428-445
Development and analysis of a numerical method for adaptive multi-model clustering with structural component determination and noise filtering
The relevance of clustering is driven by the need to process growing volumes of data with complex internal structure across a wide range of application domains, from biological data analysis to quality control in high-technology manufacturing. For the considered class of quality-control problems for aerospace electronic components, the data are characterized by an unknown number of technological batches, heterogeneous local density, ellipsoidal and nonlinear cluster shapes, partial overlap in the feature space, and distributed noise. Under these conditions, the limitations of conventional approaches manifest themselves differently: centroid-based and spectral methods usually require specifying or additionally estimating the number of clusters, hierarchical methods require choosing a dendrogram cut rule, density-based methods depend on neighborhood parameters, and probabilistic methods depend on the adequacy of the assumed parametric model. The aim of this study is to develop and analyze an adaptive multi-model clustering method intended for identifying structural components in data with an unknown number of clusters, heterogeneous local density, nonlinear cluster shapes, and distributed noise. The proposed solution combines multiscale analysis of local density, investigation of local geometry using principal component analysis, construction of an adaptive similarity metric, automatic determination of the number of clusters from the graph Laplacian spectrum, and ensemble clustering followed by post-processing of noise objects. The key idea is to adaptively switch between different data representation models depending on local structural properties. The results of computational experiments on synthetic data simulating the parameters of aerospace electronic components demonstrate a substantial advantage of the proposed method over the classical EM algorithm for Gaussian mixture models: the Adjusted Rand Index increased by 30.6%, while the proportion of correctly detected noise objects rose from 4% to 53%. Furthermore, in all experimental runs, the proposed method automatically identified the correct number of clusters, which exactly matched the number of simulated technological batches. It is shown that the gain achieved by the proposed method is primarily due to more accurate handling of boundary observations and distributed noise that does not form a separate compact component. In contrast to GMM, the proposed approach preserves the boundaries between regular clusters without artificially expanding them at the expense of anomalous objects. The proposed method can be recommended for clustering problems under a priori uncertainty regarding data structure and the presence of noise.
