Методика последовательного формирования набора компонент многомерной случайной величины с использованием непараметрического алгоритма распознавания образов

Автор: Зеньков Игорь Владимирович, Лапко Александр Васильевич, Лапко Василий Александрович, Кирюшина Елена Васильевна, Вокин Владимир Николаевич, Бахтина Анна Владимировна

Журнал: Компьютерная оптика @computer-optics

Рубрика: Численные методы и анализ данных

Статья в выпуске: 6 т.45, 2021 года.

Бесплатный доступ

Определяется влияние априорных сведений о независимости случайных величин на аппроксимационные свойства непараметрической оценки плотности вероятности Розенблатта-Парзена. Предлагается новая методика формирования наборов независимых компонент многомерной случайной величины. Методика основывается на проверке гипотез о независимости сочетаний компонент многомерной случайной величины с использованием двухальтернативного непараметрического алгоритма распознавания образов ядерного типа, соответствующего критерию максимального правдоподобия. Классы соответствуют областям определения плотностей вероятностей наборов независимых и зависимых компонент многомерной случайной величины. Для оценивания плотностей вероятностей используются непараметрические статистики ядерного типа. Выбор коэффициентов размытости ядерных оценок плотностей вероятностей осуществляется из условия минимума среднего квадратического критерия. Последовательная процедура формирования набора независимых компонент начинается с анализа парных сочетаний компонент многомерной случайной величины. Для каждой пары компонент вычисляется оценка вероятности ошибки распознавания классов, соответствующих предположениям независимости и зависимости рассматриваемых компонент. Определяется пара компонент с максимальным отличием этих ошибок. Если полученные ошибки достоверно не отличаются, то в рассматриваемой многомерной случайной величине независимые компоненты отсутствуют. При достоверном отличии оценок вероятностей ошибок распознавания классов устанавливается пара независимых компонент. Эти компоненты входят в набор из трёх компонент многомерной случайной величины. Анализ их сочетаний осуществляется аналогично по представленным выше рекомендациям. Правилом остановки процесса формирования набора независимых компонент является отсутствие достоверного отличия между вероятностями ошибок распознавания ситуаций, принадлежащих принятым классам. В этом случае предыдущий набор независимых компонент является искомым результатом. В отличие от традиционной методики, основанной на применении критерия Пирсона, предлагаемый подход позволяет обойти проблему декомпозиции области значений случайных величин на многомерные интервалы. Методика формирования набора независимых компонент многомерной случайной величины иллюстрируется результатами анализа спектральных признаков данных дистанционного зондирования лесных массивов с использованием космической съёмки со спутника Landsat-8.

Еще

Распознавание образов, обработка информации, обработка оптических данных, проверка гипотезы, формирование набора независимых признаков, непараметрический алгоритм, ядерная оценка плотности вероятности, выбор коэффициентов размытости ядерных функций, данные дистанционного зондирования

Еще

Короткий адрес: https://sciup.org/140290292

IDR: 140290292   |   DOI: 10.18287/2412-6179-CO-902

A method of sequentially generating a set of components of a multidimensional random variable using a nonparametric pattern recognition algorithm

We study in which way a priori information on the independence of random variables affects the approximation accuracy of a nonparametric estimate of the Rosenblatt-Parzen probability density. A new technique for generating sets of independent components of a multidimensional random variable is proposed. The methodology is based on testing the hypotheses of the independence of combinations of the multidimensional random variable components using a two-alternative nonparametric kernel algorithm for pattern recognition corresponding to the maximum likelihood criterion. Classes correspond to the domains of definition of the probability densities of sets of independent and dependent components of the multidimensional random variable. Nonparametric statistics of the kernel type are used to estimate the probability densities. The choice of the bandwidths of the kernel estimates of the probability densities is made from the condition of the minimum root-mean-square criterion. The sequential procedure for generating a set of independent components begins with the analysis of paired combinations of components of a multidimensional random variable. For each pair of components, the probability of an error in recognizing classes corresponding to the assumptions of independence and dependence of the considered components is estimated. A pair of components with the maximum difference between these errors is determined. If the errors obtained do not differ significantly, then there are no independent components in the considered multivariate random variable. If there is a significant difference in the probability estimates of class recognition errors, a pair of independent components is established. These components are included in a three-component set of a multidimensional random variable. The analysis of their combinations is carried out in the same way, following the above-described procedure. The process of generating the set of independent components is stopped when no reliable difference occurs any more between the probabilities of errors in recognizing situations belonging to the accepted classes. In this case, the previous set of independent components is the desired result. In contrast to the traditional methodology based on the Pearson criterion, the proposed approach allows us to bypass a problem of the decomposition of the range of values of random variables into multidimensional intervals. The method of generating a set of independent components of a multidimensional random variable is illustrated by the results of the analysis of spectral features of remote sensing data of forest tracts using space imagery from the Landsat-8 satellite.

Еще

Список литературы Методика последовательного формирования набора компонент многомерной случайной величины с использованием непараметрического алгоритма распознавания образов

  • Лапко, А.В. Свойства непараметрической оценки многомерной плотности вероятности независимых случайных величин / А.В. Лапко, В.А. Лапко // Информатика и системы управления. - 2012. - Т. 31, № 1. - С. 166-174.
  • Лапко, А.В. Непараметрическая оценка плотности вероятности независимых случайных величин / А.В. Лапко, В.А. Лапко // Информатика и системы управления. - 2011. - Т. 29, № 3. - С. 118-124.
  • Лапко, А.В. Влияние априорной информации о независимости многомерных случайных величин на свойства их непараметрической оценки плотности вероятности / А.В. Лапко, В.А. Лапко // Системы управления и информационные технологии. - 2012. - Т. 48, № 2.1. -С. 164-167.
  • Лапко, А.В. Свойства непараметрической решающей функции при наличии априорных сведений о независимости признаков классифицируемых объектов / А.В. Лапко, В.А. Лапко // Автометрия. - 2012. - Т. 48, № 4. - С. 112-119.
  • Пугачёв, В. С. Теория вероятностей и математическая статистика: учебное пособие / В.С. Пугачёв. - М: Физ-матлит, 2002. - 496 с.
  • Лапко, А.В. Непараметрические алгоритмы распознавания образов в задаче проверки статистической гипотезы о тождественности двух законов распределения случайных величин / А.В. Лапко, В.А. Лапко // Автометрия. - 2010. - Т. 46, № 6. - С. 47-53.
  • Лапко, А.В. Сравнение эмпирической и теоретической функций распределения случайной величины на основе непараметрического классификатора / А.В. Лапко, B.А. Лапко // Автометрия. - 2012. - Т. 48, № 1. - C. 45-49.
  • Лапко, А.В. Методика проверки гипотез о распределениях многомерных спектральных данных с использованием непараметрического алгоритма распознавания образов / А.В. Лапко, В.А. Лапко // Компьютерная оптика. - 2019. - Т. 43, № 2. - С. 238-244. - DOI: 10.18287/24126179-2019-43-2-238-244.
  • Parzen, E. On estimation of a probability density function and mode / E. Parzen // The Annals of Mathematical Statistics. - 1962. - Vol. 33, Issue 3. - P. 1065-1076. - DOI: 10.1214/aoms/1177704472.
  • Епанечников, В.А. Непараметрическая оценка многомерной плотности вероятности / В.А. Епанечников // Теория вероятности и её применения. - 1969. - Т. 14, № 1. - С. 156-161.
  • Rudemo, M. Empirical choice of histogram and kernel density estimators / M. Rudemo // Scandinavian Journal of Statistics. - 1982. - Vol. 9, No. 2 - P. 65-78.
  • Hall, P. Large-sample optimality of least squares cross-validation in density estimation / P. Hall // Annals of Statistics. - 1983. - Vol. 11, Issue 4. - P. 1156-1174. - DOI: 10.1214/aos/1176346329.
  • Silverman, B.W. Density estimation for statistics and data analysis / B.W. Silverman. - London: Chapman and Hall, 1986. - 175 p.
  • Sheather, S. A reliable data-based bandwidth selection method for kernel density estimation / S. Sheather, M. Jones // Journal of Royal Statistical Society Series B. - 1991. -Vol. 53, Issue 3. - P. 683-690. - DOI: 10.1111/j.2517-6161.1991.tb01857.x.
  • Sheather, S.J. Density estimation / S.J. Sheather // Statistical Science. - 2004. - Vol. 19, Issue 4. - P. 588-597. -DOI: 10.1214/088342304000000297.
  • Terrell, G.R. Oversmoothed nonparametric density estimates / G.R. Terrell, D.W. Scott // Journal of the American Statistical Association. - 1985. - Vol. 80, Issue 389. -P. 209-214. - DOI: 10.1080/01621459.1985.10477163.
  • Jones, M.C. A brief survey of bandwidth selection for density estimation / M.C. Jones, J.S. Marron, S.J. Sheather // Journal of the American Statistical Association. - 1996. -Vol. 91, Issue 433. - P. 401-407. - DOI: 10.2307/2291420.
  • Scott, D.W. Multivariate density estimation: Theory, practice, and visualization / D.W. Scott. - New Jersey: John Wiley & Sons, 2015. - 384 p.
  • Лапко, А.В. Модифицированный алгоритм быстрого выбора коэффициентов размытости ядерных оценок многомерных плотностей вероятностей / А.В. Лапко, B.А. Лапко // Измерительная техника. - 2020. - № 11. - C. 9-13. - DOI: 10.32446/0368-1025it.2020-11-9-13.
  • Лапко, А.В. Анализ методов оптимизации непараметрической оценки плотности вероятности по коэффициенту размытости ядерных функций / А.В. Лапко, B.А. Лапко // Измерительная техника. - 2017. - № 6. - C. 3-8. - DOI: 10.32446/0368-1025it.2017-6-3-8.
  • Шаракшанэ, А. С. Сложные системы / А.С. Шаракшанэ, И.Г. Железнов, В.А. Ивницкий. - М.: Высшая школа, 1977. - 248 с.
Еще