Смешанные ядерные оценки многомерных распределений и их применение в задачах машинного обучения для классификации биологических объектов на основе спектральных измерений
Автор: Сирота Александр Анатольевич, Донских Артм Олегович, Акимов Алексей Викторович, Минаков Дмитрий Анатольевич
Журнал: Компьютерная оптика @computer-optics
Рубрика: Численные методы и анализ данных
Статья в выпуске: 4 т.43, 2019 года.
Бесплатный доступ
Рассматривается задача непараметрического восстановления многомерных плотностей распределения вероятностей в системах машинного обучения для классификации и аугментации данных. Предлагается метод получения смешанной ядерной непараметрической оценки плотности распределения как свертки ядерной оценки неизвестной плотности распределения вектора информативных признаков и известной или независимо оцениваемой плотности распределения вектора помеховой составляющей, сопровождающей процесс измерений. Анализируются свойства получаемых таким образом смешанных оценок. Приводятся результаты их сравнения с традиционной ядерной оценкой Парзена, применяемой непосредственно к общей выборке обучающих данных. Теоретически и экспериментально показывается, что использование смешанной оценки эквивалентно реализации процедуры аугментации - искусственного размножения обучающих данных в соответствии с известной или оцененной статистической моделью помеховой составляющей. Рассматриваются возможности применения смешанных оценок для обучения алгоритмов классификации биологических объектов (элементов зерновых смесей) на основе обработки измерений спектров пропускания в видимом и ближнем ИК-диапазонах длин волн.
Машинное обучение, классификация образов, аугментация данных, ядерная оценка плотности распределения, спектральные измерения
Короткий адрес: https://sciup.org/140246501
IDR: 140246501 | DOI: 10.18287/2412-6179-2019-43-4-677-691
Multivariate mixed kernel density estimators and their application in machine learning for classification of biological objects based on spectral measurements
A problem of non-parametric multivariate density estimation for machine learning and data augmentation is considered. A new mixed density estimation method based on calculating the convolution of independently obtained kernel density estimates for unknown distributions of informative features and a known (or independently estimated) density for non-informative interference occurring during measurements is proposed. Properties of the mixed density estimates obtained using this method are analyzed. The method is compared with a conventional Parzen-Rosenblatt window method applied directly to the training data. The equivalence of the mixed kernel density estimator and the data augmentation procedure based on the known (or estimated) statistical model of interference is theoretically and experimentally proven. The applicability of the mixed density estimators for training of machine learning algorithms for the classification of biological objects (elements of grain mixtures) based on spectral measurements in the visible and near-infrared regions is evaluated.
Список литературы Смешанные ядерные оценки многомерных распределений и их применение в задачах машинного обучения для классификации биологических объектов на основе спектральных измерений
- Кривенко, М.П. Непараметрическое оценивание элементов байесовского классификатора / М.П. Кривенко // Информатика и её применения. - 2010. - Т. 4, № 2. - С. 13-24.
- Лапко, А.В. Непараметрический алгоритм автоматической классификации в условиях статистических данных большого объема / А.В. Лапко, В.А. Лапко // Информатика и системы управления. - 2018. - № 3(57). - С. 59-70. - DOI: 10.22250/isu.2018.57.59-70
- Nakamura, Y. Nonparametric density estimation based on self-organizing incremental neural network for large noisy data / Y. Nakamura, O. Hasegawa // IEEE Transactions on Neural Networks and Learning Systems. - 2016. - Vol. 28, Issue 1. - P. 8-17. - DOI: 10.1109/TNNLS.2015.2489225
- Донских, А.О. Метод искусственного размножения данных в задачах машинного обучения с использованием непараметрических ядерных оценок плотности распределения вероятностей / А.О. Донских, А.А. Сирота // Вестник Воронежского государственного университета Серия: Системный анализ и информационные технологии. - 2017. - № 3. - С. 142-155.
- Yaeger, L. Effective training of a neural network character classifier for word recognition / L. Yaeger, R. Lyon, B. Webb // Advances in Neural Information Processing Systems 9 (NIPS 1996). - 1996. - P. 807-813.
- Ciresan, D.C. Deep big simple neural nets excel on handwritten digit recognition / D.C. Ciresan, U. Meier, L.M. Gambardella, J. Schmidhuber // Neural Computation. - 2010. - Vol. 22, Issue 12 - P. 3207-3220. -
- DOI: 10.1162/NECO_a_00052
- Simard, P.Y. Best practices for convolutional neural networks applied to visual document analysis / P.Y. Simard, D. Steinkraus, J.C. Platt // Seventh International Conference on Document Analysis and Recognition. - 2003. - P. 958-963. -
- DOI: 10.1109/ICDAR.2003.1227801
- Качалин, С.В. Повышение устойчивости обучения больших нейронных сетей дополнением малых обучающих выборок примеров-родителей, синтезированными биометрическими примерами-потомками / С.В. Качалин // Труды научно-технической конференции кластера пензенских предприятий, обеспечивающих безопасность информационных технологий. - 2014. - Т. 9. - С. 32-35.
- Акимов, А.В. Модели и алгоритмы искусственного размножения данных для обучения алгоритмов распознавания лиц методом Виолы-Джонса / А.В. Акимов, А.А. Сирота // Компьютерная оптика. - 2016. - Т. 40, № 6. - С. 911-918. -
- DOI: 10.18287/2412-6179-2016-40-6-911-918
- Guo, H. Learning from imbalanced data sets with boosting and data generation: the DataBoost-IM approach / H. Guo, H.L. Viktor // ACM SIGKDD Explorations Newsletter. - 2004. - Vol. 6, Issue 1. - P. 30-39. -
- DOI: 10.1145/1007730.1007736
- Chawla, N.V. SMOTE: synthetic minority over-sampling technique / N.V. Chawla, K.W. Bowyer, L.O. Hall, W.P. Kegelmeyer // Journal of Artificial Intelligence Research. - 2002. - Vol. 16, Issue 1. - P. 321-357. -
- DOI: 10.1613/jair.953
- Chawla, N.V. SMOTEBoost: Improving prediction of the minority class in boosting / N.V. Chawla, A. Lazarevic, L.O. Hall, K.W. Bowyer. - In: Knowledge discovery in databases / ed. by N. Lavrač, D. Gamberger, L. Todorovski, H. Blockeel. - 2003. - P. 107-119.-
- DOI: 10.1007/978-3-540-39804-2_12
- Фукунага, К. Введение в статистическую теорию распознавания образов / К. Фукунага. - М.: Наука, 1979. - 368 с.
- Duda, R.O. Pattern classification / R.O. Duda, P.E. Hart, D.G. Stork. - 2nd ed. - Hoboken, NJ: Wiley-Interscience, 2000. - 680 p.
- Крянев, А.В.Математические методы обработки неопределенных данных / А.В. Крянев, Г.В. Лукин. - М.: Физмалит, 2003. - 216 с.
- Акимов, А.В. Модели и алгоритмы распознавания цифровых изображений в условиях воздействия деформирующих и аддитивных искажений / А.В. Акимов, А.О. Донских, А.А. Сирота // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. - 2018. - № 1. - С. 104-118.
- Gramacki, A. Nonparametric kernel density estimation and its computational aspects / A. Gramacki. - Cham, Switzerland: Springer International Publishing AG, 2018. - P. 42-49. -
- ISBN: 978-3-319-71687-9
- Добровидов, А.В. Выбор ширины окна ядерной функции в непараметрической оценке производной плотности методом сглаженной кроссвалидации / А.В. Добровидов, И.М. Рудько // Автоматика и телемеханика. - 2010. - № 2 - С. 42-58.
- Воронов, И.В. Выбор ширины окна при аппроксимации плотности распределения вероятности методом Парзена-Розенблатта в случае малого объема выборки / И.В. Воронов, Р.Н. Мухометзянов, А.А. Краснова // Радиоэлектронная техника. - 2016. - № 1(9) - С. 93-98.
- Donskikh, A.O. Optical methods of identifying the varieties of the components of grain mixtures based on using artificial neural networks for data analysis / A.O. Donskikh, D.A. Minakov, A.A. Sirota // Journal of Theoretical and Applied Information Technology - 2018. - Vol. 96, Issue 2. - P. 534-542.
