Научные статьи \ Общие вопросы науки и культуры \ Информационные технологии. Вычислительная техника. Обработка данных \ Прикладные информационные (компьютерные) технологии. Методы основанные на применении компьютеров

Метод визуального внимания на основе ранжирования вершин графа по разнородным признакам изображений

Метод визуального внимания на основе ранжирования вершин графа по разнородным признакам изображений

Автор: Захаров Алексей Александрович, Титов Дмитрий Витальевич, Жизняков Аркадий Львович, Титов Виталий Семнович

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 3 т.44, 2020 года.

Бесплатный доступ

В статье рассматривается разработка метода визуального внимания на основе ранжирования вершин графа по разнородным признакам изображений. Целью исследований является создание метода, позволяющего с высокой точностью обнаруживать объекты на изображениях с низким цветовым контрастом выделяемых и фоновых областей. Для вычисления области значимости изображение предварительно сегментируется на регионы. На основе регионов строится граф. Каждый регион связан со смежными регионами, а также с областями, примыкающими к смежным регионам. Регионы являются вершинами графа. Вершины графа ранжируются по признакам соответствующих областей изображения. Область значимости выделяется на основе запросов фоновых областей. К фоновым областям относятся регионы, примыкающие к краям изображения. В существующем подходе визуального внимания на основе ранжирования вершин графа использовались только цветовые признаки изображения. В предлагаемом методе для повышения точности дополнительно используются текстурные признаки и признаки формы. Для вычисления текстурных признаков используется функция энергии Габора. При анализе формы рассчитывается расстояние между центрами регионов. Результаты экспериментов представлены на тестовых изображениях. Построены кривые точности-полноты, показывающие преимущество разработанного метода.

Еще

Анализ изображений, визуальное внимание, граф, признаки изображений, ранжирование, компьютерное зрение

Короткий адрес: https://sciup.org/140250007

IDR: 140250007   |   DOI: 10.18287/2412-6179-CO-658

Visual attention method based on vertex ranking of graphs by heterogeneous image attributes

The paper discusses a method of visual attention based on vertex ranking of graphs on the basis of image features. The aim of the research is to develop a method that allows high-precision detection of objects in images with low color contrast between the selected and background areas. The image is pre-segmented into regions to calculate the saliency map. The graph is based on regions. Each region is associated with related regions, as well as with areas adjacent to adjacent regions. The regions are vertices of the graph. The vertices of the graph are ranked according to the characteristics of the corresponding image areas. The scope is highlighted based on requests from background areas. The saliency map is determined based on background area queries. Regions adjacent to the edges of the image belong to the background areas. Color features of the image were used in the existing approach of visual attention based on the manifold ranking. Texture features and shape features are additionally used in the proposed method to improve accuracy. Gabor's energy function is used to calculate texture features. The distance between centers of the regions is calculated by analyzing the form. The proposed method has shown good results for detecting objects in images in which the background color and object color are in similar ranges. The experimental results are presented on test images. Precision-recall curves showing the advantage of the developed method are constructed.

Еще

Список литературы Метод визуального внимания на основе ранжирования вершин графа по разнородным признакам изображений

  • Koch, K. How much the eye tells the brain / K. Koch, J. McLean, R. Segev, M.A. Freed, M.J. Berry, V. Balasubramanian, P. Sterling // Current Biology. - 2006. - Vol. 16, Issue 14. - P. 1428-1434.
  • Borji, A. State-of-the-art in visual attention modeling / A. Borji, L. Itti // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2013. - Vol. 35, Issue 1. - P. 185-207.
  • Begum, M. Visual attention for robotic cognition: A survey / M. Begum, F. Karray // IEEE Transactions on Autonomous Mental Development. - 2011. - Vol. 3, Issue 1. - P. 92-105.
  • Mahdi, A. A comparison study of saliency models for fixation prediction on infants and adults / A. Mahdi, M. Su, M. Schlesinger, J. Qin // IEEE Transactions on Cognitive and Developmental Systems. - 2018. - Vol. 10, Issue 3. - P. 485-498.
  • Garg, A. A survey on visual saliency detection and computational methods / A. Garg, A. Negi // International Journal of Engineering and Technology. - 2017. - Vol. 9, Issue 4. - P. 2742-2753.
  • Itti, L. A model of saliency-based visual attention for rapid scene analysis / L. Itti, C. Koch, E. Niebur // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1998. - Vol. 20, Issue 11. - P. 1254-259.
  • Frintrop, S. VOCUS: a visual attention system for object detection and goal-directed search / S. Frintrop. - Heidelberg, Germany: Springer-Verlag, 2006. - 216 p.
  • Itti, L. Realistic avatar eye and head animation using a neurobiological model of visual attention / L. Itti, N. Dhavale, F. Pighin // Proceedings of SPIE. - 2003. - Vol. 5200. - P. 64-78.
  • Wang, J. Computational model of stereoscopic 3D visual saliency / J. Wang, M.P. Da Silva, P. Le Callet, V. Ricordel // IEEE Transactions on Image Processing. - 2013. - Vol. 22, Issue 6. - P. 2151-2165.
  • Harel, J. Graph-based visual saliency / J. Harel, C. Koch, P. Perona // Neural Information Processing Systems. - 2006. - Vol. 19. - P. 545-552.
  • Salvucci, D.D. An integrated model of eye movements and visual encoding / D.D. Salvucci // Cognitive Systems Research. - 2001. - Vol. 1. - P. 201-220.
  • Tatler, B.W. The central fixation bias in scene viewing: selecting an optimal viewing position independently of motor bases and image feature distributions / B.W. Tatler // Journal of Vision. - 2007. - Vol. 14. - P. 1-17.
  • Vijayakumar, S. Overt visual attention for a humanoid robot / S. Vijayakumar, J. Conradt, T. Shibata, S. Schaal // Proceedings IEEE/RSJ International Conference on Intelligent Robots and Systems. - 2001. - Vol. 4. - P. 2332-2337.
  • Kadir, T. Saliency, scale and image description / T. Kadir, M. Brady // International Journal of Computer Vision. - 2001. - Vol. 45, Issue 2. - P. 83-105.
  • Kootstra, G. Paying attention to symmetry / G. Kootstra, A. Nederveen, B. de Boer // British Machine Vision Conference. - 2008. - P. 1115-1125.
  • Parkhurst, D. Modeling the role of salience in the allocation of overt visual attention / D. Parkhurst, K. Law, E. Niebur // Vision Research. - 2002. - Vol. 42, Issue 1. - P. 107-123.
  • Пластинин, А.И. Обнаружение текстурных неоднородностей на микромасштабных изображениях материалов // А.И. Пластинин, А.Г. Храмов, В.А. Сойфер / Компьютерная оптика. - 2011. - Т. 35, № 2. - С. 158-165.
  • Визильтер, Ю.В. Поиск объектов на изображении с использованием морфлетных описаний / Ю.В. Визильтер, В.С. Горбацевич, Б.В. Вишняков, С.В. Сидякин // Компьютерная оптика. - 2017. - Т. 41, № 3. - С. 406-411. - 10.18287/2412-6179-2017- 41-3-406-411.
  • DOI: 10.18287/2412-6179-2017-41-3-406-411
  • Goferman, S. Context-aware saliency detection / S. Goferman, L. Zelnik-Manor, A. Tal // IEEE Transactions on Pattern Aanalysis and Machine Intelligence. - 2012. - Vol. 34, Issue 10. - P. 1915-1926.
  • Erdem, E. Visual saliency estimation by nonlinearly integrating features using region covariances / E. Erdem, A. Erdem // Journal of Vision. - 2013. - Vol. 13, Issue 4. - 11.
  • Li, X. Saliency detection via dense and sparse reconstruction / X. Li, H. Lu, L. Zhang, X. Ruan, M.-H. Yang // IEEE International Conference on Computer Vision. - 2013. - P. 2976-2983.
  • Tavakoli, H.R. Fast and efficient saliency detection using sparse sampling and kernel density estimation / H.R. Tavakoli, E. Rahtu, J. Heikkila // Scandinavian Conference on Image Analysis. - 2011. - P. 666-675.
  • Yang, C. Graph-regularized saliency detection with convex-hull-based center prior / C. Yang, L. Zhang, H. Lu // IEEE Signal Processing Letters. - 2013. - Vol. 20, Issue 7. - P. 637-640.
  • Jiang, B. Saliency detection via absorbing Markov chain / B. Jiang, L. Zhang, H. Lu, C. Yang, M.-H. Yang // IEEE International Conference on Computer Vision. - 2013. - P. 1665-1672.
  • Margolin, R. What makes a patch distinct? / R. Margolin, A. Tal, L. Zelnik-Manor // IEEE Conference on Computer Vision and Pattern Recognition. - 2013. - P. 1139-1146.
  • Rahtu, E. Segmenting salient objects from images and videos / E. Rahtu, J. Kannala, M. Salo, J. Heikkila // European Conference on Computer Vision. - 2010. - P. 366-379.
  • Seo, H.J. Static and space-time visual saliency detection by self-resemblance / H.J. Seo, P. Milanfar // Journal of Vision. - 2009. - Vol. 9, Issue 12. - 15.
  • Murray, N. Saliency estimation using a non-parametric low-level vision model / N. Murray, M. Vanrell, X. Otazu, C.A. Parraga // IEEE Conference on Computer Vision and Pattern Recognition. - 2011. - P. 433-440.
  • Hou, X. Saliency detection: A spectral residual approach / X. Hou, L. Zhang // IEEE Conference on Computer Vision and Pattern Recognition. - 2007. - P. 1-8.
  • Zhang, L. Sun: A Bayesian framework for saliency using natural statistics / L. Zhang, M.H. Tong, T.K. Marks, H. Shan, G.W. Cottrell // Journal of vision. - 2008. - Vol. 8, Issue 7. - 32.
  • Duan, L. Visual saliency detection by spatially weighted dissimilarity / L. Duan, C. Wu, J. Miao, L. Qing, Y. Fu // IEEE Conference on Computer Vision and Pattern Recognition. - 2011. - P. 473-480.
  • Tsotsos, J.K. Modeling visual attention via selective tuning / J.K. Tsotsos, S. Culhane, Y. Winky, L. Yuzhong, N. Davis, F. Nuflo // Artificial Intelligence. - 1995. - Vol. 78. - P. 507-545.
  • Zhao, R. Saliency detection by multi-context deep learning / R. Zhao, W. Ouyang, H. Li, X. Wang // IEEE Conference on Computer Vision and Pattern Recognition. - 2015. - P. 1265-1274.
  • Almeida, A.F. Deep networks for human visual attention: a hybrid model using foveal vision / A.F. Almeida, R. Figueiredo, A. Bernardino, J. Santos-Victor // ROBOT 2017: 3rd Iberian Robotics Conference. - 2017. - P. 117-128.
  • Wang, W. Deep visual attention prediction / W. Wang, J. Shen // IEEE Transactions on Image Processing. - 2018. - Vol. 27, Issue 5. - P. 2368-2378.
  • Zhou, D. Ranking on data manifolds / D. Zhou, J. Weston, A. Gretton, O. Bousquet, B. Scholkopf // NIPS'03: Proceedings of the 16th International Conference on Neural Information Processing Systems. - 2004. - P. 169-176.
  • Achanta, R. SLIC superpixels compared to state-of-the-a rt superpixel methods / R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Süsstrunk // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2012. - Vol. 34, Issue 11. - P. 2274-2282.
  • Yang, C. Saliency detection via graph-based manifold ranking / C. Yang, L. Zhang, H. Lu, X. Ruan, M. Yang // 2013 IEEE Conference on Computer Vision and Pattern Recognition. - 2013. - P. 3166-3173.
  • Andrysiak, T. Image retrieval based on hierarchical Gabor filters / T. Andrysiak, M. Choras // International Journal of Applied Mathematics and Computer Science. - 2005. - Vol. 15, Issue 4. - P. 471-480.
  • Randen, T. Filtering for texture classification: A comparative study / T. Randen, J.H. Husoy // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1999. - Vol. 21, Issue 4. - P. 291-310.
  • Borji, A. Salient object detection: A benchmark / A. Borji, M.-M. Cheng, H. Jiang, J. Li // IEEE transactions on image processing. - 2015. - Vol. 24(12). - P. 5706-5723.
Еще
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp