Исследование применимости методов обработки естественного языка к задачам поиска и сравнения изображений машиностроительных чертежей

Автор: Фигура Константин Николаевич

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 4 т.46, 2022 года.

Бесплатный доступ

Проведенные в работе исследования показывают, что применение технологии дескрипторов особых точек в чистом виде к задаче сравнения и поиска чертежей является неэффективным. Выявлено, что основной причиной этому служит наличие в чертежах большого количества идентичных элементов (рамки, основная надпись, выносные линии, элементы шрифтов и др.). Для решения данной проблемы предложено использование метода tf-idf (term frequency-inverse document frequency), широко известного в технологии обработки естественного языка. В исследовании вместо векторов слов, применяемых в оригинальной методике tf-idf, использовались дескрипторы особых точек изображений, вычисленных по алгоритмам ORB и BRISK. В результате исследования получены следующие выводы: 1) показана высокая эффективность предлагаемого подхода для поиска копии изображения-запроса в базе данных. Так, для всех изображений, предложенных для поиска и имеющих свои полные аналоги в базе данных, было выявлено наличие копий. 2) Количество выявленных изображений, являющихся модификациями изображения-запроса, разнится и зависит от алгоритма нахождения особых точек и дескрипторов. Так, при использовании ORB максимальное количество выявленных модифицированных аналогов составило 60 %, при использовании BRISK - 80 % от всех аналогов изображения, находящихся в базе данных. 3) Предлагаемый подход показывает ограниченную эффективность для нахождения изображений, которые можно отнести к тому же классу, что и изображение-запрос (например, чертеж экскаватора, бульдозера, автомобильного крана). Здесь максимальное количество ложных определений достигло 60 %.

Еще

Обработка естественного языка, метод tf-idf, поиск изображений, анализ изображений, распознавание образов, цифровая обработка изображений

Короткий адрес: https://sciup.org/140295013

IDR: 140295013   |   DOI: 10.18287/2412-6179-CO-1030

Список литературы Исследование применимости методов обработки естественного языка к задачам поиска и сравнения изображений машиностроительных чертежей

  • Ahmed KT, Ummesafi S, Iqbal A. Content based image retrieval using image features information fusion. Inf Fusion 2019; 51: 76-99. DOI: 10.1016/j.inffus.2018.11.004.
  • Duan G, Yang J, Yang Y. Content-based image retrieval research. Phys Procedia 2011; 22: 471-477. DOI: 10.1016/j.phpro.2011.11.073.
  • Tzelepi M, Tefas A. Deep convolutional learning for Content Based Image Retrieval. Neurocomputing 2018; 275: 2467-2478. DOI: 10.1016/j.neucom.2017.11.022.
  • Haji MS, Alkawaz MH, Rehman A, Saba T. Content-based image retrieval: a deep look at features prospectus. Int J Comput Vis Robot 2019; 9(1): 14-38. DOI: 10.1504/IJCVR.2019.098004.
  • Rana SP, Dey M, Siarry P. Boosting content based image retrieval performance through integration of parametric & nonparametric approaches. J Vis Commun Image Represent 2019; 58: 205-219. DOI: 10.1016/j.jvcir.2018.11.015.
  • Mouats T, Aouf N, Nam D, Vidas S. Performance evaluation of feature detectors and descriptors beyond the visible. J Intell Robot Syst 2018; 92: 33-63. DOI: 10.1007/s10846-017-0762-8.
  • Mukherjee D, Wu QMJ, Wang G. A comparative experimental study of image feature detectors and descriptors. Mach Vis Appl 2015; 26(4): 443-466. DOI: 10.1007/s00138-015-0679-9.
  • Saha SK, Xiao D, Frost S, Kanagasingam Y. Performance evaluation of state-of-the-art local feature detectors and descriptors in the context of longitudinal registration of retinal images. J Med Syst 2018; 42(2): 57. DOI: 10.1007/s10916-018-0911-z.
  • Ma J, Jiang X, Fan A, Jiang J, Yan J. Image matching from handcrafted to deep features: A survey. Int J Comput Vis 2021; 129: 23-79. DOI: 10.1007/s11263-020-01359-2.
  • Zakharov AA, Zhiznyakov AL, Titov VS. A method for feature matching in images using descriptor structures. Computer Optics 2019; 43(5): 810-817. DOI: 10.18287/2412-6179-2019-43-5-810-817.
  • Zakharov AA, Barinov AE, Zhiznyakov AL, Titov VS. Object detection in images with a structural descriptor based on graphs. Computer Optics 2018; 42(2): 283-290. DOI: 10.18287/2412-6179-2018-42-2-283-290.
  • Zheng L, Yang Y, Tian Q. SIFT meets CNN: A decade survey of instance retrieval. IEEE Trans Pattern Anal Mach Intell 2018; 40(5): 1224-1244. DOI: 10.1109/TPAMI.2017.2709749.
  • Alrahhal M, Supreethi KP. Content-based image retrieval using local patterns and supervised machine learning techniques. 2019 Amity Int Conf on Artificial Intelligence (AI-CAI) 2019: 118-124. DOI: 10.1109/AICAI.2019.8701255.
  • Ali A, Sharma S. Content based image retrieval using feature extraction with machine learning. 2017 Int Conf on Intelligent Computing and Control Systems (ICICCS) 2017: 1048-1053. DOI: 10.1109/ICCONS.2017.8250625.
  • Saritha RR, Paul V, Kumar PG. Content based image retrieval using deep learning process. Cluster Comput 2019; 22: 4187-4200. DOI: 10.1007/s10586-018-1731-0.
  • GOST 2.001-2013 Unified system for design documentation (ESKD). General Provisions (as amended) 22 November 2013 [In Russian]. Source:
  • Krasnabayeu YA, Chistabayeu DV, Malyshev AL. Comparison of binary feature points descriptors of images under distortion conditions. Computer Optics 2019; 43(3): 434-445. DOI: 10.18287/2412-6179-2019-43-3-434-445.
  • Lowe DG. Object recognition from local scale-invariant features. Proc Seventh IEEE Int Conf on Computer Vision 1999; 2: 1150-1157. DOI: 10.1109/ICCV.1999.790410.
  • Bay H, Ess A, Tuytelaars T, Van Gool L. Speeded-up robust features (SURF). Comput Vis Image Underst 2008; 110: 346-359. DOI: 10.1016/j.cviu.2007.09.014.
  • Calonder M, Lepetit V, Strecha C, Fua P. BRIEF: Binary robust independent elementary features. In Book: Danii-lidis K, Maragos P, Paragios N, eds. Computer vision -ECCV 2010. Berlin, Heidelberg: Springer; 2010: 778-792. DOI: 10.1007/978-3-642-15561-1 56.
  • Rublee E, Rabaud V, Konolige K, Bradski G. ORB: An efficient alternative to SIFT or SURF. 2011 Int Conf on Computer Vision 2011: 2564-2571. DOI: 10.1109/ICCV.2011.6126544.
  • Leutenegger S, Chli M, Siegwart RY. BRISK: Binary robust invariant scalable keypoints. 2011 Int Conf on Computer Vision 2011: 2548-2455. DOI: 10.1109/ICCV.2011.6126542.
  • Rosten E, Drummond T. Machine learning for high-speed corner detection. In Book: Leonardis A, Bischof H, Pinz A, eds. Computer vision - ECCV 2006. Part I. Berlin, Heidelberg: Springer, 2006: 430-443. DOI: 10.1007/11744023_34.
  • OpenCV 4.4.0. OpenCV 2020. Source: (https://opencv.org/opencv-4-4-0/).
  • Roelleke T, Wang J. TF-IDF uncovered: a study of theories and probabilities. Proc 31st Annual Int ACM SIGIR Conf on Research and Development in Information Retrieval 2008: 435-442. DOI: 10.1145/1390334.1390409.
  • Whissell JS, Clarke CLA. Improving document clustering using Okapi BM25 feature weighting. Inf Retrieval 2011; 14: 466-487. DOI: 10.1007/s10791-011-9163-y.
  • Bruno A, Cattaneo G, Petrillo UF, Narducci F, Roscigno G. Distributed anti-plagiarism checker for biomedical images based on sensor noise. In Book: Battiato S, Farinella GM, Leo M, Gallo G, eds. New trends in image analysis and processing - ICIAP 2017. Cham: Springer International Publishing; 2017: 343-352. DOI: 10.1007/978-3-319-70742-6_32.
  • Iwanowski M, Cacko A, Sarwas G. Comparing images for document plagiarism detection. In Book: Chmielewski LJ, Datta A, Kozera R, Wojciechowski K, eds. Computer Vision and Graphics. Cham: Springer International Publishing; 2016: 532-543. DOI: 10.1007/978-3-319-46418-3_47.
  • Chen Y, Gan L, Zhang S, Guo W, Chuang Y, Zhao X. Plagiarism detection in homework based on image hashing. In Book: Zou B, Han Q, Sun G, Jing W, Peng X, Lu Z, eds. Data science. Singapore: Springer Singapore; 2017: 424432. DOI: 10.1007/978-981-10-6388-6 35
Еще
Статья научная