Обработка изображений, распознавание образов. Рубрика в журнале - Компьютерная оптика
The study of skeleton description reduction in the human fall-detection task
Статья научная
Accurate and reliable real-time fall detection is a key aspect of any intelligent elderly people care system. A lot of modern RGB-D cameras can provide a skeleton description of a human figure as a compact pose presentation. This makes it possible to use this description for further analysis without access to real video and, thus, to increase the privacy of the whole system. The skeleton description reduction based on the anthropometrical characteristics of a human body is proposed. The experimental study on the TST Fall Detection dataset v2 by the Leave-One-Person-Out method shows that the proposed skeleton description reduction technique provides better recognition quality and increases the overall performance of a Fall-Detection System.
Бесплатно
Time-optimal algorithms focused on the search for random pulsed-point sources
Статья научная
The article describes methods and algorithms related to the analysis of dynamically changing discrete random fields. Time-optimal strategies for the localization of pulsed-point sources having a random spatial distribution and indicating themselves by generating instant delta pulses at random times are proposed. An optimal strategy is a procedure that has a minimum (statistically) average localization time. The search is performed in accordance with the requirements for localization accuracy and is carried out by a system with one or several receiving devices. Along with the predetermined accuracy of localization of a random pulsed-point source, a significant complicating factor of the formulated problem is that the choice of the optimal search procedure is not limited to one-step algorithms that end at the moment of first pulse generation. Moreover, the article shows that even with relatively low requirements for localization accuracy, the time-optimal procedure consists of several steps, and the transition from one step to another occurs at the time of registration of the next pulse by the receiving system. In this case, the situation is acceptable when during the process of optimal search some of the generated pulses are not fixed by the receiving system. The parameters of the optimal search depending on the number of receiving devices and the required accuracy of localization are calculated and described in the paper.
Бесплатно
Traffic extreme situations detection in video sequences based on integral optical flow
Статья научная
Road traffic analysis is an important task in many applications and it can be used in video surveillance systems to prevent many undesirable events. In this paper, we propose a new method based on integral optical flow to analyze cars movement in video and detect flow extreme situations in real-world videos. Firstly, integral optical flow is calculated for video sequences based on optical flow, thus random background motion is eliminated; secondly, pixel-level motion maps which describe cars movement from different perspectives are created based on integral optical flow; thirdly, region-level indicators are defined and calculated; finally, threshold segmentation is used to identify different cars movements. We also define and calculate several parameters of moving car flow including direction, speed, density, and intensity without detecting and counting cars. Experimental results show that our method can identify cars directional movement, cars divergence and cars accumulation effectively.
Бесплатно
Tree-serial parametric dynamic programming with flexible prior model for image denoising
Статья научная
We consider here image denoising procedures, based on computationally effective tree-serial pa-rametric dynamic programming procedures, different representations of an image lattice by the set of acyclic graphs and non-convex regularization of a new type which allows to flexibly set a priori pref-erences. Experimental results in image denoising, as well as comparison with related methods, are provided. A new extended version of multi quadratic dynamic programming procedures for image denoising, proposed here, shows an improved accuracy for images of a different type.
Бесплатно
U-net-bin: hacking the document image binarization contest
Статья научная
Image binarization is still a challenging task in a variety of applications. In particular, Document Image Binarization Contest (DIBCO) is organized regularly to track the state-of-the-art techniques for the historical document binarization. In this work we present a binarization method that was ranked first in the DIBCO' 17 contest. It is a convolutional neural network (CNN) based method which uses U-Net architecture, originally designed for biomedical image segmentation. We describe our approach to training data preparation and contest ground truth examination and provide multiple insights on its construction (so called hacking). It led to more accurate historical document binarization problem statement with respect to the challenges one could face in the open access datasets. A docker container with the final network along with all the supplementary data we used in the training process has been published on Github.
Бесплатно
Uncovering unstable plaques: deep learning segmentation in optical coherence tomography
Статья научная
One of the primary objectives in modern cardiology is to analyze the risk of acute coronary syndrome (ACS) in patients with ischemic heart disease to develop preventive measures and determine the optimal treatment strategy. This study aims to develop an automated approach for the timely detection of significant, rupture-prone coronary lesions (unstable plaques) to prevent ACS. We collected optical coherence tomography (OCT) volumes from 34 patients, with each OCT volume representing an RGB video of 704×704 pixels per frame, acquired over a certain depth. After filtering and manual annotation, 11,771 images were obtained to identify four types of objects: Lumen, Fibrous cap, Lipid core, and Vasa vasorum. To segment and quantitatively assess these features, we configured and evaluated the performance of nine deep learning models (U-Net, LinkNet, FPN, PSPNet, DeepLabV3, PAN, MA-Net, U-Net++, DeepLabV3++). The study presents two approaches for training the aforementioned models: 1) detecting all analyzed objects and 2) applying a cascade of neural network models to separately detect subsets of objects. The results demonstrate the superiority of the cascade approach for analyzing OCT images. The combined use of PAN and MA-Net models achieved the highest average Dice similarity coefficient (DSC) of 0.721.
Бесплатно
Unsupervised color texture segmentation based on multi-scale region-level Markov random field models
Статья научная
In the field of color texture segmentation, region-level Markov random field model (RMRF) has become a focal problem because of its efficiency in modeling the large-range spatial constraints. However, the RMRF defined on a single scale cannot describe the un-stationary essence of the image, which highly limits its robustness. Hence, by combining wavelet transformation and the RMRF model, we present a multi-scale RMRF (MsRMRF) model in wavelet domainin this paper. In the Bayesian framework, the proposed model seamlessly integrates the multi-scale information stemmed from both the original image and the region-level spatial constraints. Therefore, the new model can accurately describe the characteristics of different kinds of texture. Based on MsRMRF, an unsupervised segmentation algorithm is designed for segmenting color texture images. Both synthetic color texture images and remote sensing images are employed in the comparative experiments, and the experimental results show that the proposed method can obtain more accurate segmentation results than the competitors.
Бесплатно
Vanishing point detection with direct and transposed fast hough transform inside the neural network
Статья научная
In this paper, we suggest a new neural network architecture for vanishing point detection in images. The key element is the use of the direct and transposed fast Hough transforms separated by convolutional layer blocks with standard activation functions. It allows us to get the answer in the coordinates of the input image at the output of the network and thus to calculate the coordinates of the vanishing point by simply selecting the maximum. Besides, it was proved that calculation of the transposed fast Hough transform can be performed using the direct one. The use of integral operators enables the neural network to rely on global rectilinear features in the image, and so it is ideal for detecting vanishing points. To demonstrate the effectiveness of the proposed architecture, we use a set of images from a DVR and show its superiority over existing methods. Note, in addition, that the proposed neural network architecture essentially repeats the process of direct and back projection used, for example, in computed tomography.
Бесплатно
Vehicle wheel weld detection based on improved YOLO V4 algorithm
Статья научная
In recent years, vision-based object detection has made great progress across different fields. For instance, in the field of automobile manufacturing, welding detection is a key step of weld inspection in wheel production. The automatic detection and positioning of welded parts on wheels can improve the efficiency of wheel hub production. At present, there are few deep learning based methods to detect vehicle wheel welds. In this paper, a method based on YOLO v4 algorithm is proposed to detect vehicle wheel welds. The main contributions of the proposed method are the use of k-means to optimize anchor box size, a Distance-IoU loss to optimize the loss function of YOLO v4, and non-maximum suppression using Distance-IoU to eliminate redundant candidate bounding boxes. These steps improve detection accuracy. The experiments show that the improved methods can achieve high accuracy in vehicle wheel weld detection (4.92 % points higher than the baseline model with respect to AP75 and 2.75 % points higher with respect to AP50). We also evaluated the proposed method on the public KITTI dataset. The detection results show the improved method’s effectiveness.
Бесплатно
Video images compression and restoration methods based on optimal sampling
Статья научная
The study proposes video images compression and restoration methods based on multidimensional sampling theory that provide four-fold video compression and subsequent real-time restoration with loss levels below visually perceptible threshold. The proposed methods can be used separately or along with any other video compression techniques, thus providing additional quadruple compression.
Бесплатно
Weed detection on embedded systems using computer vision algorithms
Статья научная
Agriculture is a vital component of a sustainable development of many states. It supports economic growth and ensures food security. Therefore, great attention is paid to increasing production efficiency and yields. One of the problems occurring in the agricultural section is weed spreading that can corrupt the quality and amount of yields. To achieve better harvest, weed control measures should be conducted in time. Currently, computer vision techniques are implemented in various areas of industry, in particular, in agriculture. They allow one to automate data analysis process and to make decisions faster. However, the weed detection task in agriculture requires not only high recognition accuracy, but also fast computations on portable devices with low memory availability that makes it possible to embed computer vision systems on unmanned aerial vehicles (UAVs). To address these challenges, we proposed a neural-based approach for real-time weed recognition that combines state-of-the-art detection architectures and optimization techniques for faster inference. To conduct a comprehensive study using real field data, we collected and labelled two unique datasets in Volgograd Region. The experiments involved YOLO, SSD, and Faster R-CNN architectures with inference on NVIDIA Jetson Nano. The highest results were achieved for YOLOv5 architecture with mAP of 0.668 for Carrot Dataset (two weeds classes) and 0.882 for Onion Dataset (one weed class), while inference prediction time equals to 29 FPS and 31 FPS respectively.
Бесплатно
Статья научная
This work considers the problem of quality assessment of multichannel image visualization methods. One approach to such an assessment, the Escore quality measure, is studied. This measure, initially proposed for decolorization methods evaluation, can be generalized for the assessment of hyperspectral image visualization methods. It is shown that Escore does not account for the loss of local contrast at the supra-pixel scale. The sensitivity to the latter in humans depends on the observation conditions, so we propose a modified wEscore measure which includes the parameters allowing for the adjustment of the local contrast scale based on the angular resolution of the images. We also describe the adjustment of wEscore parameters for the evaluation of known decolorization algorithms applied to the images from the COLOR250 and the Cadik datasets with given observational conditions. When ranking the results of these algorithms and comparing it to the ranking based on human perception, wEscore turned out to be more accurate than Escore.
Бесплатно
X-ray tomography: the way from layer-by-layer radiography to computed tomography
Статья научная
The methods of X-ray computed tomography allow us to study the internal morphological structure of objects in a non-destructive way. The evolution of these methods is similar in many respects to the evolution of photography, where complex optics were replaced by mobile phone cameras, and the computers built into the phone took over the functions of high-quality image generation. X-ray tomography originated as a method of hardware non-invasive imaging of a certain internal cross-section of the human body. Today, thanks to the advanced reconstruction algorithms, a method makes it possible to reconstruct a digital 3D image of an object with a submicron resolution. In this article, we will analyze the tasks that the software part of the tomographic complex has to solve in addition to managing the process of data collection. The issues that are still considered open are also discussed. The relationship between the spatial resolution of the method, sensitivity and the radiation load is reviewed. An innovative approach to the organization of tomographic imaging, called “reconstruction with monitoring”, is described. This approach makes it possible to reduce the radiation load on the object by at least 2 - 3 times. In this work, we show that when X-ray computed tomography moves towards increasing the spatial resolution and reducing the radiation load, the software part of the method becomes increasingly important.
Бесплатно
Статья научная
Rescue robots are widely utilized in search and rescue operations to enhance operations’ efficiency. To reduce operators’ load a robot could perform some functions automatically, including victims’ detection. This paper introduces a robot operating system based victim detection framework for Servosila Engineer crawler rescue robot with four cameras. The victim detection algorithm employs video stream frames from a single camera and a trained YOLOv10s neural network that detects human body parts within a picture of a cluttered urban environment. To train the YOLOv10s model, a human body dataset of 15068 images was created by combining an existing dataset with a new dataset collected with the robot’s camera. The model was trained to detect a person and his/her body parts: a head, a hand, and a foot. The study analyzed an impact of a distance between the robot and a human victim in cluttered environments on detection accuracy. The algorithm showed acceptable performance in validation experiments with three human participants under artificial lighting conditions when the robot’s camera was positioned within 50 to 200 cm distance from a cluttered area. Within this distance, an Average Precision (AP) of 0.75, 0.91, and 0.73 was achieved for the head, hand, and foot classes respectively; the AP rapidly degraded with distance. The experiments showed that hand class objects were detected more reliably compared to other objects across all three intervals. Unlike prior approaches that employed high-end hardware or multiple cameras, our system achieved a reasonable accuracy using a single camera and low-power onboard computing.
Бесплатно
Статья научная
Данная статья посвящена применению свёрточных глубоких сетей доверия в качестве средства извлечения речевых признаков из аудиозаписей для решения задачи автоматической, текстонезависимой верификации диктора. В работе описаны область применения и проблемы систем автоматической верификации диктора. Рассмотрены типы современных систем верификации диктора, основные типы речевых признаков, используемых в системах верификации диктора. Описана структура свёрточных глубоких сетей доверия, алгоритм обучения данной сети. Предложено применение речевых признаков, извлекаемых из трёх слоёв обученной свёрточной глубокой сети доверия. Данный подход основан на применении методов анализа изображений как к уже выделенным признакам речевого сигнала, так и для их выделения из слоёв нейронной сети. Произведены экспериментальные исследования предложенных признаков на двух речевых корпусах: собственном речевом корпусе, включающем аудиозаписи 50 дикторов, и речевом корпусе TIMIT, включающем аудиозаписи 630 дикторов. Была произведена оценка точности предложенных признаков с применением классификаторов различного типа. Непосредственное применение данных признаков не дало увеличения точности по сравнению с использованием традиционных речевых признаков, таких как мел-кепстральные коэффициенты. Однако применение данных признаков в составе ансамбля классификаторов позволило достичь уменьшения равной ошибки 1-го и 2-го рода до 0,21 % на собственном речевом корпусе и до 0,23 % на речевом корпусе TIMIT.
Бесплатно
Автоматическая сегментация изображений процесса интрацитоплазматической инъекции сперматозоида
Статья научная
Данная работа посвящена решению методами глубокого обучения задачи мультиклассовой семантической сегментации изображений процесса интрацитоплазматической инъекции сперматозоида. В качестве входных данных использованы видеопоследовательности, на которых изображена вышеназванная процедура интрацитоплазматической инъекции сперматозоида. Для обучения нейросети выполнена ручная разметка 656 кадров, в результате которой каждый пиксель изображения был отнесен к одному из 4 классов: микроинъектор, микропипетка, яйцеклетка, фон. Проведен анализ современных методов решения, и экспериментальным путем выбраны наилучшие архитектура, кодировщики и гиперпараметры нейронной сети: сверточная нейронная сеть FPN (feature pyramid network) с кодировщиком resnext101, имеющим глубину 101 слой с 32 параллельными разделяемыми свертками. Построенная нейросетевая модель позволила получить эффективность сегментации IOU = 0,96 при скорости работы алгоритма 15 кадров в секунду.
Бесплатно
Статья научная
В настоящей работе описан разработанный метод автоматической субпиксельной географической привязки изображений, получаемых прибором КМСС-М с пространственным разрешением 60 метров, основанный на использовании восстановленного безоблачного и ежедневно актуализируемого эталонного изображения коэффициентов спектральной яркости низкого пространственного разрешения MODIS. Описываемый метод основан на максимизации значения корреляции Пирсона при поиске оптимального локального смещения участка корректируемого изображения путём сравнения с эталонным низкодетальным изображением. Для оценки эффективности метода при использовании на неоднородных территориях континентального охвата были проведены три эксперимента, позволяющие получить численные оценки ошибок привязки: эксперимент с использованием модельных наборов данных, эксперимент по оценке абсолютной ошибки привязки эталонных изображений MODIS и эксперимент по оценке ошибки привязки автоматически скорректированных данных КМСС-М. Экспериментальная оценка метода на основе модельных данных декаметрового разрешения Sentinel-2 (MSI) продемонстрировала его высокую устойчивость при работе в широком диапазоне физико-географических условий и сезона наблюдений. Средняя ошибка географической привязки эталона низкого пространственного разрешения MODIS, полученная во втором эксперименте для территории зернового пояса РФ за 2020 год наблюдений, оказалась менее 20 метров как в красном, так и в ближнем ИК-каналах. Результаты автоматической коррекции изображений КМСС-М на указанную территорию и год наблюдений, полученные в третьем эксперименте с помощью описанного метода, продемонстрировали в среднем субпиксельную точность привязки скорректированных изображений в красном и ближнем ИК-каналах, в то время как средняя абсолютная ошибка привязки исходных изображений КМСС-М составила 3 километра. Достигнутая в работе точность привязки скорректированных по данным низкого пространственного разрешения изображений КМСС-М обеспечивает возможность построения и анализа временных серий мультиспектральных измерений спектральной яркости земной поверхности для решения широкого спектра научных и практических задач дистанционного мониторинга растительного покрова. Технологическая гибкость разработанного метода обеспечивает его применимость к данным и других спутниковых систем для оптического дистанционного зондирования Земли.
Бесплатно
Автоматическое совмещение изображений оптической когерентной томографии и снимков глазного дна
Статья научная
Данная работа посвящена совмещению мультимодальных многомерных изображений: трехмерных данных оптической когерентной томографии и двумерных цветных изображений глазного дна. Регистрация этих двух модальностей может помочь корректировать положение полученных оптической когерентной томографией изображений на сетчатке. Некоторые существующие подходы совмещения глазного дна основаны на поиске ключевых точек, которые считаются инвариантными для аффинных преобразований и являются общими для двух изображений. Однако ошибки в определении таких точек могут привести к ошибкам регистрации. Также существуют методы итеративной настройки параметров преобразования, но они основаны на некоторых ручных настройках. В данной работе предложен метод, основанный на полном или частичном переборе возможных комбинаций преобразования изображения оптической когерентной томографии для поиска наилучшего приближения истинного преобразования. Наилучшее приближение определяется мерой сравнения пикселей предварительно обработанных изображений. Далее полученные преобразования сравниваются с имеющимися истинными преобразованиями для оценки качества алгоритма. Оценка преобразования с помощью алгоритма полного перебора показала лучшие результаты в сравнении с алгоритмом, основанным на поиске ключевых точек как минимум на порядок. Структура работы включает в себя предварительную обработку оптической когерентной томографии и изображений глазного дна с выделением кровеносных сосудов, случайный перебор или перебор по сетке возможных параметров преобразования (сдвиг, поворот и масштабирование), оценку качества алгоритма.
Бесплатно
Адаптивная интерполяция многомерных сигналов при дифференциальной компрессии
Статья научная
Исследуются алгоритмы интерполяции многомерных сигналов при дифференциальной компрессии. Предлагается подход к построению адаптивных интерполяторов, основанный на автоматическом выборе интерполирующей функции в каждой точке сигнала на основе признаков, вычисляемых по локальной окрестности. В рамках этого подхода предлагается адаптивный многомерный интерполятор, автоматически выбирающий в каждой точке сигнала интерполирующую функцию, обеспечивающую повышенную точность интерполяции для контуров. Для реализации этого выбора предлагается решающее правило, основанное на локальном признаке, характеризующем выраженность и направленность контура в каждой точке сигнала. Предложенный интерполятор реализован для трёхмерного случая, в котором переключение производится между шестью интерполирующими функциями: усредняющей функцией и функциями, учитывающими контуры пяти направлений. Производится экспериментальное исследование предложенного алгоритма на трёхмерных гиперспектральных данных дистанционного зондирования Земли. Экспериментально подтверждается, что использование предложенного интерполятора позволяет существенно повысить эффективность дифференциальной компрессии.
Бесплатно
Статья научная
Предлагается адаптивный интерполятор многомерного сигнала, выбирающий интерполирующую функцию в каждой точке сигнала посредством решающего правила, оптимизированного в многомерном признаковом пространстве с помощью дерева решений. Поиск разделяющей границы при разбиении вершин дерева решений осуществляется посредством рекуррентной схемы, позволяющей, кроме поиска границы, производить также выбор наилучшей пары интерполирующих функций из заранее заданного набора функций произвольного вида. Приводятся результаты вычислительных экспериментов на реальных многомерных сигналах, подтверждающие эффективность адаптивного интерполятора.
Бесплатно
