Обработка изображений, распознавание образов. Рубрика в журнале - Компьютерная оптика
Статья научная
В представленной работе проводится сравнительный анализ нескольких методов, используемых в задачах заполнения лакун на изображениях: интерполяция кубическим сплайном, нейронная сеть и метод интерполяции последовательно вычисляемого спектра Фурье. Методы тестируются на глобальной карте поля интегрального паросодержания атмосферы. Показано, что предлагаемый нами метод интерполяции последовательно вычисляемого спектра Фурье является вполне конкурентоспособным по сравнению с альтернативными методами, особенно в случаях отсутствия априорной информации о характере потерянных данных. Предлагаемый нами метод цифровой виртуальной реконструкции изображений использует в качестве исходных все данные, которые есть в наличии. Представленные результаты свидетельствуют о существенном повышении качества цифровых изображений при использовании метода интерполяции последовательно вычисляемого спектра Фурье.
Бесплатно
Статья научная
В данной работе рассматривается комплекс задач обнаружения различных дефектов дорожного полотна автомобильных дорог и современные методы их решения. Представленное сравнение общедоступных наборов данных позволяет сделать вывод о сложности и малой разработанности задачи сегментации дефектов дорожного покрытия по изображению общего вида автомобильных дорог. Для решения данной проблемы разработаны алгоритмы генерации синтетического набора данных для сегментации дефектов классов трещин и выбоин на основе методов компьютерной графики и генеративно-состязательных сетей. Проведено сравнение точности сегментации дефектов дорожного покрытия полносверточной нейронной сетью U-Net на реальном и комбинированных наборах данных.
Бесплатно
Статья научная
В работе исследуется влияние механизма внимания на точность сегментации гиперспектральных изображений сверточными нейронными сетями в области агрокультуры. Проведено исследование, в котором сравниваются две вариации нейросетевых архитектур: с использованием механизма внимания и без. Механизм внимания был реализован в виде двух модулей: позиционный и канальный. Позиционный модуль учитывает глобальный контекст, используя информацию о пространственной области всего изображения. Канальный модуль, в свою очередь, учитывает информацию всех спектральных компонент. Для проведения сравнительного исследования использовались архитектуры L2Net и U-Net. Были разработаны модифицированные версии с добавлением механизма внимания: L2AT-Net и ULAT-Net. Результаты экспериментов показали, что добавление механизма внимания в архитектуры U-Net и L2Net позволило повысить среднее значение метрики F1 с 0,80 до 0,83 и с 0,74 до 0,78 соответственно. Результаты исследования показывают, что применение механизма внимания позволяет повысить качество семантической сегментации гиперспектральных изображений.
Бесплатно
Семантическая сегментация ржавчин и пятнистостей пшеницы
Статья научная
В статье исследуется возможность семантической сегментации классификации желтой ржавчины и пятнистости пшеницы с помощью сверточной нейросетевой архитектуры U-Net. На основе собственного набора данных, включающего 268 изображений, собранной в естественных условиях и условиях инфекционных питомников ФНЦ БЗР, показано, что архитектура U-Net c декодерами ResNet способна качественно обнаруживать, классифицировать и локализовывать ржавчины и пятнистости даже в тех случаях, когда болезни присутствуют на растении одновременно. Для отдельных классов болезней основные метрики (accuracy, micro-/macro precision, recall и F1) колеблются в пределах от 0,92 до 0,96. Это указывает на возможность распознавания даже нескольких болезней на листе с точностью, не уступающей эксперту-фитопатологу. Метрики сегментации IoU и Dice составили соответственно 0,71 и 0,88, что говорит о достаточно высоком качестве попиксельной сегментации и подтверждается при визуальном анализе. Использованная при этом архитектура нейронной сети достаточно легковесна, что делает возможным ее использование на мобильных устройствах без подключения к сети.
Бесплатно
Семантическая сегментация спутниковых снимков аэропортов с помощью свёрточных нейронных сетей
Статья научная
Статья посвящена разработке эффективного алгоритма семантической сегментации для разметки элементов аэропортовой инфраструктуры на космических снимках оптического диапазона. В данной работе применены алгоритмы сегментации на основе глубоких свёрточных нейронных сетей. Они зарекомендовали себя в широком ряде задач, в том числе сегментации изображений наземной съёмки, где они показывают стабильно высокие результаты. В ходе работы были вручную размечены обучающие и тестовые изображения. Был произведён поиск оптимальной для данной задачи архитектуры нейронной сети. Исследованы различные комбинации энкодеров и декодеров. Для постобработки и учёта контекстной информации и соседства объектов различных классов с целью устранения выбросов применена модель условных случайных полей. Описаны особенности применённых решений на всех этапах подготовки алгоритма: подготовка данных, обучение нейронной сети и постобработка её результатов.
Бесплатно
Сжатие гиперспектральных данных методом главных компонент
Статья научная
Цель работы - построение алгоритма сжатия гиперспектральных данных, позволяющего достигнуть высокой степени сжатия при малой мере близости исходного и восстановленного сигналов. Алгоритм опирается на метод главных компонент и метод исчерпывания. Методом исчерпывания последовательно находятся главные компоненты - сингулярные вектора матрицы исходного сигнала. Параллельно формируется матрица восстановленного сигнала. Процесс продолжается до достижения заданной меры близости исходного и восстановленного сигналов. Представлено пошаговое описание алгоритма, приведены списки входных и выходных параметров. Тестирование выполнено на данных эксперимента Aviris. Используются три снимка, отвечающие разной облачной ситуации (чистое небо, частичная облачность и сплошная облачность). Для каждого снимка тестирование выполнено отдельно для всего набора спектральных каналов и для набора, из которого исключены каналы, лежащие в полосах сильного поглощения излучения в водяном паре. Представлена зависимость мер близости исходного и восстановленного сигналов от степени сжатия. Рассматриваются четыре меры близости: среднее квадратичное отклонение, отношение шума к сигналу, мера структурного сходства и среднее относительное отклонение. Показано, что меры близости уменьшаются более чем на порядок при исключении из снимка спектральных каналов, лежащих в полосах сильного поглощения. Показано, что причиной этого являются погрешности измерения слабого в полосе поглощения сигнала, из-за чего снижается зависимость между спектрами в разных пространственных пикселях. Для оценки готовности снимка к сжатию представленным алгоритмом предложено использовать среднее по снимку косинусное расстояние между спектрами в разных пространственных пикселях.
Бесплатно
Синтез обучающих выборок для классификации дорожных знаков с помощью нейросетей
Статья научная
В работе исследуется применимость порождающих конкурирующих нейронных сетей для синтеза обучающих выборок на примере задачи классификации дорожных знаков. Рассматриваются порождающие нейронные сети, обучаемые с помощью метрики Васерштейна. В качестве базового метода для сравнения используется метод генерации синтетических изображений дорожных знаков по иконке. Проводится экспериментальное сравнение нейросетевых классификаторов, обученных на реальных данных, двух видах синтетических данных, а также смеси реальных и синтетических данных. Эксперименты показывают, что современные порождающие нейронные сети позволяют создавать реалистичные обучающие выборки для классификации автодорожных знаков, которые превосходят по качеству методы генерации знаков по иконкам, но немного уступают по качеству реальным данным.
Бесплатно
Статья научная
Предложен метод вычисления ядра смаза, возникающего при вращении цифровой камеры. Вращение измеряется трёхосным гироскопом, скреплённым с камерой. Получены дифференциальные уравнения траектории вращательного смаза, исходящей из выбранного пикселя цифрового изображения. Уравнения записаны в фокальной плоскости объектива без вычисления промежуточных элементов внешнего ориентирования камеры. Приведено выражение для интеграла от энергетической освещённости вдоль траектории смаза, создаваемой точечным источником излучения. В интеграле учитываются функция рассеяния объектива и апертурные функции отдельных фоточувствительных ячеек матричного фотоприёмника. Расчёт значений интеграла для всех фоточувствительных ячеек, освещённых точечным источником, даёт дискретное ядро вращательного смаза, начинающееся в выбранным пикселе цифрового изображения. Описаны алгоритмы численного интегрирования полученных уравнений. Выполнен анализ уравнения смаза, выделены характерные особенности ядер, и показана их неоднородность - ядра вращательного смаза для различных пикселей при произвольном вращении камеры не совпадают между собой. Приведён пример синтеза ядер смаза для заданных параметров вращения цифровой камеры.
Бесплатно
Статья научная
В статье предложена система нейросетевой классификации пигментных новообразований кожи с этапом предварительной обработки для удаления волосяных структур с изображений. Основным отличием предложенной системы является применение этапа предварительной обработки изображений для идентификации местоположения волос и их дальнейшего удаления. Данный этап позволяет подготовить дерматоскопические изображения для дальнейшего анализа с целью проведения автоматизированной классификации и диагностики пигментных кожных новообразований. Моделирование проводилось с использованием пакета прикладных программ MatLAB R2020b на клинических дерматоскопических изображениях из международного открытого архива ISIC Melanoma Project. Предложенная система позволила повысить точность распознавания изображений пигментных поражений кожи по 10 диагностически важным категориям до 80,81%. Использование предложенной системы распознавания и классификации дерматоскопических изображений пигментных поражений специалистами даст возможность увеличить эффективность диагностики по сравнению с методами визуальной постановки диагноза, а также позволит начать лечение на более ранней стадии заболевания, что напрямую влияет на процентную выживаемость и выздоровление пациентов.
Бесплатно
Система признаков для расширенного суперпиксельного представления изображений
Статья научная
Как правило, при решении прикладных задач анализа и обработки изображений на основе суперпиксельного представления используется малый набор признаков суперпикселей. Расширение описания суперпикселей может повысить качество обрабатывающих алгоритмов. В статье предлагается набор из 25 базовых признаков суперпикселей, характеризующих их форму, яркость, геометрические параметры и положение на плоскости. Предлагаемые признаки отвечают требованиям низкой сложности вычисления в процессе сегментации изображения и достаточности для решения широкого класса прикладных задач. На их основе представлена модификация известного подхода к формированию суперпикселей, которая заключается в быстрой первичной суперпиксельной сегментации изображения со строгим предикатом однородности, обеспечивающим получение суперпикселей, с высокой точностью сохраняющих информацию исходного растрового изображения, и последующем укрупнении суперпикселей при более мягких предикатах однородности. Экспериментально показано, что такой подход позволяет существенно сократить число элементов изображения, что способствует снижению сложности обрабатывающих алгоритмов, а расширенные суперпиксели более точно соответствуют содержательным областям изображения.
Бесплатно
Статья научная
Рассматривается задача улучшения качества изображений, полученных в условиях воздействия различного рода шумов и искажений. В работе для решения указанной задачи описаны нейросетевые модели-трансформеры, показавшие в последнее время высокую эффективность в задачах компьютерного зрения. Исследуется механизм внимания моделей-трансфомеров, и определяются проблемы при реализации существующих подходов, основанных на данном механизме. Предлагается собственная модификация механизма внимания с целью уменьшения количества параметров нейронной сети, и проводится сравнение предлагаемой на ее основе модели-трансформера с известными. Рассматривается несколько датасетов с естественными и искусственно внесенными искажениями. При обучении нейронных сетей для сохранения резкости изображений в процессе устранения шумов используется функция потерь EdgeLoss. Исследуется влияние степени сжатия канальной информации в предлагаемом механизме внимания на качество восстанавливаемых изображений. Для оценки качества восстанавливаемых изображений применяются метрики PSNR, SSIM, FID, на основе которых проводится сравнение существующих архитектур нейронных сетей на каждом из использованных датасетов. Установлено, что предлагаемая авторами архитектура в целом как минимум не уступает известным по качеству улучшенных изображений, но при этом требует меньшего количества вычислительных ресурсов. Показано, что качество улучшенных изображений падает незначительно для невооруженного человеческого глаза при увеличении коэффициента сжатия канальной информации в разумных пределах.
Бесплатно
Статья научная
В статье сравниваются два алгоритма малоракурсной томографии: итерационный алгоритм минимизации функционала Поттса и алгебраический алгоритм реконструкции с TV-регуляризацией и адаптивной сегментацией. Оба алгоритма ориентированы на восстановление кусочно-постоянных структур, используют теорию опознавания со сжатием и совмещают процедуры реконструкции и сегментации изображений. На уровне численного эксперимента показано, что каждый из алгоритмов способен точно восстанавливать фантом Шеппа-Логана всего по 7 ракурсам. Когда же речь идет о восстановлении объекта, имеющего сложную высокочастотную структуру (QR-кода), минимальное число ракурсов, необходимое для точной реконструкции, возрастает до 17-21 в случае алгоритма реконструкции с TV-регуляризацией и адаптивной сегментацией и до 32-34 в случае итерационного алгоритма минимизации функционала Поттса. Показано, что разработанный авторами статьи алгоритм реконструкции с TV-регуляризацией и адаптивной сегментацией имеет некоторое преимущество над итерационным алгоритмом минимизации функционала Поттса по таким критериям, как точность и скорость реконструкции, а также устойчивость к шуму проекционных данных. Отмечено, что алгоритм реконструкции с TV-регуляризацией и адаптивной сегментацией имеет хороший потенциал для дальнейшего совершенствования.
Бесплатно
Статья научная
Рассматривается задача валидации радиологических медицинских протоколов и изображений компьютерной томографии для автоматизированного анализа состояния головного мозга. Предлагается два метода решения задачи: метод на основе мультимодальной модели ruCLIP и метод, основанный на совместном использовании двух отдельных классификаторов - для текстового отчета и для изображения КТ головного мозга. Обсуждаются способы оценки полученных результатов. Предложенные подходы позволяют верно классифицировать на 15 возможных диагнозов 99,6 % радиологических отчётов из контрольной выборки.
Бесплатно
Современные технологии автоматического распознавания средств общения на основе визуальных данных
Статья научная
Общение представляет собой широкий спектр различных действий, связанных с приёмом и передачей информации. Процесс общения складывается из вербальных, паравербальных и невербальных компонентов, содержащих информационную часть передаваемого сообщения и его эмоциональную окраску соответственно. Комплексный анализ всех компонентов общения позволяет оценить не только содержательную составляющую, но и ситуативный контекст сказанного, а также выявлять дополнительные факторы, относящиеся к психическому и соматическому состоянию говорящего. Существует несколько методов передачи вербального сообщения, среди которых устная и жестовая речь. Речевые и околоречевые компоненты общения могут содержаться в различных каналах данных, таких как аудио- или видеоканалы. В данном обзоре рассматриваются системы анализа видеоданных ввиду того, что аудиоканал не способен передать ряд околоречевых компонентов общения, вносящих в передаваемое сообщение дополнительную информацию. Проводится анализ существующих баз данных статических и динамических образов и систем, разрабатываемых для распознавания вербальной составляющей в устной и жестовой речи, а также систем, оценивающих паравербальные и невербальные компоненты общения. Обозначены сложности, с которыми сталкиваются разработчики подобных баз данных и систем. Также сформулированы перспективные направления разработок, связанные в том числе с комплексным анализом всех компонентов общения с целью наиболее полной оценки передаваемого сообщения.
Бесплатно
Спектральное и пространственное сверхразрешение при комплексировании данных ДЗЗ различных источников
Статья научная
В статье предлагается алгоритм получения пространственного и спектрального сверхразрешения для совокупности изображений дистанционного зондирования Земли, полученных при помощи различной съёмочной аппаратуры. Результат работы алгоритма рассматривается как модель идеального источника данных, обладающего большей точностью представления наблюдаемой территории, чем каждое из входных изображений, имеющих более низкое пространственное и спектральное разрешение. Предложенный алгоритм основан на методе градиентного спуска и использует уточнённую модель наблюдения изображений, включающую спектральную дискретизацию и интерполяцию, возникающую при переходе от наблюдаемых входных изображений к модельному представлению. В статье описывается экспериментальное исследование предложенного алгоритма на модельных изображениях низкого разрешения, полученных из гиперспектрального снимка дистанционного зондирования Земли. Практическое применение предлагаемого алгоритма заключается в совместной обработке данных ДЗЗ различного уровня, позволяющей стереть границы, возникающие из-за конструктивных различий изображающих систем.
Бесплатно
Способ оценки четкости фотореалистичных изображений с высоким разрешением
Статья научная
В статье предлагается способ оценки четкости фотореалистичных изображений, основанный на сравнении коэффициента детальности оригинального и искаженного изображений. В алгоритме идентификации мелких структур оригинального изображения используются операции сегментации активных пикселей, к которым относятся точечные объекты, тонкие линии и фрагменты текстуры. Количество активных пикселей оценивается значением коэффициента детальности, которое определяется отношением активных пикселей к общему количеству пикселей изображения. Этот же алгоритм используется для вычисления значения коэффициента детальности искаженного изображения, и далее оценивается снижение четкости с помощью сравнения полученных значений. К особенностям способа относится то, что идентификация мелких структур и сегментация активных пикселей выполняется в нормированной системе N-CIELAB.Также в алгоритме учитывается влияние ложных микроструктур на результаты оценки реставрированного изображения. Рассматриваются особенности построения нейронных сетей SRCNN в задачах качественного повышения разрешения изображения с восстановлением мелких структур. Приводятся результаты анализа качества увеличенных изображений по традиционным метрикам PSNR и SSIM, а также по предлагаемому способу.
Бесплатно
Способ управления качеством передачи мелких структур изображений в стандарте JPEG2000
Статья научная
В статье предлагается способ управления качеством передачи мелких структур изображений в стандарте JPEG2000 на основе автоматической регулировки параметров квантования коэффициентов дискретного вейвлет-преобразования. Описывается алгоритм настройки параметров шкалы квантования по субдиапазонам трансформации коэффициентов ДВП в зависимости от заданных (допустимых) искажений. Для объективной оценки качества изображений использованы числовые меры искажений мелких деталей в нормированной колометрической системе N-CIELAB, по которым выполняется анализ их структурных признаков. Приводятся результаты экспериментальных исследований анализа качества изображений и эффективности сжатия в зависимости от параметров квантования в разработанном адаптивном алгоритме сжатия. Также приводятся результаты оценки быстродействия алгоритма, которые могут быть использованы для практического применения в мультимедийных приложениях.
Бесплатно
Сравнение алгоритмов выделения области интереса на компьютерных томограммах легких
Статья научная
Рассматривается автоматическое создание масок для выделения лёгких на компьютерных томограммах с помощью трёх подходов: метода Оцу, простой свёрточной нейронной сети, состоящей из 10 одинаковых слоёв, и свёрточной нейронной сети U-Net. Произведено исследование и сравнение используемых методов автоматического выделения области интереса на реальных изображениях компьютерной томографии лёгких, полученных в Клиниках СамГ-МУ. Решение данной задачи актуально, так как она является первым этапом при автоматизированном поиске патологических изменений на изображениях компьютерной томографии. Предложен алгоритм постобработки изображений, основанный на поиске контуров, который позволяет повысить качество сегментации. Сделан вывод о том, что U-Net выделяет область интереса, относящуюся к легкому, несколько лучше, чем два других подхода. При этом простая свёрточная нейронная сеть обеспечивает достоверность сегментации 97,5 %, что лучше достоверности сегментации 96,7 %, достигнутой с помощью метода Оцу, и лучше достоверности сегментации 96,4 %, достигнутой с помощью нейронной сети U-Net.
Бесплатно
Статья научная
В работе представлен анализ различных подходов к построению описаний полей градиентов цифровых изображений. Анализируемые подходы основаны на известных методах снижения размерности данных, таких как методы главных и независимых компонент, метод дискриминантного анализа. Мы применяем указанные методы не к исходному изображению, представленному в виде двумерного поля яркости (полутоновому изображению), а к его вторичному представлению в виде двумерного поля градиента - комплекснозначному изображению. При этом рассматриваются случаи использования как поля градиента целиком, так и только его фазовой части. Дополнительно рассматриваются два независимых способа формирования окончательного описания искомого объекта: в виде коэффициентов разложения поля градиента по сформированному базису и с использованием оригинальной авторской конструкции модельно-ориентированных дескрипторов. Последние позволяют в два раза снизить число вещественных коэффициентов, используемых при описании искомого объекта. В качестве конкретной прикладной задачи, на которой проводятся исследования, выступает проблема распознавания лиц. Эффективность анализируемых подходов демонстрируется путём сравнения результатов их применения к изображениям из базы данных “Extended Yale Face Database B”. Алгоритмом классификации выступает метод ближайшего соседа.
Бесплатно
Сравнение архитектур нейронных сетей для подавления мультипликативного шума на изображениях
Статья научная
В статье сравниваются различные методы фильтрации шумов на изображении с помощью нейронных сетей, при этом обрабатываемые изображения могут содержать как однородные области, так и малоразмерные объекты, и резкие границы. Используются сверточные и полносвязные нейронные сети. Показано, что различные архитектуры НС требуют существенно разного количества обучающего материала для достижения одинакового качества фильтрации. Приведены примеры сетей с пониженными требованиями к количеству обучающего материала.
Бесплатно
