3D-обобщение метода очистки от импульсного шума для обработки видеоданных
Автор: Червяков Николай Иванович, Ляхов Павел Алексеевич, Оразаев Анзор Русланович
Журнал: Компьютерная оптика @computer-optics
Рубрика: Обработка изображений, распознавание образов
Статья в выпуске: 1 т.44, 2020 года.
Бесплатный доступ
В статье предложен обобщенный метод адаптивной медианной фильтрации импульсного шума для обработки видеоданных. Метод основан на совместном применении итеративной обработки и преобразования результата медианной фильтрации на основе распределения Лоренца. Предложены четыре различные комбинации алгоритмических блоков метода. В экспериментальной части статьи приведены результаты сравнения качества работы предложенного метода с известными аналогами. Для моделирования было использовано видео, искаженное импульсным шумом с вероятностями искажения пикселей от 1 % до 99 % включительно. Численная оценка качества очистки видеоданных от шума на основе среднеквадратичной ошибки и индекса структурного сходства показала, что предложенный метод показывает лучший результат обработки во всех рассмотренных случаях по сравнению с известными подходами. Полученные в статье результаты могут найти широкое применение в практических приложениях цифровой обработки видео, например, для обработки визуальных данных в системах видеонаблюдения, идентификации и контроля промышленных процессов.
Цифровая обработка видео, адаптивная фильтрация, медианный фильтр
Короткий адрес: https://sciup.org/140247080
IDR: 140247080 | DOI: 10.18287/2412-6179-CO-577
Текст научной статьи 3D-обобщение метода очистки от импульсного шума для обработки видеоданных
При получении или передаче на цифровых изображениях и видеоданных могут возникать шумы различной природы, которые искажают их визуальное качество и приводят к потере важной информации. По этой причине восстановление искажённых участков сигнала является важной задачей цифровой обработки визуальных данных. На данный момент существует большое количество методов очистки от шума, зависящих от типа шумового воздействия. В этой статье мы рассмотрим методы удаления импульсного шума, который также известен как шум «соль и перец».
На изображении, искажённом импульсным шумом, наблюдаются белые и чёрные точки, хаотически разбросанные по кадру. Одним из наиболее эффективных методов удаления импульсного шума является медианная фильтрация [1]. Медианная фильтрация визуальной информации обладает рядом достоинств, выгодно отличающих фильтры порядковой статистики от, например, линейных стационарных фильтров. Медианные фильтры обычно значительно меньше искажают изображения, чем усредняющие фильтры [2]. Также медианные фильтры малочувствительны к изменению параметров шумового воздействия [3]. Ещё одним достоинством фильтров, использующих вычисление медиан по некоторому множеству пиксе- лей, является низкая вычислительная сложность по сравнению с фильтрами, использующими дискретную свёртку, что может быть весьма полезно при обработке больших объёмов данных или в обработке визуальной информации в режиме реального времени. Недостатком стандартных медианных фильтров является размытие обрабатываемого изображения, что особенно заметно при использовании масок большого размера. Для уменьшения этого негативного эффекта были предложены медианные фильтры с весовыми коэффициентами [4] и адаптивная медианная фильтрация [5]. При адаптивной медианной фильтрации сначала устанавливается факт наличия импульсного искажения пикселя, после чего осуществляется его исправление.
Ранее нами был предложен итеративный метод адаптивной медианной фильтрации изображений, использующий маски на основе Евклидовой метрики L 2 и постобработку данных с использованием функции Лоренца [6]. В данной работе мы представим обобщение этого метода на трёхмерный случай и покажем его эффективность для обработки импульсного шума на видеоданных.
В отличие от очистки изображений от воздействия шумов, очистка видео исследована значительно меньше [7]. Многие методы обработки видеоданных по сути применяют алгоритмы обработки для каждо- го кадра в отдельности, рассматривая их как отдельные изображения и не учитывая динамической связи между кадрами [8, 9]. Такая связь обычно устанавливается при помощи детекторов движения с использованием, например, видеокодека H.265 [10]. Однако добавление таких алгоритмически сложных блоков существенно снижает производительность алгоритмов очистки от шума, что неприемлемо для приложений обработки видеоданных в реальном времени [11].
Появление импульсного шума на видео может быть вызвано различными факторами, наиболее распространёнными из которых являются: повреждение сенсоров видеокамеры, аппаратные отказы памяти цифровых устройств и кратковременные шумовые воздействия в среде передачи видеоданных [12]. В настоящее время известен ряд методов очистки видео от импульсного шума. В методе [13] предлагается заменять пиксель на значение из предыдущего кадра в случае детектирования искажения. В работе [7] предлагается вычислять медиану от значения исходного пикселя и максимума и минимума девяти различных комбинаций масок в окрестности 3×3 в трёх последовательных кадрах видео. Большим недостатком этого метода является отсутствие итераций и адаптивности, что не позволяет эффективно обрабатывать шумы высокой интенсивности и приводит к размытию видеоданных.
В данной работе мы предлагаем несколько итеративных методов очистки видео от импульсного шума, основанных на адаптивной медианной фильтрации. Варьируемым параметром в разработанном подходе является вид маски фильтра, а также наличие или отсутствие постобработки на основе функции Лоренца. Мы покажем результаты применения как известных методов, так и группы предложенных методов на полутоновых видео, искажённых импульсным шумом с интенсивностью от 1 % до 99% включительно.
Основное содержание статьи организовано следующим образом. Существующие методы адаптивной медианной фильтрации приведены в параграфе 1. В параграфе 2 мы излагаем предложенный подход. В параграфе 3 приведено сравнение результатов работы предложенных методов с известными подходами с обсуждением полученных данных.
1. Адаптивная медианная фильтрация видеоданных
Будем считать, что цифровые видео представляются набором пикселей со значениями интенсивности xi,j,k, у которых координаты (i, j) изменяются по некоторому подмножеству Z 2, где Z – множество целых чисел, а k – номер кадра в видео. Для простоты описания будем рассматривать полутоновые видео, у которых значения интенсивности закодированы 8-битными числами и изменяются от 0 (чёрный цвет) до 255 (белый цвет). Для обобщения изложенных далее моделей и методов на случай цветного видео необходимо просто рассмотреть каждый цветовой канал в отдельности и применить к нему соответствующий подход.
В настоящее время существует несколько моделей импульсного шума, которые изложены, например, в работе [14]. Различие между этими моделями имеет значение лишь при установлении факта наличия искажения в пикселе изображения. В данной статье мы не будем подробно касаться методов обнаружения импульсных искажений в общем случае, так как для этих целей разработаны эффективные алгоритмы, изложенные в [14, 15]. Вместо этого мы ограничимся рассмотрением наиболее простой модели, при которой под импульсным шумом понимается искажение сигнала импульсами, т. е. выбросами с очень большими положительными или отрицательными значениями и малой длительностью. При воздействии такого шума на 8-битное видео в оттенках серого каждый пиксель (независимо от остальных) с вероятностью p превращается в одно из двух фиксированных значений: 0 или 255. Если через xi,j,k обозначить значения интенсивности пикселей искажённого видео, то функция плотности распределения вероятностей импульсного шума f (x) задаётся выражением p0
f ( x ) = ”
1 - P 0 - P 255
p 255
при X i,j, k = 0;
при 0 < X i,j , k < 255;
при X i,j, k = 255,
где p 0 – вероятность искажения пикселя значением 0, а p 255 – вероятность искажения пикселя значением 255, причём p 0 + p 255 = p . Рассмотрение более сложных моделей импульсного шума, при которых искажённые пиксели могут принимать значения, отличные от 0 или 255, окажет влияние лишь на процесс детектирования факта наличия искажённого пикселя, но не на процесс его восстановления. В настоящее время разработаны весьма эффективные детекторы для таких более сложных случаев [14], которые могут быть предварительно применены перед процедурой восстановления видео.
Одним из наиболее простых методов удаления шума (1) является [13], выполняющий преобразование по формуле
‘ I x ij,k, если x i,j , k неискажён,
X i,j, k = i
[ x i,j,k - i , если Xi,j , k искажён,
где x i , j , k – пиксели зашумленного видео, x ' i , j , k – пиксели после фильтрации. Данный метод демонстрирует неплохие результаты на статичных видео с шумами небольшой интенсивности. Однако с увеличением плотности шума и интенсивности движения качество этого метода резко снижается.
Шумовое воздействие, описанное в формуле (1), не зависит от яркости пикселя, его соседей и местоположения на кадре. Поэтому для удаления такого шума целесообразно использовать нелинейные филь- тры, или фильтры порядковой статистики. Это связано с тем, что линейные фильтры распространяют свойства отсчёта сигнала на соседние участки в соответствии со своей передаточной функцией, что является крайне нежелательным при обработке шума (1). Для удаления импульсного шума обычно используются медианные фильтры, приблизительно сохраняющие среднюю яркость изображения. Например, стандартный медианный фильтр (СМФ) [16], обрабатывающий три последовательных кадра видео маской 3×3, описывается следующей формулой:
хи, k = median { x +w^w , k + w 3 : - 1 < w < 1,
- 1 < w 2 < 1, — 1 < w 3 < 1 } ,
где x i , j , k – пиксели зашумленного видео, x ' i , j , k – пиксели после фильтрации, w 1 , w 2 , w 3 – параметры, определяющие положение окна для медианной фильтрации. Для уменьшения искажений на краях движущихся объектов СМФ может применяться с компенсацией движения [7]. Известна модификация метода СМФ, основанная на многоступенчатой медианной фильтрации (MMF), при которой медиана вычисляется от массива значений, полученных при нелинейной фильтрации видео масками различной пространственной ориентации [17].
Особенностью СМФ и его модификаций является преобразование всех пикселей видео, что приводит к искажению картинки, особенно заметному при использовании масок большого размера. Для устранения этого недостатка были предложены методы адаптивной медианной фильтрации, общая структура которых представлена на рис. 1.

Рис. 1. Схема работы адаптивного медианного фильтра для обработки видеоданных
Отличительной особенностью методов адаптивной медианной фильтрации является наличие механизма, определяющего необходимость преобразования пикселя. Другими словами, если установлен факт, что пиксель xi,j,k не искажён, то он не изменяется при воздействии адаптивного фильтра, то есть x'i,j,k = xi,j,k. Если же факт искажения пикселя установлен, то применяется процедура его исправления, основанная на СМФ или его модификациях. Применение такого интеллектуального подхода позволяет значительно улучшить качество очистки видеоданных от шума ценой увеличения времени обработки. Далее мы опишем предлагаемый нами подход к адап- тивной медианной фильтрации видео, сочетающий в себе особенности учёта нескольких кадров видео и отличающийся сравнительно простой процедурой обработки.
2. Метод итеративной адаптивной медианной фильтрации видеоданных
Предложенный метод основан на итерационном выполнении адаптивной фильтрации с варьируемой маской фильтра и наличием или отсутствием постобработки полученных данных на основе функции Лоренца. Пусть {{ y i (,0 j ), k },{ y i (,1 j ), k },...,{ y i (, nj ), k )},...} – последовательность видеомассивов в оттенках серого, а {{ g i ( , 0 j ) , k },{ g i ( , 1 j ) , k },...,{ g i ( , n j ) , k },...} – последовательность карт искаженных пикселей, в которых значения g i ( , n j ) определяются в зависимости от наличия искажения в пикселе y i ( , n j ) , k следующим образом:
( " ) g ( , jk =
0,
1,
если y i ( , n j ) , k не искажён, если y i ( , n j ) , k искажён.
В последовательности видеомассивов в оттенках серого, { y i ( , 0 j ) , k } мы используем для обозначения пикселей в исходном зашумлённом видеомассиве и используем { y i ( , n j ) , k } для обозначения значения пикселя в позиции i после n -й итерации. В последовательности карт искажённых пикселей { g i,nj^ } значение g i,"^k = 0 означает, что пиксель с координатами ( i , j , k ) не искажен, а gi (, "j,k = 1 означает, что пиксель с координатами ( i , j , k ) искажён и его требуется подвергнуть фильтрации. При использовании модели импульсного шума (1) начальные значения g i ( , 0 j ) , k устанавливаются равными 1, если у *,”) k = 0 или ykj ) k = 255 , и устанавливаются равными 0, если j < у * ,1 * ) k < 255 .
На n -й итерации ( n = 1,2,...) для каждого g ( j - 1 = 0, соответствующего неискажённому пикселю y i (, ” - k *, нужно выполнить присваивание У (,"j ^ k = У / , ", -P . Для каждого gk ", -- 1) = 1, соответствующего искажённому пикселю y i , ” - k *, формируется массив значений пикселей M , зависящий от выбора маски фильтра. Мы предлагаем использовать две разновидности масок для удаления импульсного шума из видео.
Первый вид маски схематично показан на рис. 2 а и соответствует множеству пикселей
( " - 1 ) ( " - 1 ) ( " - 1 ) ( " - 1 ) ( " - 1 ) ( " - 1 )
y i , j , k - 1 , yi - 1, j , k , y i , j - 1, k , y i , j + 1, k , y i + 1, j , k , y i , j , k + 1 | .(5)
Использование маски (5) в адаптивном медианном фильтре далее по тексту будем обозначать символом « + ». Второй вид маски схематично показан на рис. 2 б и соответствует множеству пикселей
A o = {
(n-1) (n-1) (n-1) (n-1)
y i - 1,j - 1, k - 1 , y i - 1,j,k - 1 , y i - 1,j + 1, k - 1 , y i, j - 1, k - 1 , y i,j , k - 1 ,
(n-1) (n-1) (n-1) (n -1)( i, j+1, k-1, yi+1, j-1, k-1, yi+1, j, k-1, yi+1, j+1, k-1, yi+1, j, k
(n-1) (n-1) (n-1) (n-1) (n-1)( yi+1, j+1,k, yi, j+1,k, yi+1, j-1,k, yi-1, j-1,k, yi-1, j,k, yi-1, j-1,k+1,
(n-1) (n-1) (n-1) (n-1)( yi-1, j,k+1, yi-1, j+1,k+1, yi-1, j+1,k, yi, j-1,k, yi, j-1,k+1,
(n-1) (n-1) (n-1) (n-1) (n-1)
y i , j , k + 1 , y i , j + 1, k + 1 , y i + 1, j - 1, k + 1 , y i + 1, j , k + 1 , y i + 1, j + 1, k + 1J .
Использование маски (6) в адаптивном фильтре далее по тексту будем обозначать символом «□».

Рис. 2. Виды масок адаптивного медианного фильтра, использующиеся в предложенном методе

Если какие-то из элементов множества A принимают недопустимые значения (выходят за границы видеоданных), то для соответствующих координат в массив M не добавляется ничего. Для оставшихся элементов множества A проверяется значение g ( n –1) с соответствующей координатой в карте искаженных пикселей. Если оно равно 1, то в массив M не добавляется ничего, если оно равно 0, то в массив M добавляется элемент m t , равный значению пикселя с соответствующей координатой из видео y ( n –1) . Если в результате просмотра всех элементов множества A оказалось, что массив M остался пустым, то необходимо присвоить gi,nj,k = 1 (означающее, что пиксель с координатами ( i , j , k ) остался искажённым). Если в массиве M есть хотя бы один элемент, то необходимо присвоить gi , nj,k = 0 , а также найти его медиану median M . Если массив M состоит из нечётного числа элементов, то медиана median M равна элементу с номером ( ц + 1)/2 для упорядоченного по возрастанию (убыванию) массива M . Если массив M состоит из чётного числа элементов, то медиана median M равна среднему арифметическому элементов с номерами μ /2 и (μ /2)+ 1 для упорядоченного по возрастанию (убыванию) массива M .
Для восстановления искажённого пикселя видео y i ( , n j ) , k мы предлагаем использовать один из двух способов. Первый способ восстановления заключается в непосредственном присваивании этому пикселю значения медианы:
у *" \ = median M . i , j , k
Использование формулы (7) для восстановления искажённого пикселя видеомассива далее по тексту будем обозначать «AM». Второй способ восстановления основан на оценке искажённого пикселя с ис- пользованием распределения Лоренца. В этом случае для каждого пикселя mt нужно рассчитать величину dt = mt - median M . (8)
Для каждого d t находится значение функции Лоренца из [18] по формуле
2 d
2 g 2 + dt2
где g - уровень отклонения, зависящий от дисперсии изображения. Идея применения функции Лоренца для восстановления визуальной информации была предложена в [19]. Указанная работа рассматривает математические свойства целого класса функций, определяющих веса пикселей, удалённых от опорного значения, и делает вывод о том, что практическое применение именно функции Лоренца позволяет наиболее точно передавать границы и другие локальные особенности изображений. Исправленному значению пикселя y i ( , n j ) , k присваивается значение
( n )
y i , j , k
-- mt v ( dt ) t d t у У( d t ) ^^ d t
Использование формул (8)–(10) для восстановления искаженного пикселя видеомассива далее по тексту будем обозначать « AML ».
Процедура восстановления видео останавливается после N -й итерации, на которой не осталось искажённых пикселей, то есть
ZZ2 g i , NN,k = 0. (11)
ijk
Видеомассив y ( N ) считается восстановленным выходным видео.
Возможны четыре различные комбинации алгоритмических блоков предложенного метода.
1. Использование маски фильтра, изображённой на рис. 2а, в сочетании с восстановлением пикселя по формуле (7). Далее будем обозначать такой вариант предложенного метода как AM +.
2. Использование маски фильтра, изображённой на рис. 2а, в сочетании с восстановлением пикселя по формулам (8)–(10). Далее будем обозначать такой вариант предложенного метода как AML+.
3. Использование маски фильтра, изображённой на рис. 2б, в сочетании с восстановлением пикселя по формуле (7). Далее будем обозначать такой вариант предложенного метода как AM .
4. Использование маски фильтра, изображённой на рис. 2б, в сочетании с восстановлением пикселя по формулам (8)–(10). Далее будем обо-
- значать такой вариант предложенного метода как AML □. 3. Экспериментальное моделирование методов очистки видео от импульсного шума
Предложенный метод отличается алгоритмической простотой и универсальностью в использовании. Он не требует вычислительно затратных процедур детектирования движения, как в методах, использующих компенсацию движения. Использование маски фильтра, изображённой на рис. 2а, позволяет одновременно учесть данные из трёх последовательных кадров видео и в то же время снизить до минимума основную вычислительную нагрузку системы, которая тратится на сортировку массивов. Например, при использовании СМФ, описываемого формулой (2), необходимо сортировать массивы из 27 элементов, а при использовании вариантов AM + и AML+ предложенного метода необходимо сортировать не более 6 элементов, то есть в 4,5 раза меньше. Используемая в предложенном методе итеративность направлена на подавление шумов с высокой интенсивностью. В большинстве практических случаев обработки шумов с низкой интенсивностью 0< p < 0,25 достаточно одной итерации N = 1, что позволяет использовать предложенный метод в системах реального времени, критически зависящих от скорости обработки сигнала.
В следующем параграфе мы продемонстрируем результаты применения и выполним сравнительный анализ для вариаций предложенного метода при очистке от импульсного шума реальных видеоданных.
Для моделирования было использовано полутоновое видео [20], серия кадров которого приведена на рис. 3. Видео содержит 113 кадров, имеет кадровую частоту 24 кадра в секунду, разрешение 320×180 и формат “.avi”.


Рис. 3. Кадры из видео, использующегося в моделировании: 1-й кадр (a); 66-й кадр (б); 113-й кадр (в)

Видеоданные были искусственно искажены импульсным шумом (1) с вероятностями p = 0,01; 0,1; 0,25; 0,5; 0,75; 0,9; 0,99
при помощи команды “imnoise” программной среды MATLab. Полученные искажённые видео были обработаны при помощи известных методов из работ [16], [17], [13], [21], [8], а также с использованием предложенных методов AM +, AML +, AM □ и AML □ . Для оценки качества обработки методов очистки от импульсного шума мы использовали две метрики: среднеквадратичное отклонение (MSE) и индекс структурного сходства (SSIM) между оригинальным неза-шумлённым видео и видео, полученным после применения алгоритма очистки.
Величина MSE вычисляется по следующей формуле
ZZZ ( yu< - ■, )’
MSE ( У - x ) = ' j D.D 2 D ------, (12)
где D 1 , D 2 и D 3 – ширина, высота и количество кадров видео, и показывает среднеквадратическую ошибку восстановленного видеомассива y i , j , k в сравнении с исходным x i , j , k . Меньшее значение величины MSE означает лучшее качество восстановления данных и, следовательно, лучшее качество работы алгоритма очистки от шума.
Величина SSIM вычисляется по формуле
SSIM ( y , x ) = (2ц y И x + c 1 )(2 ° yx + c 2) , (13) 04 + Ц 2 + C 1 )(^ y + C 2 + c 2 )
где ц y - среднее y , ц x - среднее x , c y - дисперсия y , G 2 - дисперсия x , a yx - ковариация y и x , c 1 = ( . 1 L ) 2 , c 2 = ( k 2 L ) 2 – две переменные, L – динамический диапазон пикселей, равный 255 в рассматриваемых случаях, k 1 = 0,01 и k 2 = 0,03 – константы. Величина SSIM находится в пределах между 0 и 1 и равна 1 для тождественно равных изображений. Большее значение величины SSIM соответствует лучшему качеству алгоритма очистки от шума [22].
Результаты эксперимента представлены в табл. 1 и 2. На рис. 4–6 для наглядности качества обработки представлен 66-й кадр исходного, искажённых и восстановленных видео.
Из табл. 1 и 2 видно, что во всех рассматриваемых случаях хотя бы один из вариантов предложенного метода показывал лучший результат. В большинстве случаев это был AML+. При этом для импульсного шума с низкой вероятностью p = 0,01 более предпочтительным оказался подход AM +, не использующий постобработку медиан на основе функции Лоренца. Для шума с экстремально высокой эффективностью p = 0,99 более предпочтителен метод AML □, который использует маску большего размера по сравнению с AML+, что позволяет находить ближайший неискажённый пиксель за меньшее число итераций. Наиболее близкий по качеству результат из известных ме- тодов продемонстрировали методы [21] и [8]. Однако эти методы не используют данные из соседних кад- ров при восстановлении искажённого пикселя, что в конечном итоге привело к худшему результату.
Табл. 1. Значения MSE для различных методов очистки видеоданных от импульсного шума
Уровень шума |
Известные методы |
Предлагаемые методы |
|||||||
[16] |
[17] |
[13] |
[21] |
[8] |
AM + |
AML + |
AM □ |
AML □ |
|
0,01 |
240,3923 |
34,2257 |
9,7823 |
11,5859 |
11,6076 |
8,6995 |
8,6548 |
10,7568 |
10,7744 |
0,1 |
288,3087 |
900,1149 |
206,2129 |
43,3130 |
43,7978 |
14,2471 |
14,0543 |
34,2327 |
34,5776 |
0,25 |
511,8830 |
3719,8 |
1231,3 |
111,0965 |
113,0224 |
31,0155 |
30,7739 |
77,3724 |
78,3227 |
0,5 |
2524,3 |
9283,1 |
4909,7 |
280,4009 |
284,2070 |
103,4747 |
103,4365 |
173,1397 |
166,6520 |
0,75 |
8973,9 |
14564 |
11024 |
571,2743 |
574,0035 |
277,2168 |
276,1015 |
349,7904 |
309,4226 |
0,9 |
15049 |
17593 |
15869 |
1032,5 |
1034,6 |
537,2427 |
514,2421 |
579,0856 |
533,0729 |
0,99 |
19140 |
19390 |
19202 |
2662,1 |
2943,1 |
1344,1 |
1280,8 |
1378,6 |
1278,4 |
Табл. 2. Значения SSIM для различных методов очистки видеоданных от импульсного шума
Уровень шума |
Известные методы |
Предлагаемые методы |
|||||||
[16] |
[17] |
[13] |
[21] |
[8] |
AM + |
AML + |
AM □ |
AML □ |
|
0,01 |
0,8207 |
0,9717 |
0,9912 |
0,9923 |
0,9923 |
0,9938 |
0.9938 |
0,9927 |
0,9927 |
0,1 |
0,7975 |
0,5331 |
0,7876 |
0,9750 |
0,9747 |
0,9904 |
0,9905 |
0,9796 |
0,9794 |
0,25 |
0,6519 |
0,2331 |
0,4573 |
0,9381 |
0,9373 |
0,9809 |
0,9810 |
0,9546 |
0,9541 |
0,5 |
0,2376 |
0,0871 |
0,1879 |
0,8461 |
0,8446 |
0,9416 |
0,9415 |
0,8977 |
0,8988 |
0,75 |
0,0617 |
0,0325 |
0,0658 |
0,6978 |
0,6970 |
0,8505 |
0,8506 |
0,7997 |
0,8104 |
0,9 |
0,0202 |
0,0133 |
0,0240 |
0,5071 |
0,5069 |
0,7241 |
0,7300 |
0,6886 |
0,6988 |
0,99 |
0,0046 |
0,0041 |
0,0050 |
0,1598 |
0,1352 |
0,4353 |
0,4469 |
0,4178 |
0,4301 |


Рис. 4. а) 66-й кадр оригинального видео; б) 66-й кадр видео, искаженного импульсным шумом с интенсивностью p = 0,25; в) результат восстановления методом [16], MSE = 511,8830, SSIM = 0,6519; г) результат восстановления методом [17], MSE = 3719,8, SSIM = 0,2331; д) результат восстановления методом [13], MSE = 1231,3, SSIM = 0,4573; е) результат восстановления методом [21], MSE = 111,0965, SSIM = 0,9381; ж) результат восстановления методом [8] MSE = 113,0224, SSIM = 0,9373;з) результат восстановления методом AML+, MSE = 30,7739, SSIM = 0,9810
Предложенный метод может быть реализован с одним проходом (без итераций) для обработки в реальном времени ценой снижения качества обработки. В табл. 3 показаны результаты одного прохода фильтром AML+. Из этой таблицы видно, что результаты после одного прохода не сильно отличаются от итерационной обработки для шумов с вероятностью, не большей 0,25. Это наблюдение позволяет сделать вывод о применимости предложенного метода с одним проходом в системах реального времени, для устранения импульсного шума с низкой интенсивностью.
Обобщая полученные результаты, можно сделать вывод, что предложенный метод очистки видеоданных от импульсного шума демонстрирует лучшие результаты по сравнению с известными. Для большинства практических случаев лучше всего подойдет модификация AML +, однако при выборе варианта предложенного метода необходимо учитывать специфику решаемой практической задачи.
Табл. 3. Результаты обработки видео предложенным методом AML+ и методом AML+ с одним проходом
Уровень шума |
MSE |
SSIM |
||
AML+ |
AML+ с одним проходом |
AML+ |
AML+ с одним проходом |
|
0,01 |
8,6548 |
8,7218 |
0,9938 |
0,9938 |
0,1 |
14,0543 |
14,0683 |
0,9905 |
0,9905 |
0,25 |
30,7739 |
31,9841 |
0,9810 |
0,9792 |
0,5 |
103,4365 |
257,0268 |
0,9415 |
0,7758 |
0,75 |
276,1015 |
2845,4 |
0,8506 |
0,2624 |
0,9 |
514,2421 |
9572,3 |
0,7300 |
0,0722 |
0,99 |
1280,8 |
18299 |
0,4469 |
0,0084 |





Рис. 5. а) 66-й кадр оригинального видео; б) 66-й кадр видео, искаженного импульсным шумом с интенсивностью p = 0,9; в) результат восстановления методом [16], MSE = 15049, SSIM = 0,0202; г) результат восстановления методом [17] , MSE = 17593, SSIM = 0,0133; д) результат восстановления методом [13], MSE = 15869, SSIM = 0,0240; е) результат восстановления методом [21], MSE = 1032,5, SSIM = 0,5071; ж) результат восстановления методом [8] MSE = 1034,6 , SSIM = 0,5069 ;з) результат восстановления методом AML+, MSE = 514,2421, SSIM = 0,7300
Заключение
В работе предложен новый метод очистки видеоданных от импульсного шума, который позволяет улучшить качество обработки по сравнению с известными подходами. Численная оценка результатов моделирования на основе MSE и SSIM позволяет сделать вывод о том, что разработанные методы лучше справляются как с очисткой от шумов с низкой интенсивностью, так и с очисткой от экстремальных шумов с интенсивностью 90 ... 99%. Визуальное сопоставление результатов обработки позволяет сделать вывод о том, что предложенный метод не только хорошо справляется с восстановлением искажённых пикселей видео, но и позволяет сохранить детали видеоданных. Полученный результат позволяет решать проблему очистки от импульсного шума с более высокой эффективностью.
Интересным направлением дальнейших исследований является применение предложенных методов в практических приложениях цифровой обработки видео, например, для обработки визуальных данных в системах видеонаблюдения, идентификации и контроля промышленных процессов.
Работа выполнена при финансовой поддержке базовой части государственного задания (№2.6035.2017/БЧ), Российского фонда фундаментальных исследований (проекты №18-07-00109 А, №19-07-00130 А и №18-3720059 мол-а-вед), совета по грантам Президента Российской Федерации (проект СП-2245.2018.5).

б)
г)

е)
з)

Рис. 6. а) 66-й кадр оригинального видео; б) 66-й кадр видео, искаженного импульсным шумом с интенсивностью p = 0,99; в) результат восстановления методом [16], MSE = 19140, SSIM = 0,0046; г) результат восстановления методом [17] , MSE = 19390, SSIM = 0,0041; д) результат восстановления методом [13], MSE = 19202, SSIM = 0,0050; е) результат восстановления методом [21], MSE = 2662,1, SSIM = 0,1598; ж) результат восстановления методом [8] MSE = 2943,1, SSIM = 0,1352; з) результат восстановления методом AML□, MSE = 1278,4, SSIM = 0,4301
Список литературы 3D-обобщение метода очистки от импульсного шума для обработки видеоданных
- Bovik, A.C. Handbook of image and video processing / A.C. Bovik. - Orlando, FL: Academic Press, 2010. -1372 p. - ISBN: 978-0-12-119792-6
- Gonzalez, R.C. Digital image processing / R.C. Gonzalez, R.E. Woods. - 4th ed. - Upper Saddle River: Pearson Prentice Hall, 2018. - 1024 p. - ISBN: 978-0-13-335672-4
- Bovik, A.C. The essential guide to image processing / A.C. Bovik. - Orlando, FL: Academic Press, 2010.
- Chervyakov, N.I. Efficiency analysis of the image impulse noise cleaning using median filters with weighted central element / N.I. Chervyakov, P.A. Lyakhov, A.R. Orazaev, M.V. Valueva // 2017 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON). - 2017. - P. 141-146.
- Hwang, H. Adaptive median filters: new algorithms and results / H. Hwang, R.A. Haddad // IEEE Transactions on Image Processing. - 1995. - Vol. 4, Issue 4. - P. 499-502. - DOI: 10.1109/83.370679
- Червяков, Н.И. Два метода адаптивной медианной фильтрации импульсного шума на изображениях / Н.И. Червяков, П.А. Ляхов, А.Р. Оразаев // Компьютерная оптика. - 2018. - Т. 42, № 4. - С. 667-678.
- Bovik, A.C. The essential guide to video processing / A.C. Bovik. - San Diego, CA: Academic Press, 2009. - 755 p.
- Aiswarya, K. A new and efficient algorithm for the removal of high density salt and pepper noise in images and videos / K. Aiswarya, V. Jayaraj, D. Ebenezer // 2010 Second International Conference on Computer Modeling and Simulation. - 2010. - Vol. 4. - P. 409-413.
- Balasubramanian, S. An efficient non-linear cascade filtering algorithm for removal of high density salt and pepper noise in image and video sequence / S. Balasubramanian, D. Ebenezer // 2009 IEEE International Conference on Control, Automation, Communication and Energy Conservation. - 2009. - P. 1-6.
- Tang, M. Hadamard transform-based optimized HEVC video coding / M. Tang, X. Chen, J. Wen, Y. Han // IEEE Transactions on Circuits and Systems for Video Technology. - 2019. - Vol. 29, Issue 3. - P. 827-839.
- Vayalil, N. A residue number system hardware design of fast-search variable-motion-estimation accelerator for HEVC/H.265 / N.C. Vayalil, M. Paul, Y. Kong // IEEE Transactions on Circuits and Systems for Video Technology. - 2017. - Vol. 29, Issue 2. - P. 572-581.
- Chen, Y. Structure-adaptive fuzzy estimation for randomvalued impulse noise suppression / Y. Chen, Y. Zhang, H. Shu, J. Yang, L. Luo // IEEE Transactions on Circuits and Systems for Video Technology. - 2018. - Vol. 28, Issue 2. - P. 414-427 -
- DOI: 10.1109/TCSVT.2016.2615444
- Пат. 2382406 C1 Российская Федерация G 06 K 9/00. Способ улучшения карты диспарантности и устройство для реализации способа / Буча В.В., Игнатов А.К.; патентообладатель(и): Корпорация "Самсунг Электроникс Ко., Лтд". (KR); 2008140111/28, заявл. 10.10.2008; опубл. 20.02.2010, Бюл. № 5. - 22 с.
- Fabijanska, A. Noise adaptive switching median-based filter for impulse noise removal from extremely corrupted images / A. Fabijanska, D. Sankowski // IET Image Processing. - 2011. - Vol. 5, Issue 5. - P. 472-480. -
- DOI: 10.1049/iet-ipr.2009.0178
- Lu, C.-T. Removal of salt-and-pepper noise in corrupted image using three-values-weighted approach with variable-size-window / C.-T. Lu, Y.-Y. Chen, L.-L. Wang, C.-F. Chang // Pattern Recognition Letters. - 2016. - Vol. 80. - P. 188199. -
- DOI: 10.1016/j.patrec.2016.06.026
- Tukey, J.W. Exploratory data analysis / J.W. Tukey. -Reading, MA: Pearson, 1977. -
- ISBN: 978-0-201-07616-5
- Arce, G.R. Multistage order statistic filters for image sequence processing // IEEE Transactions on Signal Processing. - 1991. - Vol. 39, Issue 5. - P. 1146-1163.
- Vijaykumar, V.R. High density impulse noise removal using robust estimation based filter / V.R. Vijaykumar, P.T. Vanathi, P. Kanagasabapathy, D. Ebenezer // IAENG International Journal of Computer Science. - 2008. - Vol. 35, Issue 3. - P. 259-266.
- Black, M.J. On the unification of line processes, outlier rejection, and robust statistics with applications in early vision / M.J. Black, A. Rangarajan // International Journal of Computer Vision. - 1996. - Vol. 19, Issue 1. - P. 57-91. -
- DOI: 10.1007/BF00131148
- Bitbucket [Electronical Resource]. - URL: https://bitbucket.org/anzor_orazaev/testvideo/src/master/ (request date 30.05.2019).
- Wang, Z. Progressive switching median filter for the removal of impulse noise from highly corrupted images / Z. Wang, D. Zhang // IEEE Transactions on Circuits and Systems II: Analog and Digital Signal Processing. - 1999. - Vol. 46, Issue 1. - P. 78-80. -
- DOI: 10.1109/82.749102
- Wang, Z. Image quality assessment: From error visibility to structural similarity / Z. Wang, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli // IEEE Transactions on image processing. - 2004. - Vol. 13, Issue 4. - P. 600-612. -
- DOI: 10.1109/TIP.2003.819861