Перспективы применения методов восстановления подводных изображений для обеспечения морских геологоразведочных работ
Автор: Семерник И.В., Тарасенко А.А., Самонова К.В.
Журнал: Компьютерная оптика @computer-optics
Рубрика: Обработка изображений, распознавание образов
Статья в выпуске: 3 т.49, 2025 года.
Бесплатный доступ
В настоящей работе приведен обзор современных методов восстановления и улучшения качества подводных изображений, а также анализ преимуществ и недостатков методов применительно к результатам съемки, полученным в ходе морских глубоководных геологоразведочных работ. В связи с тем, что основными критериями выбора метода обработки является именно точность и достоверность восстановления подводных изображений, а не быстродействие и улучшение восприятия кадра, наиболее целесообразным является выбор методов, основанных на традиционном подходе и использовании априорной информации, полученной от аппаратных датчиков комплекса, об условиях съемки и взаимном положении камеры и объекта съемки.
Восстановление подводных изображений, улучшение подводных изображений, морские геологоразведочные работы, морские глубоководные комплексы, методы обработки подводных изображений
Короткий адрес: https://sciup.org/140310484
IDR: 140310484 | DOI: 10.18287/2412-6179-CO-1520
Текст научной статьи Перспективы применения методов восстановления подводных изображений для обеспечения морских геологоразведочных работ
Проведение морских геологоразведочных работ по исследованию месторождений железомарганцевых конкреций (ЖМК), кобальтмарганцевых корок (КМК) и глубоководных полиметаллических сульфидов (ГПС) в районах Мирового океана с глубиной до 6000 м осуществляется с помощью специализированного оборудования, осуществляющего гидроакустическую, фото- и видеосъемку морского дна. Все три вида полезных ископаемых (ЖМК, КМК и ГПС) являются комплексными рудными образованиями, содержащими стратегически важные металлы в кондиционных или очень высоких содержаниях (по наземным меркам) и крупных ресурсных объемах.
Резко различается геологическая обстановка нахождения трех указанных типов полезных ископаемых: ЖМК связаны с абиссальными равнинами с основной глубиной залегания 4000–6000 м, корки – с подводными горами (основная глубина залегания – от 800 до 2500 м), а полиметаллические сульфиды – со срединно-океаническими хребтами и зонами островных дуг (основная глубина залегания – 500–3500 м).
Результаты съемки морского дна представляют собой массив данных большого объема, который в дальнейшем обрабатывается вручную или автоматизированными системами для формирования сведений о ру-доносности исследуемого месторождения, плотности залегания и размерах конкреций для последующей оценки объемов полезных ископаемых, целесообразности разработки того или иного района морского дна и определения возможного метода их добычи.
При этом качество съемки оказывает определяющее влияние на эффективность анализа и достоверность выводов. Качество подводной фото- и видеосъемки, в свою очередь, определяется многими факторами, включая особенности освещения, расстояние до объекта съемки, мутность воды и пр., которые приводят к ухудшению контрастности, четкости, яркости фотографий, искажению цвета, появлению дымки. Зачастую получаемые фото- и видеоматериалы имеют характеристики, недостаточные для автоматизированного анализа, что приводит к необходимости ручной обработки, увеличивает длительность и стоимость аналитических работ, снижает их эффективность и достоверность. При этом проведение повторной съемки сопряжено со значительными затратами, так как требует использования специализированного геологоразведочного судна и оборудования.
В связи с вышеизложенным разработка методики восстановления подводных изображений с применением современных цифровых интеллектуальных технологий, обеспечивающей минимизацию искажений, вносимых водой и взвешенными в воде частицами, повышение контрастности изображения и восстановление реальных цветов объектов, и ее внедрение в практику геологоразведочных работ повысит их эффективность и достоверность, позволит получить бо- лее точные данные для дальнейшей разработки месторождений твердых полезных ископаемых в различных районах Мирового океана.
Кроме того, подобная методика, встроенная в интеллектуальную систему машинного зрения подводных аппаратов, позволит существенно расширить функциональные возможности автономных и телеуправляемых подводных аппаратов за счет обеспечения возможности автоматизации ряда выполняемых операций и повышения эффективности систем распознавания и пр.
1. Обзор существующих методов восстановления подводных изображений
Традиционно методики обработки подводных изображений [1] подразделяются на два основных класса: методы восстановления и методы улучшения качества подводных изображений [2].
Классификация методов восстановления и улучшения подводных изображений приведена на рис. 1.
Методы восстановления подводных изображений основаны на физических моделях распространения оптического излучения в воде. Указанные физические модели имеют большое количество входных параметров (коэффициенты поглощения, рассеяния, степень мутности воды и пр.). При этом для применения физических моделей указанные входные параметры должны быть известны (определены в процессе съемки) либо они могу быть оценены путем использования различных математических моделей. Методы восстановления изображения строят физическую модель, учитывающую механизмы физического ухудшения изображения и основные физические принципы распространения света в воде. Далее осуществляется определение основных параметров физической модели с использованием предварительных знаний, полученных от датчиков или иных аппаратных средств или рассчитанных с применением программных алгоритмов. После чего, наконец, осуществляется восстановление изображения. Следует отметить, что физические модели, заложенные в алгоритмы восстановления изображений, могу иметь различную точность, что оказывает непосредственное влияние на получаемые результаты.
2. Методы восстановления подводных изображений на основе аппаратных средств
Методы восстановления подводных изображений на основе аппаратных средств основываются на применении различного оборудования, которое может использоваться непосредственно для коррекции изображения либо для определения условий съемки и использования этих сведений для последующей обработки изображений. Среди подобных аппаратных средств следует отметить следующие: лазерные источники света, лазерные масштабирующие указатели, лазерные дальномеры, альтиметры, поляризаторы, стереоскопические камеры, специальные эталонные объекты (по размерам и цвету), располагаемые непосредственно возле объекта съемки, телеуправляемые подводные аппараты, буксируемые подводные аппараты и пр. [3].
Поляризационная обработка применяется для минимизации оптического излучения, рассеянного присутствующими в воде органическими и неорганическими частицами, посторонними объектами и пр. Реализация подобных методов осуществляется путем применения поляризованных источников света в совокупности с поляризационными фильтрами, установленными на объектив камеры [4].
Лазерные источники света также применяются для устранения рассеянного излучения путем использования синхронизированной камеры, затвор которой открывается и закрывается в заданные моменты времени, соответствующие дальности до объекта съемки [1].
Лазерные масштабирующие указатели позволяют определить расстояние до объекта съемки, а также взаимную ориентацию камеры и объекта. Указанная информация может применяться для ручной или автоматизированной обработки подводных изображений [5].
Применение стереоскопических камер и специальных эталонных объектов также позволяет получать информацию об удаленности до объекта съемки и взаимной ориентации камеры и объекта для последующей обработки изображения [1].
Такой подход имитирует зрительную систему человека. В процессе съемки используются обычные камеры, которые осуществляют съемку с различными углами зрения. При этом взаимное расположение камер известно. Достоинство данного метода состоит в том, что он позволяет получать информацию о дальности до каждого объекта, попавшего в кадр.
Недостатком данного метода можно назвать двукратное увеличение объема информации, подлежащей хранению и обработке.
Лазерные дальномеры [5] и альтиметры, используемые в составе оборудования на телеуправляемых и буксируемых подводных аппаратах, позволяют также получить ценную информацию о дальности до объекта съемки либо могут использоваться непосредственно для управления процессом съемки (запуска съемки при достижении установленного оператором отстояния подводного аппарата от дна или иных параметров). Их различие состоит в физических принципах, заложенных в их основу. Если дальномер излучает и принимает оптический сигнал, то альтиметр – акустический сигнал. При этом точность и эффективность данного оборудования не всегда однозначна и зависит от параметров морского дна, так как может иметь место слабое отражение оптического сигнала и, как следствие, нестабильная работа лазерного дальномера либо большое количество неплотных донных отложений может привести к неоднозначности показаний альтиметра.
Методы обработки подводных изображений
Методы улучшения подводных изображений
Методы восстановления подводных изображений
Методы на основе синтеза восстановления и улучшения подводных изображений
Методы обработки в пространственной области
Аппаратные методы
Ручная корректировка гистограммы изображения
-> Методы на основе поляризации
Методы на основе одиночной цветовой модели
Методы на основе стереоскопических изображений
Методы на основе нескольких цветовых моделей
Методы на основе съемки с селекцией по дальности
Методы обработки в частотной области
Программные методы
Методы на основе постоянства цвета
Методы на основе модели оптического формирования изображений
Методы корректировки контрастности изображения
Методы на основе априорной информации
Методы на основе глубокого обучения
Метод темнового канала
Метод подводного темнового канала
Метод максимальной интенсивности
Другие методы на основе априорной информации
Методы на основе глубокого обучения
Методы на основе сверточных нейронных сетей
Методы на основе генеративных нейронных сетей
Методы на основе синтеза аппаратных и программных средств
Рис. 1. Классификация методов восстановления и улучшения изображений
Телеуправляемые и буксируемые подводные аппараты являются носителями всего необходимого для проведения съемки оборудования, а также указанного выше оборудования, обеспечивающего оценку и определение дополнительной информации, применяемой в дальнейшем для обработки изображения [5]. Кроме того, технические средства подводных аппаратов позволяют вывести аппарат на необходимую дистанцию до объекта съемки, применение нескольких аппаратов может позволить разнести камеру и источник освещения, что обеспечивает существенное снижение фоновой засветки от рассеянного света.
Методы на основе съемки с селекцией по дальности [6, 7] основаны на применении камеры с быстрым затвором, блока управления и синхронизации, а также импульсного лазерного источника света. Взаимная синхронизация затвора камеры и импульсного источника света позволяет запечатлеть в кадре только свет, отраженный от объекта съемки, и исключить свет, отраженный или рассеянный посторонними объектами, расположенными на ином удалении от камеры. Затвор камеры при этом открывается только на короткий промежуток времени, соответствующий длительности импульса источника света.
3. Методы восстановления изображений на основе программных средств
Программные методы восстановления подводных изображений основаны на подходе, целью которого является формирование модели сцены и среды и определение входящих параметров данной модели программными способами на основе информации, содержащейся в изображении. При этом эффективность и результативность методов восстановления определяется главным образом заложенной в основу метода физической модели среды и распространения света под водой [1 –3].
В основе методов оптического формирования изображения заложена соответствующая модель, путем определения параметров которой возможно обратить процесс формирования сигнала вспять и получить естественные и четкие изображения объекта съемки.
Так, в работе [8] представлен метод восстановления подводных изображений, основанный на модели рассеяния света. Модель рассеяния и спектр мощности используются для определения исходных параметров фильтра, и параметры оптимизируются с учетом индекса оценки. При этом дополнительно учитываются условия освещенности объекта съемки (естественный или искусственный свет). Недостатком данного метода является итерационный подход, так как он предполагает пошаговое изменение параметра преобразования с оценкой и анализом получившегося результата.
Методы на основе априорной информации [9] опираются в процессе восстановления изображений на сведения, которые удается извлечь из самого изображения программным способом. Среди подобных методов следует отметить метод темнового канала (DCP), метод подводного темнового канала (UDCP), метод максимальной интенсивности (MIP), метод красного канала (RCP) и другие.
Метод темнового канала (DCP) [10, 11] позволяет в первую очередь устранить дымку на подводных изображениях и основан на наблюдении (допущении), что подводные изображения хорошего качества имеют некоторое количество пикселей с очень малой интенсивностью как минимум в канале одного цвета.
В силу того, что при распространении в воде красный свет претерпевает существенно большее ослабление по сравнению с синим и зеленым светом, при анализе подводных изображений красный канал будет всегда доминировать над синим и зеленым при определении темнового канала. Данный факт может приводить к неверной оценке параметров модели и, как следствие, некорректному восстановлению цветности. Для устранения указанного факта был предложен метод подводного темнового канала (UDCP) [12, 13], который при определении темнового канала учитывает только зеленый и красный каналы. Метод темнового канала и метод подводного темнового ка- нала демонстрируют очень близкие результаты с точки зрения количественных характеристик эффективности восстановления изображений, однако последний обладает большей устойчивостью в случаях высокой степени искажений цвета.
В работе [14] представлены результаты применения метода подводного темнового канала, демонстрирующие эффективность данного подхода при обработке изображений с различной степенью и видом искажений. Проведенный сравнительный анализ гистограмм подводных изображений и изображений естественных сцен демонстрирует низкую интенсивность красного канала из-за высокого затухания при распространении в воде.
Метод максимальной интенсивности (MIP) [15] предназначен в первую очередь для устранения дымки на изображениях, возникающей из-за рассеяния света, в основе которого заложена оценка разности между интенсивностью красного канала и максимумами интенсивностей синего и зеленого каналов изображения. Оценка разностей интенсивностей позволяет определить глубину сцены (дальность до объекта). Так как при оценке разностей интенсивностей каналов расчет осуществляется по массиву пикселей, попадающих в заранее определенную область (на переднем плане изображения), то ключевую важность принимает правильность выбора анализируемой области изображения.
Благодаря ускоренному темпу развития технологий, связанных с искусственным интеллектом, в последнее время все больше предлагается методов восстановления подводных изображений, основанных на технологиях глубокого обучения на основе заранее отобранного или синтезированного массива входных изображений. Подобные методы, несомненно, обладают большей степенью автоматизации после создания и обучения сети, но их точность и эффективность определяются алгоритмами, заложенными в основу сети, а также набором данных, используемых для тренировки (обучения) нейросети.
В работе [16] представлен метод восстановления подводных изображений на основе циклической генеративно-состязательной нейронной сети (CycleGAN). Особенностью предлагаемого метода является применение непарных изображений для тренировки сети в отличие от методов, основанных на применении свёрточных нейронных сетей.
Предпринимаются также попытки объединения преимуществ традиционных подходов восстановления подводных изображений и методов, основанных на глубоком обучении. Так, в [17] авторами предпринята попытка интеграции методов прямого и обратного дискретного вейвлет-преобразования в структуру CNN нейронной сети для лучшего извлечения параметров изображения для последующего восстановления изображения с использованием модели формирования изображения. При этом для восстановления цвета применяется традиционный подход, основанный на гипотезе серого мира, которая строится на предположении, что до внесения искажений в изображение все каналы имеют примерно одинаковую среднюю интенсивность.
4. Методы улучшения качества подводных изображений
В отличие от методов восстановления, методы улучшения качества подводных изображений [3] основываются на качественных критериях оценки и не имеют цели осуществить точное восстановление реального вида объекта съемки. Указанные методы могут быть направлены на улучшение цветности или контраста изображения. Методы улучшения качества изображений являются более простыми и быстродействующими по сравнению с методами восстановления за счет отсутствия необходимости использования сложных физических моделей.
Методы улучшения подводных изображений направлены на улучшение основных параметров изображения, таких как цветность, контрастность и наличие дымки, и не зависят от особенностей формирования подводных изображений и физических принципов распространения оптического излучения в воде [18].
В основу методов обработки в пространственной области заложено использование гистограмм интенсивности изображения, так как расширение динамического диапазона гистограммы позволяет улучшить видимость объектов съемки, повысить контрастность и детализацию подводного изображения.
Методы, основанные на одиночной цветовой модели [19], используют в качестве входных данных только само обрабатываемое изображение и не требуют каких-либо знаний об условиях проведения съемки и дальности до объекта. Копия обрабатываемого изображения подвергается цветокоррекции, адаптивному выравниванию гистограммы и настройке баланса белого для последующего взвешенного объединения с исходным изображением с целью повышения резкости и контрастности изображения.
Особенностью подобных методов является осуществление обработки изображения в единственном цветовом пространстве без осуществления конвертации.
Методы на основе нескольких цветовых моделей [20] наоборот основываются на преимуществах нескольких цветовых моделей, например CIELab, интегрированной цветовой модели (ICM). Представленные результаты демонстрируют повышение эффективности данных методов по сравнению с методами обработки на основе единственной модели.
Методы обработки в частотной области [21] основаны на применении различного рода фильтрации, вейвлет-преобразований и пр. для усиления высокочастотной составляющей (соответствующей краевым областям (границам объектов) на изображении) и ослабления низкочастотной составляющей (соответ- ствующей плоским мало изменяющимся областям изображения).
Методы, основанные на постоянстве цвета [22], предпринимают попытку приблизить способности машинного зрения к человеческому. Подобные методы осуществляют цветокоррекцию изображений и далее анализ освещенности и коэффициента отражения объекта съемки на базе Retinex с целью преодоления проблем, вызванных недостаточной освещенностью и искажением цвета.
В работе [22] с целью ускорения обработки изображения для определения карты передачи применен метод постоянства цвета одиночного изображения, заключающийся в следующих этапах: оценка фоновой освещенности, оценка освещенности, оценка карты передачи на основании постоянства цвета и цветовая коррекция. Данный подход позволил сократить время обработки изображения более чем в три раза по сравнению с MIP и более чем в четыре раза по сравнению с UDCP.
Методы, построенные на корректировке контрастности, основаны на нормализации гистограммы (алгоритм CLAHE и его вариации), которая осуществляет анализ локальной гистограммы участка обрабатываемого изображения, ограничивает максимальное значение пика интенсивности и перераспределяет обрезанные пиксели равномерно по всем уровням. Дополнительно применяется метод темнового канала для оценки областей размытия и их исправления [23, 24]. Алгоритм CLAHE подходит для улучшения локального контраста в каждой анализируемой области изображения и улучшения четкости краев объектов.
В работе [25] представлен оригинальный алгоритм восстановления подводных изображений, основанный на коррекции цвета и уменьшении дымки с применением метода темнового канала, локальном усилении контрастности изображения с применением CLAHE алгоритма и глобальном увеличении контраста путем растягивания гистограммы изображения. Качественные и количественные оценки предлагаемого метода демонстрируют его высокую эффективность. Недостатком данного метода является применение для оценки коэффициента передачи наиболее простой экспоненциальной модели затухания оптического излучения. Более точные модели, например модель Аккайнака–Дрейфитца [26], основываются на более сложном описании распространения света в воде в виде суммы двух экспоненциальных слагаемых, отражающих поведение прямого света и рассеянного, а также учитывающего коэффициенты, соответствующие параметрам водной среды. Модель Аккайнака– Дрейфитца можно назвать уточненной моделью формирования изображения (IFM).
Отдельно можно выделить методы, основанные на алгоритмах слияния [27, 28], заключающихся в формировании нескольких промежуточных изображений с различными настройками яркости, контрастности, цветности и пр. Основным вопросом при данном подходе является подбор весовых коэффициентов для взвешенного суммирования промежуточных изображений с целью получения итогового обработанного подводного изображения.
Методы на основе глубокого обучения [29, 30], несомненно, обладают большим количеством преимуществ, среди которых стоит отметить возможность комплексного улучшения изображений по нескольким параметрам, возможность настройки сети для получения улучшенных изображений с необходимыми оптическими и художественными эффектами. Эти методы широко используются для улучшения размытых изображений, обнаружения целей по заданной маске или описанию и сегментации изображений. При этом данные методы также не лишены недостатков, среди которых следует отметить их сложность, требовательность к вычислительным ресурсам, необходимость достаточно сложного обучения с применением предварительно подготовленной базы данных и пр.
В работе [31] предложен метод на основе обучаемой сети скрытой согласованности LCL-Net, который в отличие от традиционных подходов к улучшению подводных изображений, основанных на глубоком обучении, обнаруживает скрытую согласованность между заданными шаблонами и входным необработанным изображением, чтобы выбрать подходящий шаблон для передачи цвета. Данный подход не является физически точным, но позволяет существенно сократить время обработки изображений, достичь экономии ресурсов (памяти GPU) и обеспечить возможность обработки изображений высокого разрешения.
Предпринимаются также попытки объединения преимуществ, свойственных стандартным методам и подходам на основе глубокого обучения [32, 33]. Так, в [32] авторами реализован метод улучшения качества подводных изображений на основе слияния, состоящего из модуля восстановления цветового баланса на основе алгоритма цветового баланса в пространстве CIELab, устранения дымки и выравнивания яркости на основе алгоритма адаптивного выравнивания гистограммы, реализованный на базе сверточной нейронной сети, что позволило добиться высокой производительности в совокупности с эффективностью.
Обзор существующих методов восстановления и улучшения качества подводных изображений с описанием ключевых достоинств и недостатков приведен в табл. 1.
Наиболее точные результаты в части восстановления цветности, устранения дымки и прочих искажений дают методы, основанные на использовании точных сведений о дальности (RGBD), например, в [34] для определения дальности применяется специальная таблица известной формы, размеров и цвета, располагаемая возле объекта съемки. Также сведения о дальности до объекта могут быть получены путем использования стереокамер, лазерных дальномеров, альтиметров и иного аппаратного обеспечения.
Программные методы, основанные на использовании априорной информации [1 –3], позволяют оценить дальность до объектов съемки, основываясь на оптических свойствах среды в случае отсутствия достоверной информации. Достоинство данных методов заключается в том, что они позволяют получить сведения о дальности не только до основного объекта съемки, но также и до фоновых объектов в кадре.
Табл. 1. Обзор существующих методов восстановления и улучшения качества подводных изображений
|
Ссылка |
Год публикации |
Тип метода |
Метод: а) описание метода; б) особенности метода; в) достоинства метода; г) недостатки метода; д) вычислительная платформа |
|
1 |
2 |
3 |
4 |
|
Методы восстановления изображений |
|||
|
[8] |
2023 |
Метод на основе оптической модели формирования изображений |
|
|
[35] |
2022 |
Метод на основе оптической модели формирования изображений |
|
|
1 |
2 |
3 |
4 |
|
[36] |
2018 |
Метод на основе оптической модели формирования изображений |
|
|
[37] |
2023 |
Метод на основе оптической модели формирования изображений |
Длительное время обработки.
|
|
[38] |
2021 |
Метод на основе оптической модели формирования изображений |
Для уменьшения шума применяется дискретное вейвлет-преобразование. в) Эффективное повышение четкости и контрастности изображения, восстановление цвета даже для мутного изображения с сильным искажением цвета. г) Применение экспоненциальной модели затухания оптического излучения для определения коэффициента передачи. |
|
[39] |
2021 |
Метод на основе оптической модели формирования изображений |
|
|
[40] |
2022 |
Метод на основе оптической модели формирования изображений |
|
|
[41] |
2022 |
Метод на основе оптической модели формирования изображений с элементами методов на основе априорной информации, а также методов улучшения на основе постоянства цвета и обработки в пространственной области |
Проведен анализ изменений гистограмм для различных искажений изображений.
|
|
1 |
2 |
3 |
4 |
|
[42] |
2021 |
Метод на основе оптической модели формирования изображений с элементами методов на основе априорной информации |
Информация об ослаблении света определяется как изменение между значением высокой интенсивности зеленого и синего цветов, а значение интенсивности красного цвета на пиксель сильно коррелирует с разницей в глубине сцены.
Высокие качественные и количественные показатели эффективности восстановления изображений.
|
|
[34] |
2019 |
Метод на основе априорной информации с элементами методов на основе оптической модели формирования изображений и технологии RGBD |
Применение уточненной модели затухания оптического излучения для определения коэффициента передачи.
На основе данной информации оценивается дальность до объекта съемки и искажения цветов изображения. |
|
[43] |
2020 |
Метод на основе априорной информации с элементами методов на основе оптической модели формирования изображений и технологии RGBD |
В основу заложена уточненная модель формирования изображения.
На основе данной информации оценивается дальность до объекта съемки и искажения цветов изображения. |
|
[14] |
2016 |
Метод на основе априорной информации |
|
|
[44] |
2021 |
Метод на основе априорной информации |
|
|
[45] |
2021 |
Метод на основе априорной информации |
Отдельный канал алгоритма осуществляет определение фоновой освещенности на изображении, значение которой в дальнейшем применяется при восстановлении изображения.
|
|
1 |
2 |
3 |
4 |
|
логичными методами. На выходных изображениях наблюдается остаточный сдвиг цветов в сине-зеленую область спектра. Недостаточная контрастность обработанного изображения. |
|||
|
[46] |
2022 |
Метод на основе априорной информации |
Наличие остаточной дымки на обработанных изображениях в зависимости от особенностей входного изображения. Наличие сдвига цветов подводных объектов в красную область спектра для отдельных изображений. |
|
[25] |
2020 |
Метод на основе априорной информации с элементами методов улучшения на основе обработки в пространственной области и корректировки контрастности |
Обработка ведется в цветовом пространстве CIELab, а затем преобразовывается в RGB.
|
|
[47] |
2020 |
Метод на основе априорной информации с элементами методов на основе оптической модели формирования изображений |
Далее данные объединяются для получения более точной оценки параметров модели.
В составе уравнений метода присутствует масштабирующий коэффициент, значение которого не может быть рассчитано автоматически. Его определение может быть выполнено путем последовательного перебора значений и сравнения количественных показателей качества изображения, что потребует больших вычислительных затрат.
|
|
[48] |
2018 |
Метод на основе глубокого обучения с применением алгоритмов оптического формирования изображений |
|
|
[49] |
2022 |
Метод на основе глубокого обучения с применением алгоритмов оптического формирования изображений |
Обучение проводится с помощью сгенерированных парных изображений. |
|
1 |
2 |
3 |
4 |
|
[50] |
2021 |
Метод на основе глубокого обучения с применением алгоритмов оптического формирования изображений |
Относительно невысокая контрастность обработанного изображения. Наличие остаточных изображений дымки и смещения в сторону синезеленых цветов. |
|
[51] |
2023 |
Метод на основе глубокого обучения с применением алгоритмов оптического формирования изображений |
Для эффективной цветокоррекции и повышения качества подсеть дегенерации построена на теории дегенерации Jaffe-McGlamery. Нейронная сеть при этом используется для моделирования процесса дегенерации. Кроме того, при моделировании накладываются физические ограничения на глубину сцены и коэффициенты дегенерации для оценки обратного рассеяния, чтобы избежать некорректных результатов во время обучения гибридной физико-нейронной модели.
Более точная реконструкция сцены изображения для определения дальности до объектов съемки. Повышение контрастности изображения.
Сложность реализации метода.
|
|
[52] |
2023 |
Метод на основе глубокого обучения с применением алгоритмов оптического формирования изображений и методов на основе априорной информации |
Обучение проводится с помощью сгенерированных парных изображений. |
|
[53] |
2022 |
Метод на основе глубокого обучения с применением алгоритмов оптического формирования изображений и методов на основе априорной информации |
Повышенная по сравнению с аналогами четкость выходного изображения. г) Обучение проводится с помощью сгенерированных парных изображений. д) NVIDIA 3090 Ti GPU. |
|
1 |
2 |
3 |
4 |
|
[54] |
2023 |
Метод на основе глубокого обучения с применением алгоритмов оптического формирования изображений и методов на основе априорной информации |
Высокая четкость выходных изображений.
Для определения коэффициентов передачи применяется экспоненциальный закон затухания оптического сигнала в воде. Обучение проводится с помощью сгенерированных парных изображений. |
|
[55] |
2020 |
Метод на основе глубокого обучения |
г) Применение экспоненциальной модели затухания оптического излучения для определения коэффициента передачи. |
|
[56] |
2021 |
Метод на основе глубокого обучения |
Не устраняется полностью сдвиг изображения в область зеленых цветов для изображений с сильным искажением цвета.
|
|
[57] |
2020 |
Метод на основе глубокого обучения |
Не устраняется полностью сдвиг изображения в область зеленых цветов для изображений с сильным искажением цвета. |
|
Методы улучшения изображений |
|||
|
[58] |
2023 |
Метод на основе обработки в пространственной области |
|
|
[59] |
2023 |
Метод на основе обработки в пространственной области |
|
|
[60] |
2018 |
Метод на основе обработки в пространственной области |
|
|
1 |
2 |
3 |
4 |
|
[61] |
2017 |
Метод на основе в пространственной области |
|
|
[27] |
2020 |
Метод на основе обработки в пространственной области |
Для формирования набора недоэкспонированных изображений применяется гамма-коррекция исходного изображения. Для определения выходного изображения сравнивается несколько вариантов обработанного изображения с разными параметрами настройки. В качестве критерия сравнения используются численные показатели качества изображения.
|
|
[20] |
2020 |
Метод на основе обработки в пространственной области |
Для восстановления цвета применяется модель стандартного источника освещения D65.
Восстановление реалистичных цветов подводных объектов.
|
|
[62] |
2023 |
Метод на основе обработки в пространственной области |
Высокие количественные показатели эффективности метода.
|
|
[21] |
2022 |
Метод на основе обработки в пространственной и частотной обла стях |
|
|
1 |
2 |
3 |
4 |
|
[22] |
2022 |
Метод на основе теории постоянства цвета |
|
|
[63] |
2023 |
Метод на основе теории постоянства цвета |
Используется оценка рассеянного света в локальных областях, что позволяет улучшить восстановление деталей изображения. Высокие качественные и количественные показатели эффективности метода. г) Использование упрощенного алгоритма баланса белого в отдельных случаях может привести к получению неудовлетворительных результатов при сбое указанного внутреннего алгоритма. |
|
[64] |
2023 |
Метод на основе глубокого обучения |
Две сети отличаются главным образом тем, каким образом обновляются их веса. Сеть учителя может агрегировать ранее изученные весовые коэффициенты сразу после каждого этапа обучения. Весовой коэффициент сети ученика обновляется в соответствии с градиентным спуском.
Применение двух подсетей с различным алгоритмом изменения параметров и выбором наиболее оптимального результата.
|
|
[16] |
2022 |
Метод на основе глубокого обучения |
|
|
[31] |
2022 |
Метод на основе глубокого обучения |
|
|
[65] |
2023 |
Метод на основе глубокого обучения |
|
|
1 2 3 |
4 |
|
[66] 2023 Метод на основе глубокого обучения |
|
|
[67] 2023 Метод на основе глубокого обучения |
|
|
[68] 2023 Метод на основе глубокого обучения |
|
|
[69] 2015 Метод на основе глубокого обучения |
Для определения коэффициентов передачи применяется экспоненциальный закон затухания оптического сигнала в воде. Обучение проводится с помощью сгенерированных парных изображений.
|
|
[70] 2022 Метод на основе глубокого обучения |
|
|
[71] 2023 Метод на основе глубокого обучения |
Повышенная по сравнению с аналогами четкость выходного изображения. Высокие качественные и количественные показатели эффективности метода.
|
|
1 2 3 |
4 |
|
[72] 2023 Метод на основе глубокого обучения |
Метод не обладает временной согласованностью видеопоследовательностей, что ограничивает его применимость к обработке изображений.
|
|
[73] 2022 Метод на основе глубокого обучения |
Объединяет преимущества нескольких подходов.
Для определения коэффициентов передачи применяется экспоненциальный закон затухания оптического сигнала в воде. Обучение проводится с помощью сгенерированных парных изображений. Относительно длительное время обработки изображений.
|
|
[74] 2020 Метод на основе глубокого обучения |
Полученные промежуточные изображения анализируются, формулируются наиболее важные особенности входных данных, которые в дальнейшем определяют параметры слияния промежуточных изображений в итоговый результат.
|
|
[75] 2020 Метод на основе глубокого обучения |
При этом обучение проводится на основе функции оценки и набора параметров численного анализа качества изображения.
Для изображений, имеющих в кадре объекты на существенно различных дистанциях, качество улучшения различно. Для обработки изображений большего чем 256×256 пикселей разрешения, необходимо расширение сети.
|
|
1 2 3 |
4 |
|
[76] 2023 Метод на основе глубокого обучения |
Первая часть сети направлена на улучшение реализма входного изображения путем снижения различий в цветовом пространстве CIElab между входным изображением и синтетическим набором данных, введенных при обучении. Вторая осуществляет процедуру улучшения качества на основе данных, полученных при обучении.
Повышение субъективного восприятия изображения благодаря подсети повышения реалистичности.
Обучение проводится с помощью сгенерированных парных изображений.
|
|
[77] 2024 Метод на основе глубокого обучения |
Первый генератор осуществляет моделирование возможного улучшения качества входного изображения, используя CNN модель на основе U-Net и данных, полученных при обучении. Второй генератор осуществляет оценку коэффициентов рассеяния и прохождения. Данные от первого и второго генератора далее используются для восстановления изображения.
Применение при обучении базы данных парных изображений, основанных не на сгенерированных изображениях, а на реальных подводных изображениях и их дубликатах на воздухе.
Для входных изображений с существенным сдвигом в синюю область спектра наблюдаются искажения цветности выходного изображения сети. Неполное устранение дымки и недостаточная контрастность выходных изображений относительно аналогичных методов. |
|
[78] 2023 Метод на основе глубокого обучения |
Недостаточная контрастность обработанных изображений при восстановлении изображений с повышенной мутностью.
|
|
1 2 3 |
4 |
|
[79] 2024 Метод на основе глубокого обучения |
Введена функция оптимизации для достижения баланса между вычислительными затратами и качеством восстановления изображения. Применение нескольких подсетей для анализа эффективности подходов к восстановлению изображения с различных сторон с последующим слиянием результатов.
Недостаточное улучшение контрастности изображения для случая обработки изображений с сильным искажением цвета и повышенной мутностью в сравнении с аналогичными методами.
|
|
[80] 2023 Метод на основе глубокого обучения |
Результирующее изображение получается путем осуществления свертки изображений, полученных от различных потоков.
|
|
[81] 2023 Метод на основе глубокого обучения |
Высокие качественные и количественные показатели восстановления.
|
|
[82] 2023 Метод на основе глубокого обучения |
Значительное повышение детализации подводных восстановленных изображений даже для изображений с сильной дымкой. Для тестирования модуля восстановления цвета применен набор изображений, полученных без использования синтетических техник.
|
|
1 |
2 |
3 |
4 |
|
[83] |
2024 |
Метод на основе глубокого обучения |
Первый модуль обеспечивает извлечение параметров изображения из входного изображения. Второй модуль оценивает карту прохождения и фоновую освещенность для дальнейшего улучшения изображения путем применения упрощенной функции формирования изображения.
Применение упрощенной функции формирования изображения обеспечивает частичный учет физических параметров модели для повышения точности. г) Обучение и проверка проводятся с помощью сгенерированных изображений. Структура рассчитана на обработку изображений с разрешением 256×256 пикселей. Для обработки изображений с большим разрешением требуется существенная перестройка структуры сети и задействование значительных вычислительных ресурсов.
|
|
[84] |
2023 |
Метод на основе глубокого обучения с элементами методов обработки в частотной и пространственной областях |
|
|
[85] |
2022 |
Метод на основе глубокого обучения с элементами методов обработки в пространственной области |
Алгоритм подготовки парного изображения встроен непосредственно в сам метод обработки изображений.
Обучение проводится с помощью сгенерированных парных изображений (парное изображение формируется непосредственно самой сетью).
|
|
[86] |
2022 |
Метод на основе глубокого обучения с элементами методов обработки в пространственной области |
|
|
[32] |
2022 |
Метод на основе глубокого обучения с элементами методов обработки в пространственной области |
|
|
1 |
2 |
3 |
4 |
|
Улучшение детализации изображения.
|
|||
|
[87] |
2022 |
Метод на основе глубокого обучения с применением алгоритмов обработки в пространственной области |
Модуль улучшения контрастности основан на адаптивной обработке гистограммы. Модуль улучшения четкости построен на основе сверточной нейронной сети. Модуль цветового баланса построен на основе генеративной состязательной нейронной сети.
|
|
[88] |
2024 |
Метод на основе глубокого обучения с применением алгоритмов обработки в пространственной и частотной областях |
Результаты обработки изображений в каждом из каналов далее объединяются для получения выходного изображения.
Применение весовых коэффициентов для объединения результатов обработки изображения в каждом из параллельных каналов обеспечивает гибкость настройки метода.
Оценка карты передачи не является точной для различных сценариев и особенностей входных изображений. Недостаточная контрастность обработанных изображений.
|
|
Комбинированные методы |
|||
|
[61] |
2022 |
Метод основан на алгоритмах восстановления изображений с применением оптической модели формирования изображений и априорной информации, а также алгоритмах улучшения изображений с применением подходов на базе теории постоянства цвета и обработки в пространственной области |
Высокая контрастность и яркость цветов выходного изображения. Улучшение детализации изображения. Повышение вероятности определения контуров объектов стандартными методами распознавания и анализа изображений.
|
|
1 |
2 |
3 |
4 |
|
[90] |
2019 |
Метод основан на алгоритме восстановления изображений с применением априорной информации и алгоритме улучшения изображений, базирующемся на теории постоянства цвета |
|
|
[91] |
2024 |
Метод основан на технологии глубокого обучения с применением алгоритма восстановления изображения на основе априорной информации, а также алгоритма улучшения изображений, базирующегося на теории постоянства цвета |
Недостаточная контрастность и четкость выходного изображения по сравнению с аналогичными методами. Наличие дымки.
|
Комбинация указанных аппаратных и программных методов позволит получить достоверные сведения о дальности до основного объекта съемки и оценку расстояния до фоновых объектов в кадре.
Точность и достоверность подобных методов основана на применяемой модели формирования изображения и заложенного в ее основу закона распространения оптического излучения в водной среде. Наиболее распространенным подходом является применение экспоненциального закона затухания оптического сигнала при распространении в водной среде (закон Бера–Ламберта) [1, 2, 26, 29].
Применение закона Бера–Ламберта является наиболее простым методом моделирования распространения света в водной среде [92], но наименее точным методом, так как в этом случае невозможно учесть явления многолучевого распространения, многократного рассеяния, дисперсии оптического сигнала и прочих физических особенностей распространения оптического излучения в воде.
Среди более точных методов моделирования распространения оптического излучения в воде следует отметить метод численного решения уравнения переноса излучения с применением метода Монте–Карло [93, 94]. Метод Монте–Карло является вероятност- ным методом, основанным на трассировке распространения фотонов. Преимуществами данного метода является простота программной реализации, высокая точность решения и большая гибкость настройки исходных данных. Недостатком метода Монте–Карло можно назвать наличие случайных статистических ошибок и большие вычислительные затраты [94]. Метод Монте–Карло подтвердил свою надежность и точность в различных теоретических исследованиях различных авторов, а также при сравнении результатов моделирования с полученными экспериментальными данными [94].
Предпринимаются попытки повышения точности определения коэффициентов затухания за счет использования более точных моделей вместо экспоненциального закона [34], однако в связи с относительной сложностью реализации подобные подходы не нашли широкого распространения, несмотря на более высокую точность восстановления подводных изображений. При этом данный подход может быть применим как к статичным изображениям, полученным в результате фотосъемки, так и к видео путем покадровой обработки [95]. Теоретически доступна также обработка видео в режиме реального времени при достижении необходимого быстродействия метода и применения высокопроизводительного аппаратного обеспечения.
Предпринимаются также попытки объединить преимущества различных методов обработки подводных изображений. В [89] авторы предлагают алгоритм, объединяющий как методы восстановления (DCP и IFM), так и методы улучшения (метод на основе Retinex и растягивание гистограммы) подводных изображений. Такой подход позволяет достичь высоких результатов как с субъективной, так и с объективной (количественные методы анализа результатов обработки изображений) стороны. Недостатком подобного подхода можно считать сложность реализации и настройки метода, в том числе в части определения весовых коэффициентов при объединении результатов обработки изображений с помощью различных подходов, а также реалистичные, но не точные цвета подводных объектов на восстановленном изображении.
Методы, основанные на применении нейронных сетей и глубокого обучения, обладают неоспоримыми преимуществами, среди которых следует отметить простоту их применения после завершения процедуры обучения, относительно высокое быстродействие и возможность повышения качества подводного изображения и улучшения субъективного восприятия объекта съемки [96, 97].
На рис. 2 приведены результаты анализа скорости обработки подводных изображений в совокупности с данными о размере обрабатываемых изображений, что позволяет оценить производительность и текущие функциональные возможности методов в части возможности их применения в режиме реального времени, а также их использования для обработки изображений высокого разрешения. Сведения взяты из источников, указанных в списке литературы к настоящей статье. Для наиболее производительных методов приведены ссылки на источники данных.
Из рис. 2 видно, что методы, основанные на применении нейронных сетей и глубоком обучении, демонстрируют в целом более высокую производительность по сравнению с традиционными методами обработки изображений. Однако существенная часть методов с применением нейронных сетей ограничена в части возможности обработки только изображений небольшого разрешения (256×256 пикселей) [98, 99]. При этом модернизация сети для обработки изображений большего размера требует применения существенных временных и вычислительных ресурсов [75].
Длительность обработки, сек
Рис. 2. Сопоставление производительности методов восстановления (красными «•» обозначены результаты для методов на основе модели оптического формирования изображений, красными «и» - для методов на основе априорной информации, красными « ★ » - для методов на основе глубокого обучения) и улучшения (синими « ▲ » обозначены результаты для методов на основе обработки в пространственной области, синими «▼ » - для методов на основе обработки в частотной области, синими «♦» - для методов на основе постоянства цвета, синими « * » - для методов на основе глубокого обучения, синими « * » - для методов на основе корректировки контрастности, зелеными «*» - для комбинированных методов) подводных изображений
Г621Г71Т741 1741
Основным существенным недостатком нейронных сетей, кроме сложности процедур их реализации и обучения, является проведение их обучения на парных наборах изображений, включающих изображение высокого качества и его синтезированную копию, подвергнутую тем или иным алгоритмам ухудшения качества (добавление дымки, сдвиг цвета в зеленую или синюю область спектра и пр.). При этом зачастую методы, основанные на обучении нейронной сети с использованием подобных наборов изображений, демонстрируют гораздо худшие результаты при обработке реальных подводных изображений. Так, в работах [55, 100] продемонстрирована важность использования реалистичных наборов подводных изображения для тренировки нейронной сети.
Результативность методов восстановления и улучшения подводных изображений сильно отличается в случае их применения для обработки не синтезированных, а реальных изображений [101]. При этом в работе [102] показано, что, несмотря на субъективное улучшение качества и восприятия обработанного изображения, методы улучшения качества подводных изображений могут снижать эффективность обнаружения объектов, особенно в сложных случаях, вследствие увеличения помех, искажения цветности изображения или возникновения цветовых артефактов на обработанном изображении, размытия краев изображения и контуров объектов, чрезмерного повышения контрастности и прочих факторов.
Вопрос влияния алгоритмов восстановления и улучшения изображений на эффективность алгоритмов распознавания образов активно исследуется учеными [103, 104, 105, 106, 107]. Предпринимаются попытки интегрирования методов, основанных на глубоком обучении в алгоритмы распознавания подводных объектов [108, 109]. Так, в [38] на примере 75 тестовых изображений показано, что применение предложенного авторами метода восстановления подводных изображений, основанного на модели формирования изображения и дискретном вейвлет-преобразовании для уменьшения шума, существенно улучшает детализацию и повышает количество определяемых стандартными алгоритмами распознавания контуров объектов. Результаты подтверждены количественными и качественными оценками.
-
5. Применение методов восстановления и улучшения качества подводных изображений для решения задач в рамках морских геологоразведочных работ
Из анализа описанных выше методов обработки видно, что в настоящее время разработано большое количество различных подходов к решению проблемы восстановления или улучшения подводных изображений. Данные методы могут быть использованы в том числе и для обработки изображений, полученных в ходе морских геологоразведочных работ. С целью определения целесообразности (в том числе в части их эффективности и баланса между требованиями к вычислительным ресурсам и длительностью обработки) применения тех или иных методов обработки изображений необходимо оценить оснащенность оборудования, используемого для осуществления подводной съемки, описать особенности выполнения глубоководной съемки, а также оценить основные искажения, свойственные глубоководным снимкам. Это позволит сформировать основные требования, предъявляемые к методам обработки изображений, полученных в ходе морских геологоразведочных работ.
В связи с тем, что глубина залегания КМК, ЖКМ и ГПС находится в диапазоне от 500 до 6000 метров, выполнение морских геологоразведочных работ возможно только путем применения специализированных морских глубоководных комплексов, осуществляющих акустическую, фото- и видеосъемку морского дна. В связи с необходимостью обследования очень больших площадей морского дна наиболее целесообразным, высокопроизводительным и энергоэффективным методом является применение буксируемых глубоководных аппаратов.
В процессе морских геологоразведочных работ применяются не только методы, связанные с проведением фото- и видеосъемки, но также проводится взятие проб породы и грунта, проб воды, исследование и анализ биоразнообразия, анализ параметров грунта и пр. В связи с тем, что взятие проб является весьма трудоемкой и ресурсоемкой процедурой, оно проводится только в отдельно взятых точках обследуемой площади, в то время как фото- и видеосъемка проводится на всем протяжении работ.
При этом видеосъемка осуществляется преимущественно для оперативного контроля за движением подводного аппарата и оценки биоразнообразия исследуемой области Мирового океана. В то время как фотосъемка применяется именно для определения рудоносности исследуемого месторождения, плотности залегания и размеров конкреций для последующей оценки объемов полезных ископаемых, целесообразности разработки того или иного района морского дна и определения возможного метода их добычи. При этом фотосъемка осуществляется не непрерывно, а с интервалов порядка 10-15 секунд между кадрами. Это вызвано как особенностями применяемого оборудования (так как перезарядка импульсных источников света занимает определенное время), так и компромиссом между обеспечением достаточного количества кадров на заданной площади анализируемого участка морского дна и объемом базы данных и отчетных материалов, формируемых по результатам выполнения работ.
С целью обеспечения морских глубоководных геологоразведочных работ АО «ЮЖМОРГЕОЛОГИЯ» разработан и изготовлен буксируемый фототелевизионный комплекс «Нептун-Ц-О», оснащенный современ- ным оборудованием для проведения съемки морского дна в районах Мирового океана до 6000 м. Внешний вид комплекса «Нептун-Ц-О» показан на рис. 3.
Примеры подводных изображений, полученных в процессе морских геологоразведочных работ в зоне Кларион-Клиппертон Тихого океана, приведены на рис. 4.
Рис. 3. Внешний вид буксируемого модуля комплекса «Нептун-Ц-О»
Рис. 4. Подводные изображения, полученные в ходе морских глубоководных геологоразведочных работ в зоне Кларион-
Клиппертон Тихого океана
В 2023 году успешно проведена модернизация комплекса, в результате которой осуществлено его оснащение как современным оборудованием для осуществления фото- и видеосъемки высокого разрешения, так и вспомогательным оборудованием, обеспечивающим оценку взаимного положения камеры и объекта съемки:
-
- гидроакустическим альтиметром для оценки отстояния буксируемого модуля комплекса от дна;
-
- высокоточным датчиком давления, позволяющим определять глубину погружения буксируемого модуля;
-
- а также лазерным масштабирующим устройством, обеспечивающим точную привязку геометрических размеров объекта вне зависимости от расстояния до него.
Особенности осуществления глубоководной съемки с целью осуществления морских геологоразведочных работ можно сформулировать следующим образом:
-
1) в момент съемки объект должен находиться под буксируемым модулем комплекса, так как фото- и видеокамеры, а также приборы заливающего и импульсного света направлены вниз;
-
2) в процессе буксировки в силу неоднородности рельефа и наличия качки на поверхности моря отстояние буксируемого модуля до дна (расстояние до объекта съемки) может изменяться. С целью получения качественных результатов съемки, а также обработки полученных кадров и проведения геологического анализа, оценки рудоносности и пр. расстояние до объекта в момент съемки должно быть примерно одинаковым для всех кадров. В связи с этим в процессе буксировки в автоматическом режиме постоянно отслеживается отстояние буксируемого модуля до дна (объекта съемки) и после получения команды и достижения нужного отстояния происходит съемка;
-
3) при проведении морских геологоразведочных работ информация с датчиков о взаимном положении камеры и объекта съемки доступна априори и сохраняется вместе с полученным кадром. При этом не требуется выделение информации о дальности до объекта съемки из самого изображения программными способами.
Из рис. 4 видно, что изображениям, полученным в ходе морских геологоразведочных работ, свойственны следующие искажения:
-
- изменение цветности;
-
- смещение цветов в сине-зеленую область спектра;
-
- низкая контрастность изображения;
-
- неоднородная освещенность кадра;
-
- дымка;
-
- наличие взвешенных частиц донных осадков в воде и пр.
На основе результатов многолетней фото- и видеосъемки сформирована база данных реальных подводных изображений морского дна глубоководной части Мирового океана, включая зону Кларион-Клиппертон. База данных включает более 5000 изображений и видео высокого разрешения с различными условиями освещенности, мутности воды и расстояниями до объектов.
Формирование подобных баз данных также является весьма важной прикладной задачей [110, 111], так как применение реальных подводных изображений позволяет осуществлять более точное обучение методов, основанных на технологии глубокого обучения, а также проверку и совершенствование всех методов обработки подводных изображений.
На основании вышеизложенного основные требования, предъявляемые к методам обработки подводных изображений, полученных в ходе морских геологоразведочных работ, могут быть сформулированы следующим образом:
-
- восстановление естественных цветов подводных объектов;
-
- обеспечение высокой контрастности;
-
- устранение дымки на изображении;
-
- отсутствие артефактов на изображении, вызванных некорректным функционированием алгоритма обработки;
-
- длительность обработки не является определяющим фактором;
-
- обработка выполняется преимущественно на этапе камеральных работ (постобработки) без необходимости реализации методов на базе мобильных или встраиваемых вычислительных систем;
-
- информация о дальности до объекта съемки доступна априори в связи с обязательным наличием аппаратных датчиков на подводном аппарате;
-
- в качестве входных данных выступают результаты фотосъемки (изображения), а не непрерывный поток видеоинформации.
На основании вышеизложенного можно сделать вывод, что для обработки подводных изображений, полученных в результате морских глубоководных геологоразведочных работ, наиболее целесообразным является выбор методов обработки, основанных на использовании априорной информации об условиях съемки, собранных с аппаратных датчиков. Такой подход в совокупности с использованием уточненной модели распространения оптического излучения в воде позволит обеспечить наиболее точное восстановление подводных изображений.
Расширение функциональных возможностей подводных аппаратов в части машинного зрения также является важной технической задачей, однако не все предлагаемые подходы применимы к геологоразведочным комплексам.
С целью расширения функциональных возможностей подводных аппаратов предпринимаются попытки объединения информации, получаемой от разных источников. Так, в [112] авторами предложена методика, объединяющая информацию от двух видеокамер и многолучевого эхолота. При этом многолучевой эхолот предоставляет данные о дальности до каждой точки объекта съемки, а интегрированный алгоритм восстановления обеспечивает улучшение видео с камер для последующего наложения видеоинформации и кадра развертки многолучевого эхолота для удобного восприятия оператором. Подобная система очень удобна для оперативного контроля за проводимыми работами, а также при осуществлении обзорно-поисковых работ с применением телеуправляемых подводных аппаратов, однако избыточна в плане оснащения геологоразведочных комплексов.
В [113] предпринята попытка интеграции метода улучшения подводных изображений и видео в программную оболочку подводного осмотрового аппарата. Метод основан на технологии глубокого обучения и успешно внедрен в программное обеспечение для улучшения потокового видео, поступающего от камеры аппарата. Авторам удалось добиться быстродействия метода, достаточного для обработки видео в режиме квазиреального времени в части улучшения цветов подводных объектов, но при этом низкие контрастность и детализация, а также дымка на изображении не устранены. Таким образом, подобный подход может быть применен для улучшения восприятия подводной обстановки в процессе съемки, но не в качестве основного метода для обеспечения дальнейшей автоматизированной обработки материалов геологоразведочных работ.
В целом методы восстановления подводных изображений и обработки видео в совокупности с алгоритмами распознавания образов могут существенно расширить функциональные возможности подводных аппаратов, в первую очередь автономных, как в части решения задач геологоразведочных работ, так и для обеспечения выполнения иных задач [114 – 116].
В работе [117] авторам также удалось достичь быстродействия метода обработки подводных изображений, достаточного для функционирования в режиме реального времени и использовать его для обработки данных, снимаемых автономным осмотро-вым необитаемым подводным аппаратом, но в отдельных случаях наблюдается чрезмерное усиление цветности вплоть до появления артефактов.
Применение отдельных методов улучшения качества и восстановления подводных изображений может приводить к появлению ореолов вокруг областей со значительным градиентом интенсивности [118], которые при дальнейшей обработке и автоматизированном распознавании могут восприниматься как часть объекта и стать следствием неверной оценки его размеров, что в контексте решения задач морских геологоразведочных работ, в первую очередь заключающихся в оценке запасов твердых полезных ископаемых, является недопустимым.
При этом выбор метода исключительно на основании показателей [119] количественной оценки результатов восстановления является некорректным и ненадежным, что также отмечается авторами в [120, 121]. Данный факт относится в первую очередь к методам улучшения качества подводных изображений, так как в их основу не заложены принципы и ограничения физических моделей, свойственные методам восстановления подводных изображений.
Таким образом, основное преимущество методов, основанных на глубоком обучении, в данном случае относительно неважно и на первый план выходит именно качество и достоверность восстановления подводных изображений.
Заключение
Таким образом, в настоящей работе приведены обзор и классификация современных методов восстановления и улучшения качества подводных изображений, а также анализ преимуществ и недостатков методов применительно к результатам съемки, полученным в ходе морских глубоководных геологоразведочных работ.
В связи с тем, что основными критериями выбора метода обработки является именно точность и достоверность восстановления подводных изображений, а не быстродействие и улучшение восприятия кадра, наиболее целесообразным является выбор методов, основанных на традиционном подходе и использовании априорной информации, полученной от аппаратных датчиков комплекса об условиях съемки и взаимном положении камеры и объекта.
Дальнейшее направление исследований сосредоточено на реализации алгоритма восстановления подводных изображений, полученных в ходе морских геологоразведочных работ, на основании разработанной авторами ранее уточненной численной модели распространения оптического излучения под водой.
Исследование выполнено за счет гранта Российского научного фонда № 23-79-01253,
