Использование нейросетевого подхода при постобработке части оцифрованных киноматериалов кинооператора Ю. Я. Ковтуна

DOI:

В настоящее время общее число только хроникально-документальных фильмов в КГАУК «Енисей кино» приближается к 4000. В 2019 году из Норильска в Красноярск навигационным путём по Енисею было доставлено 457 кинолент на 35 мм киноплёнке из «Северного архива» [1]. В 2023 году из Шушенского в Красноярск были привезены несколько кинолент на 35 мм и на 16 мм киноплёнке из личных материалов кинооператора Юрия Яковлевича Ковтуна, которые были предоставлены его внуком Третьяковым Вячеславом Игоревичем. Это фильмы «40 минут от Норильска» и «Ангарская сосна идёт к океану». Из этих материалов были так же оцифрованы кадры с режиссером Юрием Лединым и его белой медведицей Айкой, а также ещё ряд событийных моментов.

Известно, что нейронные сети – это мощный инструмент для обработки и анализа данных [2], который используется во многих областях, включая компьютерное зрение, обработку естественного языка и распознавание речи. Одной из наиболее важных областей применения нейронных сетей является обработка изображений и видео.

Одной из задач, которые решают нейронные сети, является улучшение качества оцифрованного видео путем удаления артефактов и шумов. Артефакты и шумы – это нежелательные элементы на изображениях и видео, которые могут быть вызваны различными факторами, такими как низкое качество камеры, плохие условия освещения, царапины киноплёнки, физические повреждения плёнки и т.д.

Нейронные сети могут помочь улучшить качество изображений и видео, потому что они могут обучаться на большом количестве данных и выявлять закономерности в изображениях и видео. Именно это позволяет им удалять артефакты и шумы, а также улучшать качество оцифрованного видео.

МЕТОДЫ И МАТЕРИАЛЫ

Во время хранения кинопленок, в том числе и обработанных, начинается усадка, причем на величину усадки сильно влияют характер упаковки рулонов, плотность намотки, температура и влажность в помещении. Иногда происходит удлинение продольных размеров кинопленки, например, при растяжении.

Исследования, проведенные компанией Kodak, показали, что, когда триацетатная кинопленка начинает стареть, ионы ацетата вступают в реакцию с парами воды, содержащимися в воздухе, в результате чего создается уксусная кислота, имеющая характерный запах винного уксуса.

Старение кинопленки после того, как оно уже началось, протекает со все возрастающей скоростью и полностью остановить его невозможно. Оптимизируя условия хранения, можно лишь слегка замедлить этот процесс [3].

Под временными изменениями размеров кинопленок понимают усадку или удлинение вследствие влияния влажности окружающего воздуха. Изменение влажности воздуха на 1% вызывает почти вдвое большее изменение размеров по сравнению с колебаниями по температуре на 1°С, однако эти процессы обратимы.

Согласно ГОСТ 19-62—76 кинопленки должны храниться при температуре воздуха 50 ± 5° и относительной влажности 60 ± 10% — до 15 суток; при температуре 20 + 2°С - 5°С и относительной влажности 60 + 5% - 10% — до одного года; при температуре 15 ± 5° и относительной влажности 50 + 15% - 10% — до трех лет; с температурой 10 ± 5°С и относительной влажности 50 ± 10% — свыше трех лет [1].

В процессе оцифровки и постобработки использовалось несколько методов. Дадим их краткое описание.

Физико-технический метод увлажнения киноплёнки

Увлажнение киноплёнки значительно помогает при оцифровке киноматериалов. Пересохшую киноленту практически всегда можно попытаться сделать рабочей с помощью увлажнения спецсоставом, однако, испорченную неправильным увлажнением плёнку спасти уже будет невозможно [3].

Для увлажнения киноплёнки в КГБУК «Енисей кино» фильмопроверщиками используется несколько составов: на основе глицерина и ацетона и глицерина с применением изопропилового спирта.

Процентное соотношение увлажняющей (фильмостатной) жидкости, используемой в процессе увлажнения, составляет: 25% глицерина, 15% ацетона и 60% дистиллированной воды.

Внутрь частёвой банки закладывается увлажняющий элемент. Это, как правило, прокладка из пористого материала (сукно, войлок, хлопчатобумажная ткань, картон и пр.), которая смачивается фильмостатной жидкостью [3].

Рисунок 1. Увлажнение киноплёнки.

Figure 1. Wetting of the film.

На картон в фильмостатной жидкости следует поместить алюминиевый диск с отверстиями-перфорациями диаметром 7 мм (см. рисунок 1). Сверху кладётся рулон киноплёнки. Затем киноплёнка помещается в термостат для увлажнения и находится в нём от одних суток до недели, в зависимости от сухости киноплёнки.

Монтажно-коррекционный метод

При первичной обработке в видеографическом редакторе для уже оцифрованных материалов проводится авторазбивка сцен фильма на эпизоды. После чего в мануальном режиме выполняется проверка авторазбивки с дополнительной резкой кадров на монтажные сцены, схожие по цвето-светогамме, для дальнейшей работы (рисунок 2).

Рисунок 2. Сцены фильма в видеоредакторе.

Figure 2. Movie scenes in the video editor.

Затем каждая сцена подвергалась цветокоррекции, дополнительной обработке, если того требовала сцена – то использовались «маски», фильтры, дополнительная резкость и т.д. (рисунок 3).

Рисунок 3. Монтажная станция в работе.

Figure 3. Mounting station in operation.

После цветокоррекции проводится операция по шумоподавлению и удалению пыли. Выбирались предустановки для каждой киноленты отдельно и индивидуально.

Нейросетевой метод

Нейронные сети являются мощным инструментом для анализа и обработки изображений и видео, включая низкокачественные данные [2]. Работа с низкокачественными изображениями или видео, содержащими артефакты, шумы или искажения, представляет собой сложную задачу, поскольку такие дефекты могут затруднить правильное распознавание объектов, сцен или действий [4].

Однако современные нейронные сети, такие как сверточные нейронные сети (CNN) и генеративно-состязательные сети (GAN), могут быть обучены для улучшения качества изображений и видео, устранения шумов и артефактов, а также восстановления потерянных деталей [5].

В целом, нейронные сети способны значительно улучшить низкокачественны изображения и видео, устранять артефакты, шумы и искажения, а также обеспечивать более точное и надежное распознавание объектов и сцен [4].

Выделяют пять семейств перцептронов, обладающих, характерными свойствами.

• •    Перцептроны, ограниченные по диаметру — каждая фигура X, распознаваемая частными предикатами, не превосходит по диаметру некоторую фиксированную величину.

• •    Перцептроны ограниченного порядка — каждый частный предикат зависит от ограниченного количества точек из X.

• •    Перцептроны Гамбы — каждый частный предикат должен быть линейной пороговой функцией, т. е. мини-перцептроном.

• •    Случайные перцептроны — перцептроны ограниченного порядка, где частные предикаты представляют собой случайно выбранные булевы функции. Отмечается, что именно эта модель наиболее подробно изучалась группой Розенблатта.

• •    Ограниченные перцептроны — множество частных предикатов бесконечно, а множество возможных значений коэффициентов сц конечно.

Вычисления в большинстве РНС (рекуррентных нейронных сетях) можно разложить на три блока параметров и ассоциированные с ними преобразования [6]:

• 1)    из входа в скрытое состояние;

• 2)    из предыдущего скрытого состояния в следующее;

• 3)    из скрытого состояния в выход.

В архитектуре РНС (см. рисунок 4) с каждым из этих трех блоков ассоциирована одна матрица весов. Иными словами, при развертке сети каждый блок будет соответствовать мелкому преобразованию. Под «мелким» понимается преобразование, которое было бы представлено одним слоем в глубоком многослойном перцептроне (МСП) [7].

Обычные рекуррентные сети не слишком хорошо справляются с задачами, когда нужно что-то «запомнить» надолго: влияние скрытого состояния или входа с шага t на последующие состояния рекуррентной сети экспоненциально затухает. Решения, которые на получены данный момент, состоят главным образом в том, чтобы усложнить архитектуру одной «соты» рекуррентной сети. Одна из самых широко известных и часто применяющихся конструкций таких ячеек — это LSTM (Long Short-Term Memory -«долгая краткосрочная память» [8].

Рисунок 4. РНС разными способами: (а) - скрытое рекуррентное состояние, разделённое на иерархически организованные группы; (b) - между входом и скрытым состоянием, между двумя скрытыми уровнями скрытого состояния и между скрытым состоянием и выходом возможно поместить более глубокое вычисление МСП, тем самым удлиняется кратчайший путь; (с) - эффект удлинения пути возможно сгладить путем добавления прямых связей.

Figure 4. RNN in different ways: (a) - hidden recurrent state, divided into hierarchically organized groups; (b) between the input and the hidden state, between the two hidden levels of the hidden state, and between the hidden state and the output, it is possible to place a deeper calculation of the MSP, thereby lengthening the shortest path; (c) - the effect of path lengthening can be smoothed out by adding direct links.

Существует множество алгоритмов, помогающих в работе с нейронными сетями. Отметим следующие.

• •    Наивный MCMC-алгоритм максимизации логарифмического правдоподобия с неразрешимой статистической суммой посредством градиентного восхождения.

• •    Алгоритм сопоставительного расхождения, в котором в качестве процедуры оптимизации используется градиентное восхождение.

• •    Алгоритм стохастической максимизации правдоподобия (устойчивого сопоставительного расхождения), в котором в качестве процедуры оптимизации используется градиентное восхождение и т.д.

Существует несколько методов, которые используют нейронные сети именно для улучшения качества изображений и оцифрованного видео [9]. Один из таких методов – это использование глубоких нейронных сетей для удаления артефактов и шумов. Глубокие нейронные сети [10, 11] – это нейронные сети, которые имеют несколько слоев, что позволяет им выделять более сложные закономерности в данных [12].

Другой метод, который используется для улучшения качества изображений и видео – это использование генеративных нейронных сетей. Генеративные нейронные сети – это нейронные сети, которые могут генерировать новые изображения и видео на основе обучающих данных. Это позволяет им улучшать качество изображений и видео, удаляя артефакты и шумы [13].

Существует множество примеров применения нейронных сетей для улучшения качества изображений и видео. Один из таких примеров – это использование нейронных сетей для удаления шумов на изображениях [14]. Например, исследователи из Google Brain разработали нейронную сеть, которая может удалять шумы на изображениях, используя глубокое обучение [15].

В работе использовалась популярная нейросеть с алгоритмами ИИ по улучшению видео:

• •   Topaz Video AI,

• •   Topaz DeNoise AI,

• •   Topaz Gigapixel AI.

Topaz AI — это набор нейросетевых алгоритмов, разработанных компанией Topaz Labs для улучшения качества фото и видео. Он использует искусственный интеллект и машинное обучение для устранения артефактов, повышения разрешения и улучшения детализации изображений. Также использовалась специальная программа colorama для колоризации ЧБ изображений [16].

РЕЗУЛЬТАТЫ ОБРАБОТКИ

Из отобранных для обработки полноценных кинокопий было выбрано две. Первая – это документальный фильм «Ангарская сосна идёт к океану», 1965 год, 1 часть, хронометраж 0:08:28. Производство Норильской студии телефильмов, режиссёр-оператор Юрий Ковтун, автор сценария Екатерина Лопато, звукорежиссёр Лев Супоницкий. Телевизионная лента повествует о работе в условиях Заполярья, о трудовых буднях летней навигации, культурной жизни самой северной столицы.

Вторая телевизионная лента – это документальный фильм «40 минут от Норильска», 1968 год, 1 часть, хронометраж 0:09:37. Производство Красноярской студии телефильмов, режиссёры Юрий Ковтун, Ирина Назарова, операторы Юрий Ковтун, Юрий Гвоздев, автор Владимир Луцет. Телевизионная лента рассказывает о путешествии на гидросамолёте на озеро Лама в 120 километрах от города Норильска.

Киноплёнки «Ледин и его героиня», а также «День города. Норильск» являлись не полными кинокопиями, а лишь разрозненными наборами хроникальных киноэпизодов.

Численные результаты обработки

В таблицах 1 и 2 представлены результаты обработки оцифрованных цветных киноматериалов (таблица 1) и черно-белых работ кинооператора Ю.Я. Ковтуна.

Тaблицa 1. Результaты обрaботки оцифровaнных цветных киноматериалов.

Table 1. Results of processing digitized color film materials.

Видео	Хронометрaж (м.: с.)	Процесс	Среднее время обработки (ч.: м.: с.)
«День города -Норильск»; 1986 год; 1 часть; (35 мм)	9:47	Topaz Video AI	13:21:33
		DeNoise AI	10:01:21
		Gigapixel AI	12:02:42

Тaблицa 2. Результaты обрaботки чёрно-белых работ кинооператора Юрия Яковлевича Ковтуна.

Table 2. Results of processing black-and-white works of cameraman Yuri Kovtun.

Видео	Хронометрaж (м.: с.)	Процесс	Среднее время обрaботки одного кадра (м.: с.)
«40 минут от Норильска»; 1965 год; 1 часть; (35 мм)	8:28	Topaz Video AI	02:51
		Topaz DeNoise AI	01:13
		Topaz Gigapixel AI	04:38
		colorama	00:31
		Colorizer AI PE	14:18
«Ангарская сосна идёт к океану»; 1968 год; 1 часть; (35 мм)	9:37	Topaz Video AI	03:47
		Topaz DeNoise AI	01:25
		Topaz Gigapixel AI	05:02
		colorama	00:28
		Colorizer AI PE	13:21
«Ледин и его героиня»; 3 обрезка; (35 мм)	00:12 00:57 00:40	Topaz Video AI	03:47
		Topaz DeNoise AI	01:25
		Topaz Gigapixel AI	05:02
		colorama	00:23
		Colorizer AI PE	13:21

Визуальные результаты экспериментов

Экспериментальными методами удалось добиться улучшения визуальных характеристик оцифрованных киноматериалов, причем большая часть эпизодов обрабатывалась покадрово сочетанием Topaz-инструментов.

С цветными киноплёнками относительно проще работать, но когда киноплёнка начинает от времени «краснеть», то крайне трудно становится вытянуть из неё цвет, но в нашем случае получился достаточно хороший результат. На рисунке 5 представлены кадры фильма «День города. Норильск» до и после обработки.

Рисунки 6 и 7 дают представление о результатах обработки кадров чёрно-белых фильмов «Ледин и его героиня», «40 минут от Норильска» и «Ангарская сосна идёт к океану». Дается сравнение кадров до и после обработки.

Рисунок 5. Кадры фильма «День города - Норильск» до и после обработки.

Figure 5. Frames of the film "City Day - Norilsk" before and after processing.

Рисунок 6. Кадры чёрно-белого фильма «Ледин и его героиня».

Figure 6. Frames of the black-and-white film "Ledin and his heroine".

Рисунок 7. Кадры чёрно-белого фильмов «40 минут от Норильска» и «Ангарская сосна идёт к океану» до и после обработки.

Figure 7. Frames of the black-and-white films "40 minutes from Norilsk" and "Angara pine goes to the ocean" before and after processing.

Оценка качества обработки в ImageDiscerner

При оценке качества оцифрованных и обработанных киноматериалов, помимо визуального сравнения, проводилось сравнение по Brighness (яркость), Hue (цветовой тон), Saturation (насыщение) и RGB - Red, Green, Blue [17], также использовались 4 вида гистограмм и «карта отличий».

Отметим следующие свойства характеристик сравнения:

• •    Brightness (яркость) — приближённость цвета к чёрному. Чем ниже яркость, тем цвет темнее.

• •    Hue (цветовой тон) — положение цвета в видимом спектре, место цвета в спектре.

• •    Saturation (насыщенность) — интенсивность цвета, красочность, степень отличия цвета от равного по уровню цвета серого.

• •    RGB ― цветовое пространство, здесь каждый цвет задаётся в виде трёх координат. Смешение цвета происходит по аддитивному принципу.

Рисунок 8. Карта отличий и гистограммы сравнений «День города - Норильск» по Brightness (яркость), Solid Areas (сплошная область), Saturation (насыщение) и RGB.

Figure 8. Map of differences and histograms of comparisons "City Day - Norilsk" by Brightness, Solid Areas, Saturation and RGB.

Рисунок 9. Карта отличий и гистограммы сравнений «40 минут от Норильска» по

Brightness (яркости), Solid Areas (сплошной области), Saturation (насыщению) и RGB.

Figure 9. Map of differences and histograms of comparisons "40 minutes from

Norilsk" by brightness, solid area, saturation and RGB.

Рисунок 10. Карта отличий и гистограммы сравнений по яркости, сплошной области, насыщению и RGB («Ангарская сосна идёт к океану»).

Figure 10. Map of differences and histograms of comparisons for brightness, solid area, saturation and RGB (“Angara pine goes to the ocean”).

Рисунок 11. Карта отличий и гистограммы сравнений по яркости, сплошной области, насыщению и RGB («Ледин и его героиня»).

Figure 11. Difference map and comparison histograms for brightness, solid area, saturation, and RGB (“Ledin and his heroine”).

На рисунках 8-11 представлены карты отличий и гистограммы сравнений кадров по Brightness (яркости), Solid Area (сплошной области), Saturation (насыщению) и RGB для кинофильмов: «День города - Норильск», «40 минут от Норильска», «Ангарская сосна идёт к океану» и «Ледин и его героиня».

ЗАКЛЮЧЕНИЕ

Таким образом, в работе показано, что при использовании цифровых фильтров, преобразований, монтажных манипуляций и нейросетевого метода можно создавать видео продукты высокого качества. При этом нейронные сети показали себя, как мощный и полезный инструмент помощи в обработке оцифрованных 35-мм кинолент. Отметим, что существует множество методов, которые используют нейронные сети для достижения этой цели, включая использование глубоких нейронных сетей [17] и генеративных нейронных сетей [18].

Примеры применения нейронных сетей для улучшения качества изображений и видео включают удаление шумов на изображениях и улучшение качества видео. Но исходные характеристики материала оцифровки и методы самой оцифровки этих исходных материалов весьма значимы. Без должного систематизированного подхода на первичном этапе работы с киноматериалами (например, сканирование на соответствующем оборудовании) крайне сложно заниматься восстановлением и обработкой уникальных хроникальных видео записей.