Синергетические оценки качества восприятия мультимедийных систем

Современные мультимедийные системы характеризуются не только взаимодействием режимов видео и аудио, но и присутствием явления синергизма между медийными состав- ляющими.

Синерги ^′ зм (от греч. synergos — (syn) вместе (ergos) действующий, действие) — это взаимодействие двух или более факторов, характеризующееся тем, что их действие существенно превосходит эффект каждого отдельного компонента в виде их простой суммы.

Например, в видеотелефонии даже при низком качестве видео потока хорошее качество голосового потока может компенси- ровать ухудшение полного воспринимаемого качества, и наоборот [2].

Для предсказания аудиовизуального качества мультимедийных систем необходимо ние качество воспроизведения аудио- и видеокомпонентов.

При оценке качества мультимедийных систем с помощью комбинированной оценки нельзя представить ее в виде простой комби- нации составляющих, поскольку она не дает адекватного реальным условиям качества восприятия [1].

Аудиовизуальные тесты. 3G потоковые клипы

Рассмотрим три видеопоследовательности, обладающие принципиально различными характеристиками: кино «трейлер», «видеоклип» и «видеотелефония (звонок)» (рис. 1).

В кино «трейлере» сцены изменяются очень быстро, а съемка производится c нескольких ракурсов, кроме того, присутствует музыка. «Видеоклип» характеризуется инструментальной музыкой, сопровождающей голос. В отдельных сценах клипа имеются быстрые создать показатель, принимающий во внима- движения. «Видеозвонок» — самый простой

Рис. 1. Тестируемые файлы: кино «трейлер» (a), «видеоклип» (b), «видеотелефония (звонок)».

сценарий. Съемка осуществляется зафиксированной в пространстве камерой, а в сценах присутствуют малозначительные движения. Аудиоматериал в этом случае — речевой монолог без музыки.

Все файлы мультимедиа длиной почти 8 сек. [3]. Файлы закодированы при помощи программы QuickTime Pro version 6.5 с несколькими кодеками и комбинациями скорости передачи информации. В качестве видеокодеков использовали кодеки H. 263 и MPEG-4, а в качестве аудиокодеков AMR (Adaptive Multi Rate — автоматическая запись сообщения) и AAC (Advanced Audio Coding — перспективное звуковое кодирование).

Взаимно компенсационное свойство

Проведенные исследования совместного аудиовизуального качества [5] показали, что наблюдается явление взаимной компенсации аудио- и видео- качества. Под взаимной компенсацией подразумевается возможность получить неименное аудиовизуальное качество при различных комбинациях качества аудио и видео, это можно использовать для обеспечения гарантированно хорошего аудиовизуального качества. Рассмотрим аудиовизуальную модель оценки качества, учитывающую аудио- и видео- составляющие мультимедийных файлов.

Как правило, качество каждого сюжета оценивается с использованием оценок субъективного восприятия по пятибалльной шкале МОS (Mean Opinion Score — средняя субъективная оценка), где 1 — очень плохо, 2 — плохо, 3 — удовлетворительно, 4 — хорошо, 5 — отлично.

Будем использовать для оценки мультимедийного качества следующие оценки:

MOSa — средняя субъективная оценка аудио последовательности;

MOSv — средняя субъективная оценка видео последовательности;

MOSav — субъективное аудиовизуальное качество (качество оценки мультимедиа).

Для учета синергетического эффекта составляющих на уровне качества восприятия сформируем аудиовизуальную модель качества восприятия мультимедиа в виде комбинации показателей качества восприятия аудио MOSa и видео MOSv соответственно. Очевидно, что увеличение MOSa и соответствующее уменьшение MOSv или наоборот, не приведет к изменению MOSav и может остаться неизменным.

Рассмотрим пример взаимной компенсации качества восприятия MOSav на основе оценкок аудио MOSa и видео MOSv составляющих, представленный на рис. 2 [4]. Сравнивая столбики гистограмм с «белыми» вершинами можно видеть, что качества восприятия на уровне MOSav = 3 можно добиться как при MOSa = 4.5 и MOSv = 2.5, так и при MOSa = 3 и MOSv = 3.

Рис. 2. Взаимно компенсационное свойство для «видео телефонии».

Зависимость качества восприятия от количества информации

Показатели MOSa, MOSv и MOSav позволяют прогнозировать видео-, аудио- и аудиовизуальное качество с помощью объективных параметров.

В стандарте ANSI [3], разработан визуальный показатель, который дает возможность предсказать MOSv . Аналогичным является такой показатель качества аудио, различающийся для речи и музыки, чтобы корреляция с результатами выполненных звуковых тестов была максимальна.

На основе использования оценок предсказания MOSv и MOSa разработано несколько аудиовизуальных показателей.

Для формирования аудиовизуального показателя качества анализируемых клипов предварительно нужно изучить результаты субъективных аудиовизуальных тестов [4]. Отметим, что субъективные оценки людей различны для кино «трейлера» или «видеоклипа» с одной стороны и «видеотелефонии» с другой. «Видеозвонок» характеризуется медленными и незначительными движениями, с фиксиро- ванным положением видео камеры и однородным тоном голоса. Диапазон оценок в этом случае для видео звонка в 66,7% случаев оценивается величиной 2 < MOSav < 3.

Если кодировать «видеоклип», характеризующийся быстрыми и частыми изменениями сцен при неизменной скорости передачи информации, можно увидеть, что объективные параметры не показывают столь же высокое качество как в видеотелефонии. Однако субъективная оценка выше во втором случае. Люди оценивают качество файла видеоклипа выше, потому что их мнение основано на подробной информации о сюжете.

Это различие в субъективной оценке между видеоклипом, кино «трейлер» и видео телефонией приводит к необходимости создания для речи и музыки различных аналитических соотношений.

Построение аналитических оценок

Получили распространение следующие аналитические оценки аудиовизуального качества:

• (1)    MOS' av = K + A ■ MOS a + V ■

• (2)    MOS" = K + AV ■ MOS a ■

• (3)    MOS'" = K + A ■ MOS a + V ■ MO S v + A ■ MO S a ■

• (4)    MOS aV = K + A ■ MOS a + V ■ MO S v +

+ AV ■ MOS a ■ MO S v + A '■ MOSa + MOS 2

Первая модель при заданных MOSv и MOSa позволяет оценить MOSav при хорошем качестве музыки и речи. Однако при высокой корреляции между объективной и субъективной оценками MOSav используются другие оценки.

С этой целью в уравнения (2), (3) и (4) введены дополнительные элементы, что приводит к увеличению корреляции и отражает синергизм между качеством видео и аудио [6]. Синергизм составляющих хорошо описывается параболической зависимостью в уравнении (4).

Значения коэффициентов, входящих в уравнения (1) … (4), полученные экспериментально, приведены в табл. 1 и 2 [7]. На рисунках 3–10 показаны трехмерные зависимости MOSav от MOSv и MOSa (С. 92–95).

Самые высокие корреляции соответствуют моделями (3) и (4).

Таким образом , рассмотренные соотношения для оценки субъективного качества предсказания аудиовизуального качества клипов на основе анализа их объективных характеристик, позволяют сформировать синергетические оценки качества восприятия мультимедийных систем.

Таблица 1

Номер формулы	K	A	V	AV	A’	V’	корреляция
1	–0,4934	0,5420	0,4327	/	/	/	0,8800
2	0,9987	/	/	0,1536	/	/	0,8915
3	0,6313	0,2144	0,0124	0,1184	/	/	0,9023
4	0,5723	9,6508	0,2686	0,2244	–0,0171	–0,0940	0,9057

Таблица 2

Номер формулы	K	A	V	AV	A’	V’	корреляция
1	–1,5025	0,7380	0,7411	/	/	/	0,8879
2	0,9135	/	/	0,2329	/	/	0,8415
3	–0,9222	0,5691	0,5064	0,1697	/	/	0,9106
4	–1,1895	0,5947	0,7126	0,0677	–0,0031	–0,0395	0,9117

Коэффициенты и корреляция для модели «видеозвонка»

Коэффициенты и корреляция для моделей кино «трейлера»/«видеоклипа»

Рис. 3. Модель для «видеотелефонии» (формула 1)

Рис. 4. Модель для «видеотелефонии» (формула 2)

Рис. 5. Модель для «видеотелефонии» (формула 3)

Рис. 6. Модель для «видеотелефонии» (формула 4)

Рис. 7. Модель для «кинотрейлер»/«видеоклип» (формула 1)

Рис. 8. Модель для «кинотрейлер»/«видеоклип» (формула 2)

Рис. 9. Модель для «кинотрейлер»/«видеоклип» (формула 3)

Рис. 10. Модель для «кинотрейлер» /«видеоклип» (формула 4)