О методике анализа аудиовизуального текста (на материале аудиовизуальных поликодовых текстов социальной рекламы)

С каждым годом социальная реклама всё активнее внедряется в нашу жизнь: мы повсюду встречаем рекламную продукцию, цель которой – скорректировать модели поведения индивидов и привлечь внимание общества к различным социальным недугам. Анализ текстов социальной рекламы подтверждает безграничность творческого потенциала их создателей. Рекламисты используют яркую палитру приёмов манипулирования общественным мнением и представляют социальную рекламу в самых разнообразных форматах, что вызывает интерес её реципиентов к проблемам современного общества: насилию в семье, вредным привычкам, проблемам защиты окружающей среды и т.д.

Современные медийные тексты социальной рекламы всё чаще кодируются средствами различных знаковых систем:  вербальных и визуальных. В результате создаются «семантические и функциональные единства, оказывающие комплексное воздействие на адресата» [16: 68]. Одним из таких функциональных единств и является аудиовизуальная социальная реклама.

Само понятие аудиовизуального текста существенно отличается от традиционного представления о текстах благодаря его поликодовой природе. При работе с аудиовизуальными текстами недостаточно концентрироваться только на их вербальной составляющей: необходимо учитывать особенности невербальных каналов кодирования и передачи информации, которые используются для трансляции ключевых идей аудиовизуальных текстов. Подобный подход «обусловливает глобальное, комплексное и полисемиотическое понимание коммуникации» [8: 48] и позволяет выяснить, каким образом одновременное использование вербальных и невербальных каналов передачи информации способствует повышению воздействующего и эстетического потенциала аудиовизуальной социальной рекламы, а также усилить коммуникативный эффект.

Теоретические основы комплексного подхода к анализу поликодового аудиовизуального текста

В течение долгого времени в отечественных исследованиях в области лингвистики преобладал текстоцентрический подход: учёных интересовал исключительно вербальный канал передачи текстовой информации, внимание лингвистов было приковано к тексту как к последовательности вербальных (словесных) знаков. Однако благодаря развитию науки и техники, эволюции процесса коммуникации и появлению новых медийных платформ, текстоцентрический подход постепенно сменился коммуникативно -функциональным, а исследователи текстов стали принимать во внимание и иные каналы передачи информации. Для номинации нового объекта исследования был предложен термин «креолизованный текст», то есть текст, включающий две гомогенные составляющие: вербальную языковую и невербальную, принадлежащую «к другим знаковым системам, нежели естественный язык» [7: 180–181]. Другие исследователи использовали иные термины для обозначения рассматриваемых текстовых единств, сотканных из компонентов различной знаковой природы: видеовербальные тексты [5], контаминированные тексты [2], интерсемиотические тексты [4], поликодовые тексты [3] и т.п. Настоящая статья не ставит перед собой задачи анализировать термины, в разное время предложенные коллегами; в целях данного исследования будет использоваться термин «поликодовый аудиовизуальный текст», так как именно он лучше всего отражает особенности исследуемых текстов социальной рекламы, в которых по двум каналам различной природы -аудиальному и визуальному - одновременно транслируются различные семиотические коды, создающие гомогенный синкретический конструкт -полиструктурное смысловое и функциональное единство, обеспечивающее комплексное эмоциональное воздействие на реципиента.

Именно комплексный характер поликодовых аудиовизуальных текстов представляет собой серьёзное препятствие для анализа такого вида конструктов. С одной стороны, аудиовизуальные комплексы могут анализироваться с точки зрения их структурно-функциональных особенностей, например Е.Е. Анисимова выделяет отдельные структурные элементы таких текстов (изображение, цвет, шрифт, значимые надписи) и анализирует их функционал [1]. С другой стороны, А.Г. Сонин использует иной, синергетический подход к анализу поликодовых текстов, утверждая, что все элементы подобных полимодальных конструктов должны анализироваться не отдельно, а в совокупности, с учётом особенностей воздействия этих конструктов на реципиента, ибо «[синергетический] эффект зависит как от организации составляющих внутри ПТ (полимодального текста - прим. автора ), так и от способности читающего дополнять устанавливаемую внутримодальную связность каждой составляющей связностью межмодальной» [6: 35]. Комплексный подход к изучению такого вида текстов может оказаться особенно полезен в случае анализа аудиовизуальной социальной рекламы, так как её основная задача - оказать желаемое эмоциональное воздействие на реципиента, в нашем случае - зрителя.

К подобному комплексному подходу к анализу поликодовых текстов склоняются и зарубежные коллеги, рассматривая элементы текстов, выраженные средствами различных знаковых систем, в тесной взаимосвязи; ведь если анализировать такие элементы по-отдельности, они теряют своё значение [14]. Подобной точки зрения придерживался ещё Р. Барт, согласно которому аудиовизуальный текст представляет собой единство вербального и аудиального кодов, в котором «диалог функционирует не просто как способ толкования смысла, но и поддерживает действие, последовательностью идей передавая смыслы, которые невозможно обнаружить в самом изображении» [9: 41]. Г. Кресс и Т.В. Льюэн критикуют подход, подразумевающий отдельное рассмотрение различных способов (модусов) представления информации, и называют его мономодальным [13: 2]. Впоследствии в противовес мономодальному появился комплексный подход к изучению коммуникации, который, соответственно, был назван мультимодальным ( multimodality ). В рамках этого подхода исследователи занимаются «анализом и описанием репертуара ресурсов (визуальных, речевых, жестовых, языковых, трёхмерных и т.д., в зависимости от способа подачи информации), используемых в различных контекстах для создания значения, а также разработкой методов, демонстрирующих способы организации данных ресурсов, благодаря которым значение и создаётся [11].

С. Джуит и коллеги определяют основные исходные положения мультимодальности следующим образом.

1. Значение создаётся посредством ресурсов различных знаковых систем, каждая из которых обладает определёнными возможностями и имеет определённые ограничения. 2. Процесс создания значения включает создание мультимодальных единств. 3. Если мы хотим изучать значение, нам необходимо принимать во внимание все семиотические ресурсы, использованные при создании таких единств [12: 3].

На базе этого подхода развивается новая форма анализа поликодовых аудиовизуальных текстов, так называемая мультимодальная транскрипция ( multimodal transcription ) - термин, предложенный А. Болдри и П. Тибалтом. В соответствии с предложенной схемой анализа, поликодовый аудиовизуальный текст разбивается на кадры (сцены), каждый из которых помещается в виде изображения в отдельную ячейку заранее заготовленной таблицы и описывается в соответствии с тремя ключевыми параметрами, указанными в соответствующих колонках таблицы: визуальный образ, кинетические действия/движения, звуковая дорожка [15: 101]. Подобный подход к анализу поликодового аудиовизуального текста позволяет понять его комплексную знаковую природу и выяснить, как использование совокупности различных знаковых систем позволяет создавать определённое значение.

Настоящее исследование выполнено в русле комплексного полисемиотического подхода, предложенного И. Гамбье, суть которого состоит в интегративном анализе различных семиотических кодов (semiotic codes), внедрённых автором аудиовизуального произведения в ткань текста и сознательно или неосознанно воспринимаемых получателем этого текста. Данные семиотические коды составляют гармоничное единство, внося общий вклад в смысловое содержание аудиовизуального текста. В общей сложности, И. Гамбье выделяет 14 таких семиотических кодов, реализующихся средствами двух знаковых систем (вербальной и невербальной) посредством двух каналов (аудиального и визуального). Вербальные элементы, транслируемые посредством аудиального канала, актуализуются при помощи трёх кодов: лингвистического (диалоги, монологи, комментарии и т.д.), вербального паралингвистического (подача, интонация, акцент) и художественно-театрального (сюжет, нарратив, драматургия, ритмическое оформление речи). Вербальные элементы, транслируемые посредством визуального канала, актуализуются при помощи одного единственного, графического кода (письма, заголовки, текст меню, названия улиц, субтитры и т.п.). Для актуализации невербальных элементов, транслируемых посредством аудиального канала, используются шумо-звуковой (шумы, звуковые эффекты), музыкальный (саундтрек) и невербальный паралингвистический коды (особенности голоса, паузы, тишина, громкость голоса, плач, кашель и т.п.). Больше всего кодов используется для актуализации невербальной информации, транслируемой посредством визуального канала: иконографический (изображения, эмотиконы и т.п.), фотографический (освещение, перспектива, цвета), сценографический (оформление видимого пространства, сценография), кинематографический (операторские приёмы, кадрирование, монтаж и т.п.), кинесический (жесты, позы, выражение лиц, взгляды), проксематический (движения, взаимодействие в кадре, использование пространства, дистанция между персонажами) и костюмный (костюмы, грим, причёски и т.п.) [10: 48]. Все вышеперечисленные коды вступают друг с другом в различные отношения, и от качества этих отношений зависит то значение, которое в итоге формируется, и то воздействие, которое аудиовизуальный текст оказывает на реципиента.

Для анализа поликодового аудиовизуального текста, предлагаемого в качестве материала данного исследования, было использовано сочетание методики создания мультимодальной транскрипции и комплексного полисемиотичекого подхода в соответствии с идеями И. Гамбье.

Материал и методика исследования

Основная гипотеза данного исследования выражается вопросом: «Возможно ли использование комплексного полисемиотического подхода в сочетании с методикой мультимодальной транскрипции для проведения анализа поликодового аудиовизуального текста социальной рекламы и определения его эффективности и оценки персуазивного эффекта, оказываемого на реципиента такого текста?» В поисках ответа на данный вопрос было проведено экспериментальное исследование, призванное доказать, что комплексный анализ результатов восприятия различных семиотических кодов, используемых авторами аудиовизуальной социальной рекламы, может стать эффективным инструментом анализа аудиовизуального текста.

В качестве материала исследования использовалась аудиовизуальная социальная реклама «Здорово, мама», продюсером которой выступил А. Дмитриев, а режиссёром - А. Фечишев. Данная социальная реклама представлена в форме музыкального видеоклипа группы «Роднополисы», основной темой которого стали взаимоотношения повзрослевших детей и их родителей. Ролик начинается с нескольких сцен, в которых разные мужчины, бизнесмен, чиновник, заключённый и т.п., говорят со своими мамами по телефону, используя речитатив. В припеве солист поёт о своей благодарности матери за то, что ей хватило сил вырастить и воспитать сына. В данной аудиовизуальной социальной рекламе использованы довольно сильные образы: детские игрушки «плавающие» вокруг мобильного телефона, на экране которого зритель видит слово «МАМА»; игроман, обманывающий мать и вымогающий у неё деньги якобы на срочное лечение; мужчина, звонящий своей покойной матери, чтобы рассказать, как у него дела, и понимающий, что говорить ему больше не с кем. В попытке оказать воздействие на реципиента и сформировать чувство уважения к материнству и семейным ценностям в данной социальной рекламе семиотические коды использованы в разных сочетаниях, выявленных в процессе составления мультимодальной транскрипции. По результатам анализа полученной транскрипции поликодового аудиовизуального текста социальной рекламы «Здорово, мама» был разработан специальный опросник, призванный выявить степень эмоционального воздействия, который семиотические коды и каналы передачи информации, задействованные в данном ролике, оказывают на реципиентов. Респондентам предлагалось просмотреть эту социальную рекламу и выявить её основную идею, а также ранжировать семиотические коды, указанные в соответствии с классификацией И. Гамбье, с точки зрения воздействия на конкретного респондента. Опросник также включал вопросы, связанные с эмоциональной реакцией респондентов на тот или иной элемент просмотренного ролика.

Опрос был размещён в социальных сетях VKontakte и Facebook, всего в нём приняло участие 40 человек. В цели исследования не входило связать пол, возраст и социальное положение респондентов с их ответами на вопросы, однако статистика показала, что большинство респондентов – молодёжь в возрасте 18-25 лет.

Основные результаты исследования

Как уже было отмечено выше, для предварительного анализа поликодового аудиовизуального текста данной социальной рекламы был использован метод мультимодальной транскрипции, однако вместо трёх ключевых параметров, предлагаемых Болдри и Тилбатом, в таблицу были внесены и описаны семиотические коды, выделенные И. Гамбье. Описание проводилось не по отдельным кадрам, как предлагается в оригинальной методике, а по сценам, так как высокая скорость монтажа, применяемого авторами в соответствии с избранным жанром музыкального клипа, сделала бы покадровое описание слишком громоздким. Пример анализа описания одной из сцен приведён в табл. 1. Данная сцена – рефрен, повторяемый после каждого куплета и несущий основной аксиологический посыл ролика.

Результаты анализа мультимодальной транскрипции данного полико-дового аудиовизуального текста показали, что авторы ролика используют все семиотические коды, представленные в классификации И. Гамбье. Наблюда- ются определённые закономерности во взаимосвязи и взаимопроникновении семиотических кодов

Таблица 1. Пример мультимодальной транскрипции сцены из социальной рекламы «Здорово, мама»

Аудиальный канал (коды)	Визуальный канал (коды)
Лингвистический: герой поёт о своей любви к маме и о том, что готов связаться с ней любыми доступными средствами	Графический: в кадре детский рисунок: поздравление маме с 8 марта
Паралингвистический: страдание и грусть в голосе
Художественно -театральный: рефрен отражает основную идею ролика
Шумо-звуковой	Иконографический: элементы, ассоциирующиеся с детством: рогатка, футбольный мяч, скейтборд т.д.
Музыкальный лиричная мелодия в среднем темпе, богатая оркестровка	Фотографический: светлый фон, герой хорошо виден, приятные холодные цвета
Паралингвистический приятный баритон, в конце сцены - пауза	Сценографический: герой стоит по центру, предметы вращаются вокруг него, улетая вдаль (в детство?)
-	Кинематографический: рефрен снят одним кадром
-	Кинесический: герой прижимает руки к груди, умоляя маму простить его, крупным планом глаза и печальная улыбка
-	Проксематический: предметы вращаются вокруг героя, как планеты
-	Костюмный: белая рубаха, галстук, тёмные брюки

Так, в куплетах, где рассказываются истории взаимоотношений героев ролика с их мамами, агрессивный речитатив сопровождается высокой скоростью монтажа, яркими цветами и стремительным развитием сюжета. В припевах же, где раскрывается основная идея ролика, зрителю дают «немного отдохнуть», снимая сцену одним кадром, приглушая цвета и сопровождая текст мелодичным саундтреком. Подобный анализ позволяет, в первую очередь, раскрыть основные приёмы, использованные авторами поликодового аудиовизуального текста для подачи материала и трансляции основных значений и смыслов. Во вторую очередь, мультимодальная транскрипция даёт возможность подготовиться к основному этапу анализа, связанному с экспериментальным исследованием с использованием метода опроса информантов, который будет описан ниже.

Первый вопрос опроса, «О чем был ролик?», носил диагностический характер и был призван выяснить, понятна ли респондентам основная мысль просмотренной социальной рекламы. Если бы основной посыл остался непонятым, то ответы такого респондента были бы признаны нерелевантными для данного исследования. но результаты анализа опроса показали, что все респонденты смогли уловить основной смысл просмотренной рекламы. Несмотря на то, что ответы на данный вопрос были сформулированы по-разному ( любите и цените родителей, почаще звоните родителям, не забывайте родителей, позвони маме ), все респонденты уловили главный посыл ролика: «цените родных и поддерживайте семейные связи».

Остальные вопросы анкеты были напрямую связаны с различными семиотическими кодами, участвующими в создании смыслового единства рассматриваемого поликодового аудиовизуального текста, с особенностями их «сцепления» в тексте, а также с эмоциональным эффектом, оказанным каждым кодом в отдельности. После однократного просмотра ролика респондентам предлагалось ранжировать все семиотические коды, которые им удалось зафиксировать, с точки зрения их [кодов] смыслового содержания и оказанного воздействия. Такая методика построения опроса позволила определить, какие семиотические коды респонденты посчитали наиболее важными, то есть оказавшими максимальное воздействие во время просмотра. Каждый код предлагалось оценить по пяти параметрам: «очень впечатлило», «впечатлило», «не очень впечатлило», «оставило равнодушным», «не заметил в принципе». Затем каждому параметру был присвоен числовой показатель от 4 («очень впечатлило») до 1 («оставило равнодушным»). Если респондент не заметил предложенный семиотический код, то значение параметра приравнивалось к нулю. Затем все числовые показатели суммировались, что позволило определить эффективность воздействия каждого семиотического кода. Результаты расчётов представлены в табл. 2.

Таблица 2. Анализ степени воздействия семиотических кодов на реципиентов (по результатам эксперимента)

Канал/знаковая система		Семиотический код	Значение
Аудиальный	Вербальные знаки	лингвистический	60
		паралингвистический	51
		художественнотеатральный	62
	Невербальные знаки	шумо-звуковой	47
		музыкальный	48
		паралингвистический	51
Визуальный	Вербальные знаки	графический	41
	Невербальные знаки	иконографический	43
		фотографический	60
		сценографический	59
		кинематографический	44
		кинесический	45
		проксематический	54
		костюмный	54

Полученные результаты показывают, что самым мощным источником воздействия на реципиентов стала группа семиотических кодов, актуализуемых посредством вербальной знаковой системы и транслируемых посредством аудиального канала. Эти коды включают в себя лингвистический, вербальный паралингвистический и художественно-театральный. Последний из упомянутых кодов оказал наибольшее эмоциональное воздействие на реципиентов. Это означает, что именно вербальные коды, усиленные аудиальной составляющей, представляют собой ключевые элементы аудиовизуального поликодового текста, создающие и транслирующие его основные смысловые доминанты.

Второй по степени воздействия стала группа невербальных семиотических кодов, транслируемых посредством визуального канала. Больше всего внимание реципиентов привлекли фотографический и сценографический коды, именно их респонденты назвали наиболее эффективными с точки зрения трансляции основной идеи ролика.

Удивительно, что музыкальный и шумо-звуковой коды не оказали ожидаемого воздействия на респондентов, хотя сам ролик, как уже упоминалось ранее, создан в формате музыкального клипа. Некоторые респонденты сетовали, что эти коды играли роль раздражителей и не позволяли сконцентрироваться на других семиотических кодах. Это очень ценное замечание, так как подобная реакция означает, что именно музыкальный код вызвал интенсивную эмоциональную реакцию, поэтому в процессе анализа аудиовизуального текста ни в коем случае нельзя умалять значимость шумомузыкальной дорожки, а именно музыкальным и шумозвуковым кодами пренебрегает большинство исследователей, изучающих аудиовизуальные поликодовые тексты, считая данные семиотические коды несущественными. Более того, 42% респондентов отметили, что несмотря на раздражение, которое вызывала музыка, именно этот семиотический код позволил создать необходимый эмоциональный настрой.

Респонденты не слишком концентрировали своё внимание на графических элементах просмотренного ролика, не смотря на то, что, как видно из предложенной мультимодальной транскрипции ролика, в нём присутствовало большое количество значимых надписей и знаков, которые добавляли оттенки смысла к исследуемому аудиовизуальному тексту. Для понимания природы данного явления необходимо проведение дополнительных исследований с привлечением метода окулографии.

Большая часть респондентов (69%) отметили, что ключом к эффективности данного ролика стало гармоничное соединение всех семиотических кодов. Анализ реакций респондентов на предложенную к просмотру социальную рекламу показал, что все они смогли почувствовать тесную связь семиотических кодов, вызвавших у них чувство грусти, неловкости, эмоциональной погружённости в текст. Некоторые респонденты признались, что после просмотра ролика ощутили острое желание позвонить родителям. Это доказывает, что авторы рекламы достигли поставленной цели.

Выводы

Необходимо отметить, что комплексный полисемиотический подход, использованный в сочетании с методикой мультимодальной транскрипции, может стать эффективным инструментом анализа аудиовизуальных поликодовых текстов. Экспериментальная часть исследования позволила разработать алгоритм анализа аудиовизуального текста, с помощью которого исследователи смогут оценить персуазивный потенциал аудиовизуальных поликодовых текстов социальной рекламы и предугадать реакцию реципиентов. Алгоритм включает несколько последовательных этапов.

Этап 1. Составить и проанализировать мультимодальную транскрипцию поликодового аудиовизуального текста для выявления основных автоских смыслов и составления соответствующего опросника, который затем предлагается целевой группе реципиентов. Этап 2. Выяснить, все ли реципиенты солидарны во мнении относительно основной идеи предложенного поликодового аудиовизуального текста социальной рекламы. Этап     3.     Проанализировать     лингвистический,     вербальный паралингвистический и художественно-театральный коды текста в тесной связи с невербальным аудиальным и визуальными кодами как наиболее эффективными инструментами создания смысловых доминант текста аудиовизуальной социальной рекламы. По результатам опроса выявить степень эмоционального воздействия, оказанного данными семиотическими кодами на респондентов. Этап 4. Отдельно проанализировать невербальные визуальные коды, обращая внимание на проксематический и костюмный коды, рассмотреть фотографический, сценографический и кинематографический коды в тесной связи с образами персонажей текста, особенностями их речи и музыкальным сопровождением, так как эта взаимосвязь оказывает мощное персуазивное воздействие на реципиентов и вызывает ярко-выраженную эмоциональную реакцию. Этап 5. Проанализировать невербальные паралингвистический коды, музыкальный и шумо-звуковой коды с точки зрения дополнительного значения, которое они привносят в текст, вызывая, возможно, противоречивые реакции со стороны реципиентов. Этап 6. Проанализировать графический вербальный код, попытаться понять, почему реципиенты могут не замечать информацию, транслируемую при помощи этого кода. Вероятно, в этом случае необходимо выяснить, какие ассоциации вызывают данные коды у реципиентов аудиовизуального текста.

Представленный алгоритм – всего лишь первый шаг к выполнению комплексного анализа аудиовизуальных поликодовых текстов и требует дополнительной верификации и, вероятно, уточнения и доработки. Вместе с тем, анализ аудиовизуальных поликодовых текстов с позиций комплексного полисемиотического подхода может стать хорошим подспорьем для лингвистов, социологов, специалистов в сфере социальной рекламы и переводчиков, работающих с аудиовизуальными материалами.

Исследование выполнено при финансовой поддержке РФФИ и Правительства Омской области в рамках научного проекта № 17-14-55001.