Вербальная, параграфическая и визуальная реализация концептов в креолизованных текстах наивного дискурса (на материале Instagram.Com)

Acknowledgements

The work was supported by the Russian Foundation for Basic Research, project no. 18-312-00052

Alekseeva A. A., Lukashevich A. A. Verbal, Paragraphical, and Visual Representations of Concepts in Polymodal Texts of Naïve Discourse (Based on instagram.com). Vestnik NSU. Series: History and Philology , 2018, vol. 17, no. 9: Philology, p. 105–114. (in Russ.) DOI 10.25205/1818-7919-2018-17-9-105-114

Письменные и устные тексты часто включают в себя, кроме собственно вербальных единиц, различные элементы другого рода: жесты, позу и мимику, иллюстрации, графики, формулы и т. д. В настоящее время в условиях динамичного развития интернет-дискурса список дополнительных нетекстовых элементов пополняется также видео- и аудиозаписями, стикерами, эмодзи и др. В результате возникает возможность исследовать такие тексты с точки зрения соотношения в них вербальной и невербальной информации, а также с позиции рецепции различных типов информации. Исследования подобного рода важны для таких естественных и гуманитарных наук, как нейрофизиология, психология, социология, философия, искусствоведение, филология.

Описанный вид текстов получил название креолизованных, или поликодовых. Термин «креолизованный текст» был предложен отечественными лингвистами Ю. А. Сорокиным и Е. Ф. Тарасовым [Ворошилова, 2013. С. 15‒16] и получил своё название по аналогии с крео-лизованным языком – новым языком, созданным на основе двух или более уже существующих.

Различаются два типа креолизации текста: частичная и полная. В первом случае вербальная часть относительно автономна, а изобразительные элементы факультативны. Такой тип крео-лизации характерен, в частности, для художественных текстов. Во втором случае изображение является обязательным элементом текста – например, научно-технического или рекламного [Валгина, 2003. С. 27].

Как отмечает М. Б. Ворошилова, научное осмысление креолизованных текстов началось в работах по семиотике, что обусловлено исследованием изображений как особой знаковой системы [Ворошилова, 2006. С. 183]. В центре внимания исследователей была структура кре-олизованного текста, семантика основных знаковых единиц и особенности их взаимодействия друг с другом [Ворошилова, 2013. С. 22]. В настоящее время исследователи продолжают изучать визуальную семантику, а также семиотическую природу вербальных и невербальных знаков [Там же. С. 23‒24].

Исследователи предлагают различные классификации корреляций между вербальной и невербальной частями креолизованного текста. Так, Е. Е. Анисимова ссылается на исследования С. Д. Зауэрбира, который выделяет следующие типы:

• 1)    параллельная корреляция (содержание вербальной и невербальной частей полностью совпадают);

• 2)    комплементарная корреляция (содержание вербальной и невербальной частей перекрывают друг друга);

• 3)    субститутивная корреляция (невербальная часть замещает вербальную информацию);

• 4)    интерпретативная корреляция (между содержаниями вербальной и невербальной частей нет прямой связи, но эта связь устанавливается на ассоциативной основе) [Анисимова, 2003. С. 13‒14].

• А. А. Бернацкая различает три степени креолизации текста:

• 1)    сильная, при которой имеет место взаимная синсемантизация вербальной и невербальной частей;

• 2)    умеренная, предполагающая явное доминирование какой-либо одной части и вспомогательную роль другой;

• 3)    слабая, при которой используются лишь параязыковые средства коммуникации – кинетические, фонационные, графические [Бернацкая, 2010. С. 109].

Отправной точкой нашего исследования послужила гипотеза о том, что вербальные и невербальные элементы креолизованного текста могут быть объединены посредством концепта. В широком понимании концепт – это «дискретное ментальное образование, являющееся базовой единицей мыслительного кода человека, обладающее относительно упорядоченной внутренней структурой, представляющее собой результат познавательной (когнитивной) деятельности личности и общества и несущее комплексную, энциклопедическую информацию об отражаемом предмете или явлении, об интерпретации данной информации общественным сознанием и отношении общественного сознания к данному явлению или предмету» [Попова, Стернин, 2007. С. 34].

Наше исследование построено на материале наивного дискурса, под которым мы понимаем совокупность текстов, созданных людьми, не связанными по роду своей деятельности с написанием текстов, и / или неспециалистами в областях, которым посвящены их тексты. Поэтому для целей нашего исследования мы придерживаемся более узких определений концепта, данных В. И. Карасиком: концепты – это «ментальные образования, которые представляют собой хранящиеся в памяти человека значимые осознаваемые типизируемые фрагменты опыта» [Карасик, 2004. С. 59]; концепт – «многомерное ментальное образование, в составе которого выделяются образно-перцептивная, понятийная и ценностная стороны» [Там же. С. 71].

Материалом исследования послужили посты в социальной сети Instagram, которая предполагает публикации следующего формата: изображение (или видео) и по желанию подпись ав- тора к нему. В этой социальной сети визуальная составляющая является главным компонентом креолизованного текста, поскольку ядро публикации в Instagram – это именно изображение или короткий видеоролик, однако возможность делать достаточно большие подписи к визуальной части поста (до 2200 знаков 1) приводит к тому, что нередко изображение и текст меняются ролями с точки зрения своей значимости.

В данной статье анализируется соотношение вербального компонента текста, изображения, а также рисуночных параграфем, или эмодзи, которые являются промежуточным феноменом. Словарь Merriam-Webster даёт следующее определение эмодзи: «Any of various small images, symbols, or icons used in text fields in electronic communication (as in text messages, e-mail, and social media) to express the emotional attitude of the writer, convey information succinctly, communicate a message playfully without using words, etc.» 2 ‘небольшая картинка, символ или иконка, используемые в текстовом поле в электронной коммуникации (например, в текстовых сообщениях, электронных письмах и социальных медиа) для выражения эмоционального отношения пишущего, для сжатой передачи информации, передачи сообщения в шутливой форме без использования слов и т. д.’ 3.

Исторически эмодзи произошли от эмотиконов (от англ. emotion icon ‘иконка, изображающая эмоцию’) – «своеобразных символов, которые были придуманы для обозначения эмоций и состояний человека, участвующего в виртуальном общении» [Школовая, 2005. С. 59].

По состоянию на июнь 2017 г. раскладка эмодзи насчитывала в общей сложности 2666 знач-ков⁴, а в течение 2018 г. на основные электронные устройства добавится ещё 157 эмодзи ⁵. Существуют эмодзи, обозначающие не только различные виды эмоциональных и физиологических состояний, но и жесты (( ^ , ^ , ^ и т. д.), виды человеческой деятельности ( Ж , ^ , ^ и др.), еды и напитков ( ^ , ^ , © и т. д.), явлений природы ( ^ , ^ , Л и т. д.) и многое другое. В целях соблюдения правил политкорректности, играющих важную роль в западном обществе, в раскладке присутствуют также различные варианты одних и тех же эмодзи: например, изображения лиц и рук людей с несколькими разными оттенками кожи, изображение гетеро- и гомосексуальных влюблённых пар и семей и др.

Всего было проанализировано 90 постов: 30 на русском языке, 30 на английском и 30 на французском. В них представлено два типа креолизованных текстов: 1) посты, посвящённые событиям частной жизни их авторов, 2) рекламные посты. Изучив в каждом посте собственно текст, использованные в нём эмодзи и изображение, мы устанавливали, есть ли в каждом креолизованном тексте концепт, который объединяет вербальную, параграфическую и визуальную составляющую. На основании наличия / отсутствия текстообразующего концепта, а также типа корреляции между вербальной и невербальной частями текстов мы построили следующую классификацию.

• 1.    Тексты без текстообразующего концепта.

• 2.    Тексты с текстообразующим концептом.

  • 2.1.    Тексты с текстообразующим концептом, получающим выражение на вербальном и визуальном уровнях (на уровне текста и изображения).

  • 2.2.    Тексты с текстообразующим концептом, получающим выражение на вербальном и па-раграфическом уровнях (на уровне текста и эмодзи).

  • 2.3.    Тексты с текстообразующим концептом, получающим выражение на параграфическом и визуальном уровнях (на уровне эмодзи и изображения).

  • 2.4.    Тексты с текстообразующим концептом, получающим выражение на вербальном, пара-графическом и визуальном уровнях (на уровне текста, эмодзи и изображения).

Рассмотрим примеры. На рис. 1 представлен пост, в котором мы выделили текстообразующий концепт ТАИЛАНД, реализованный на вербальном и визуальном уровнях. Слова-репрезентанты концепта следующие: Таиланд , слоник из белых роз из Люмпини парка, красота невероятная , тайские полезности , среди которых – тайская зубная паста , кокосовое масло , тигровый бальзам , детские жаропонижающие пластыри на лоб . Визуальным репрезентантом концепта является изображение слона, о котором говорится в посте. Эмодзи, использованные в тексте, не являются репрезентантами текстообразующего концепта.

Рис. 1

Текстообразующим концептом в другом посте, представленном на рис. 2, является SUMMER ‘ЛЕТО’. Он получает реализацию на всех трёх уровнях: на вербальном – посредством слова summer ‘лето’, на параграфическом – с помощью эмодзи, обозначающих различные атрибуты лета ( О — солнце , ^ — пальма, ( - волна и др.), визуально - с помощью фотографии, на которой изображены освещённые ярким солнцем море и скалы.

Количественное соотношение текстов различных типов представлено в таблице 1.

Таблица 1

Соотношение количества различных типов текстов на русском, английском и французском языках

	Посты на русском языке	Посты на английском языке	Посты на французском языке
Тип 1	4	4	9
Тип 2.1	9	3	10
Тип 2.2	1	1	1
Тип 2.3	0	1	0
Тип 2.4	16	21	10

waterproject A little taste of Summer. Де&.о'т

MUSIC V: PASSIONFRUIT by my good buddy @champagnepapi @

#aloha #waterproject_clip #beachday

#abc7eyewitness #tourtheplanet

#exploringtheglobe destinations

#peoplescreative #thecreatorsclass

#livingonearth #summer #hbouthere

#droneoftheday #quadcopter

#lifeofadventure #socality

#droneheroes #artofvisuals #drones#4k

Просмотры: 8 808

5 ДНЕЙ НАЗАД

Добавьте комментарий...

Рис. 2

waterproject

Jr Laguna Beach, C...

Подписки

Как видим, доминирующим типом текстов на всех языках является тип 2.4, предполагающий реализацию текстообразующего концепта на трёх уровнях. Наименьшее количество текстов на всех языках относится к типу 2.3, реализация концепта в котором происходит на парагра-фическом и визуальном уровнях. Примерно столь же малое количество текстов представляют собой тип 2.2, предполагающий реализацию концепта на вербальном и параграфическом уровнях. В наших материалах есть лишь один пример поста, в котором концепт объективируется только на визуальном и параграфическом уровнях: на фото представлены разноцветные хризантемы, а в авторской подписи к публикации есть только эмодзи – несколько разноцветных сердец, совпадающих по цветам с хризантемами.

Отдельного внимания заслуживают некоторые способы репрезентации концептов (не только текстообразующих) с помощью эмодзи. В ряде случаев нам встретились примеры метафорического и метонимического переноса. Так, во фразе «j’ai une passion pour le corail et les fleurs depuis quelque temps ^ О » 6 ‘мне уже некоторое время нравится коралловый цвет и цветочки’ ⁷, помимо эмодзи в виде цветка использован значок солнца. Скорее всего, второй эмодзи употреблен здесь в переносном значении, как символ коралла, который, в свою очередь, символизирует коралловый цвет. Мы видим, с одной стороны, метонимический перенос (коралл и его цвет), с другой – метафорический (эмодзи «солнце» напоминает по форме коралл).

Случаи метонимического и метафорического переноса не единичны. Поскольку в раскладке эмодзи нет отдельных значков для обозначения цвета, то для его репрезентации авторы постов используют произвольные эмодзи необходимого цвета: так, на рис. 3 представлен пост о закуске, содержащей чернику, и в тексте использован эмодзи Q («монстр-пришелец») фиолетового цвета, который напоминает закуску по внешнему виду – и по форме, и по цвету.

earthyandy

Подписки

earthyandy PURpLE STorM BOwls QD ■Topped with juicy blueberry jewels and a sprinkle of vegan chocolate coconut chips for todays post school pre beach snack! ’f^’T The lazy girl in me loves how bowls take minutes to make and just a few ingredients but does the job of fueling refreshing and slaps smiles on everyone face! *'< RECIPE:

2 cup frozen blueberries

3 frozen banana

4 almond milk ice cubes/or coconut 1/8 cup of almond milk or coconut milk Й Blend and mash and blend and mash until smooth'n creamy like ice cream! -Currently a bit in love with this song>10000 Emerald Pools by Bornso ^

загрузить еще комментарии

0? Q

Просмотры: 440 103

4 ДНЕЙ НАЗАД

Добавьте комментарий...

Рис. 3

Для представления одного концепта используется также несколько эмодзи подряд: «Если ёлка ещё не разобрана - Новый год не закончился! ^^ ^ ^ ^ ». В данном случае представлены эмодзи, репрезентирующие такие признаки концепта НОВЫЙ ГОД, как праздник (хлопушка, два вида звёзд) и зима (снежинка, снеговик), причём они не сгруппированы по выражаемым признакам.

Пост о мастер-классе по приготовлению стейков содержит в себе такую строку: «Можно даже назвать это занятие «Стейкология» или «Мясоведение» 0^ ». В данном случае юмористические окказионализмы, обозначающие вымышленную науку о приготовлении мяса, поддерживаются эмодзи «женщина» и «сковородка», которые репрезентируют, соответственно, субъект и объект этой науки.

Рассмотрим ещё один пример: пост о вечере ирландской и шотландской музыки и танца начинается фразой «В эти выходные в Технопарке ^ ® ^ ». В данном случае эмодзи «клевер» выступает в атрибутивной роли, при этом стоит между эмодзи «танцор» и «скрипичный ключ», выступающих в роли субъектов.

Отсутствие единых правил расположения эмодзи в синтагме могут приводить к неоднозначности в их трактовке: например, неясно, к чему относятся эмодзи, передающие положительную оценку, во фразе «Окрашивание волос Keune + уход Keune Bond Fusion для Юлии от нашего стилиста Надежды @nadya_n ( ^ » - к результату окрашивания (представленному на фото), стилисту, сделавшему это окрашивание, или и к тому, и к другому.

Выше мы уже приводили определение, согласно которому концепт содержит образно-перцептивную, понятийную и ценностную стороны. Если в вербальной составляющей креолизо-ванного текста наивного дискурса могут быть репрезентированы все три названные стороны, то невербальные составляющие часто объективируют только часть из них. Особенно это касается изображения, которое чаще всего отражает образно-перцептивную сторону концепта. Это вполне объяснимо: основная часть проанализированных нами постов описывает события частной жизни людей либо рекламирует товары и услуги, поэтому изображение репрезентирует совершенно конкретный предмет или человека и не предполагает обобщения, построенного на его основе. Лишь небольшое количество текстов содержат философские размышления на какие-либо темы, и в этом случае изображение имеет понятийную сторону.

На рис. 4 представлен пример такого поста, в котором изображение объективирует в том числе и понятийную сторону концепта.

Рис. 4

nshewas • Подписаться

Benjamin Franklin Bridge

nshewas I have definitely been in a go, go, GO state lately including missing the previous 2 Tuesday Bridge Runs due to professional commitments and having workouts be checkoffs for meeting physical goals. Yet, as I finished the final hill of the Ben Franklin and took in the beautiful view, I was reminded to heed the advice of good ole Ferris Bueller and take in the beauty around me. Yes, I may be returning to my previous focused mode, but at least I have this picture to remind me to stop and take in the view @ =ferrisbueller #lifemovesprettyfast *ifyoudontstop *andlookaround #youllmissit #5miles #lastminute #broadstreettraining *lessthan4weeks #mondieu =@ #phillyskyline #benfranklinbridge #nofilter

Автор поста на личном примере рассуждает о важности пауз, остановок в повседневной жизни, наполненной многочисленными рабочими и другими обязанностями: «I have definitely been in a go, go, GO state lately including missing the previous 2 Tuesday Bridge Runs due to professional commitments <…> Yet, as I <…> took in beautiful view, I was reminded to heed the advice of good old Ferris Bueller and take in the beauty around me. Yes, I may be returning to my previous focused mode, but at least I have this picture to remind me to stop and take in the view» ‘Последнее время я явно была в состоянии, когда надо было постоянно что-то делать, делать, ДЕЛАТЬ, и в том числе я пропустила два вторничных забега по мосту из-за рабочих дел <…> Но <…> когда перед моими глазами предстал прекрасный вид, это мне напомнило, чтобы я последовала совету старого доброго Ферриса Бюллера и любовалась красотой вокруг себя. Да, возможно, я вернусь к моему предыдущему состоянию концентрации, но по крайней мере у меня есть фото, которая напомнит мне, что надо останавливаться и наслаждаться видом’.

В данном случае изображение репрезентирует не только образно-перцептивную, но и понятийную, и ценностную сторону концепта СОЗЕРЦАНИЕ. Мягкие цветовые переходы закатного неба, плавные линии моста и фонарей на фотографии передают идею умиротворён- ной статичности, экзистенциальной красоты, которую ценит и сам автор поста, и цитируемый им музыкант.

Эмодзи находятся в промежуточном положении с точки зрения репрезентации не одной, а двух или трёх сторон концепта. Поскольку, как уже было показано, для объективации концепта нередко используется одновременно несколько эмодзи, это даёт возможность репрезентировать его разные стороны. Например, в посте, посвящённом отцу автора текста в честь Дня памяти, фразы «We love you and miss you everyday. Watch over us Pop!» ‘Мы любим тебя и скучаем по тебе каждый день. Присматривай за нами, папа!’ сопровождаются эмодзи @ ^ Ор ^ Большая часть из них отражает ценностную сторону концепта ОТЕЦ: значки «лицо со слезой», «разбитое сердце» и «сердце с точкой», передавая такие эмоции, как любовь к отцу и горечь, боль от его потери, отражают важность, ценность отца в картине мира автора поста. Эмодзи «руки, сложенные в молитве» передают не только идею просьбы, для репрезентации которой данный эмодзи используется довольно часто, но и идею того, что отец уже умер, и это слова, обращённые к небу.

Таким образом, концепты, будучи комплексным ментальным образованием, нередко, хотя и не всегда, являются связующим звеном вербальной, параграфической и визуальной сторон креолизованного текста. При этом несмотря на то, что ядро публикаций в анализируемой социальной сети Instagram составляют именно изображения, основным средством репрезентации текстообразующих концептов является собственно текст.

В дальнейшем представляется возможным изучить текстообразующие концепты и способы их объективации в других типах креолизованных текстов, а также выработать единую методику анализа креолизованных текстов и иных полимодальных объектов (в частности, фильмов) с точки зрения концепта как надсемантического образования, получающего реализацию на различных уровнях.