Визуализация музыкального произведения: образовательные возможности и программные продукты

Изучение музыкального произведения, в том числе постижение его с применением «живого» нотного текста электронного формата, отображением в реальном времени интервального и тонального наполнения, взамен статичным нотным клавирам, с применением визуализации вариантов исполнения на инструменте, в том числе посредством нотной клавиатуры, аппликатуры струнного инструмента - перечисленное доступно посредством программных продуктов визуализации музыкального произведения.

В данной работе мы обратимся к раскрытию основных характеристик и возможностей такого рода программных продуктов в образовательном процессе.

Актуальность видится в том, что нотные редакторы, миди-секвенсоры, пианороллы, радиальные драм машины – программные продукты привлекающие практиков и мало теоретиков, описывающих и систематизирующих наблюдения и достижения в этой области.

Обратимся к понятию «визуализация музыки» в современных исследованиях. Отечественный исследователь, художественный критик в области теории и истории искусств – Тамара Александровна Зиновьева, в своем обзорном очерке «Визуализация музыки» [3] рассматривает три способа визуализации музыки : иллюстративный, элементарный и структурный.

Кратко раскрывая суть трех способов, их характеристика предстанет в следующем: первый - наиболее распространённый способ подбора изобразительных эквивалентов к музыке - иллюстративный - к музыке подбирается образ, соответствующий теме и настроению прослушиваемого произведения; второй способ организации параллельного видеоряда -элементарный - предполагает поиск изобразительных эквивалентов отдельным элементам, составляющим музыкальную форму (нотам, тембрам, темпам, ритмам, тональностям); третий способ - структурный -устанавливает эмоциональную эквивалентность музыки и изображения на уровне структур, обладающих художественной целостностью, создание изобразительного целого, соответствующего строению музыкального произведения или его фрагмента.

При этом, Т.А. Зиновьева, замечает, что: «...музыка должна «подходить» к словам, движениям, зрительным образам: во-первых, по формальным параметрам, обеспечивающим синхронность восприятия информационных каналов; во-вторых, по эмоциональному содержанию». И с этим положением автора мы полностью согласны.

Одним из немногочисленных трудов по вопросам визуализации музыки выступает диссертационное исследование в области «музыкального образования» Этана Хейна из Нью-Йоркского университета «Конструктивистская система учебника ритма IOS для начинающих»[8], основные положения которого доступны на русском языке в его статье «Визуализация музыки: от традиционных подходов к современным интерфейсам» [7]. Так, Э. Хайн «визуализацию музыки» подразделяет на виды. «Отображение данных посредством программных продуктов, разного рода. Одни программы конструируют визуализацию информационного характера в виде волн, сеток и линейных граф, другие исключительно декоративные и создают психоделическую наполовину случайную графику… существуют и такие системы, которые представляют собой нечто среднее, они могут помочь лучше понять принцип действия музыки и найти новые оригинальные композиционные приемы» [7].

Отдельные материалы по теме визуализации музыки принадлежат, в частности, композитору Алексею Архипенко (Alexey Arkhipenko, он же автор статьи с одноименным названием в Wikipedia) «Music visualization», в которой обозначена краткая историография становления применения музыкальной визуализации, начиная с 1976 г. Согласно А. Архипенко, «визуализация музыки» есть не что иное, как «реализованные электронными визуализаторами музыки и программным обеспечением медиа-плееро в анимированные образы на основе музыкального произведения в режиме реального времени и таким образом синхронизированное с музыкой» [2].

Данной теме посвящены и статьи на страницах сайта «Design Observer» [4], специализирующегося на вопросах дизайна, социальных инноваций и вопросах массовой культуры. Например, материалы от журналиста Роба Уолкера (Rob Walker) – «Музыкальное видео: перезагрузка» (от 26.01.2015) [9], в которых приведен термин «техникоориентированная визуализация» как воплощение компьютерными средствами сочетания изображения, звука и идеи. Автор материалов анализирует современные музыкальные клипы (приведены примеры сочетания изображений посредством компьютерного наложения нескольких видео, эксперименты с фактурами и материалами, на которые воздействует звуковая волна, динамичное видео с задействованием нескольких гаджетов и пр.), но его выводы интересны нам по причине того, что поднята сама идея изучения явления визуализации и компьютерных возможностей.

Таким образом, «Визуализация музыки» – термин, который понимается нами следующим образом: динамическое изображение, сопровождающее звуковой материал в сопряжении с изменениями в нотах в зависимости от их характеристики (высота, длительность, тембр, фактура и пр.), служащее дополнительной информацией для активизации процесса восприятия.

Современные существующие программные продукты, функционал которых позволяет выполнить полностью или частично задачи в процессе изготовления визуализации музыкального произведения, в настоящее время полностью ориентированы на формат работы с «midi» файлами.

« Musical Instrument Digital Interface» (MIDI) – цифровой интерфейс инструментов, формат обмена данными между электронными музыкальными инструментами, представляющий собой пример кодированного сообщения (кодированию подвергаются следующие характеристики звука: динамика, тембр, темп, тональность, высота с привязкой ко времени). Данный формат воспроизводится синтезаторами, секвенсорами.

Рассмотрим формы работы на дисциплинах музыкальнотеоретического цикла , которые возможно сопровождать и дополнять компьютерными программными средствами.

Работа с музыкальным диктантом – проверка, прежде всего способ самопроверки. Данная форма предназначена для дисциплин сольфеджио, теория музыки, инструментовка - представляет собой работу над музыкальным диктантом и освоением навыков записи звучащего произведения в нотном выражении (длительности, высота, ключи, тональность, паузы, фактура). Лучше всего подходят программные средства для перевода в ноты одноголосных сочинений – наиболее четко и приближенно к оригиналу. Сложнее с тембровыми диктантами симфонических произведений, композициями с гомофонно-гармоническим и полифоническим типами фактуры. При всем большом недостатке – со штилями, расположениями по нотным станам, излишними темповыми нагромождениями, полученными при автоматическом переводе, что требует потом доработки, при дальнейшем необходимом использовании. Существует неоценимое преимущество таких программ (например, современная в настоящее время версия «Sibelius 8.6») – создание основы из нотного текста – ориентир для профессионала, материал для самопроверки в процессе обучения при самодиктанте. В ряде редакторов включен функционал по выгрузке формата «.pdf» от импортируемого midi файла в редактор.

Программные средства, при всех своих недостатках при отображении тембров, вполне способны выстроить партитуру, которая в свою очередь может послужить канвой к записи нотного текста. Речь идет о партитуре инструментов, нотируемых в разных ключах, хотя бы для создания нотного стана и «чернового» нотного текста.

Схема 1

Пошаговый алгоритм создания нотного клавира или видео-визуального пособия

Звуковой   файл необходимой композиции	Перевод в midi формат	Импорт midi-файла в программу-редактор нотного текста		Pdf выгрузка клавира/ партитуры
или				Методическое пособие по изучению музыкального произведения с «живой» нотной видео-визуализацией
Набор нотного текста вручную

Дополнительное предназначение в образовательном процессе -применение в качестве средства по экономии времени при создании шаблонного материала для конструирования преподавателем методического пособия по музыкальной литературе, слушанию музыки, истории музыки - для доработки, которая объективно займет меньше времени, чем создание композиции с самого начала – пусть это даже будут ноты, которые уже не надо набирать вручную. Речь идет о создании видео-методических пособий по изучению музыкальных произведений с автоматическим курсором на звучащем в конкретный момент времени музыкальном фрагменте. Можно оформлять партии, темы, разделы и целые музыкальные композиции, сохраняя тембры, преобразуя тембры, создавая вариантные модели. Некоторые программы наделены функцией прямой публикации-выгрузки видео рабочего окна редактора в «You Tube». Если же нужна доработка текста, полученного от преобразования звукового файла, невозможно по каким-либо причинам отправлять материал напрямую для всеобщего доступа, – то можно обратиться к функционалу программ скрин-рекордеров видео (например, «Screen Recorder» [6], «Icecream Screen Recorder», «Atomi ActivePresenter») с экрана монитора компьютера (в ручном режиме настроить область и осуществить запись конкретного фрагмента музыкальной композиции, что незаменимо при подготовке видео партий, тем, разделов, а не всей композиции) и программам-редакторам видео, функционал которых включает корректировку длительности файла и дефектов звуковой дорожки, создание заголовков и пр. (например, «Movie Maker 7.3», «VSDC Free Video Editor», «Camtasia Studio 7.7» [5]).

Получение нотного текста в редакторе возможно либо через ручной набор текста в нотный редактор, или загрузки файла формата «.midi». В настоящее время практически любой формат звука и видео можно преобразовать в «миди файл» при помощи программ – конверторов форматов (например, «Format Factory», «WIDI Recognition System Professional 4.03», «WIDI Recognition System Standard 4.03»).

Визуализация произведения для интервального, аккордовогармонического, тонального анализа. Данный тип визуализации является наиболее специфичным и адресован профессиональным музыкантам, знающим основы теории музыки, способным соотнести числовые значения со ступенями и положением аккордов, музыкантам имеющим навык анализа тональностей и трактовку родства тональностей, выстроенных в редакторе по кварто-квинтовому кругу. Приемлемо применять в ходе дисциплин теории музыки, анализа музыкальных произведений, гармонии.

Для создания такой видео-визуализации необходимо программное обеспечение «MAMPlayer». К данной программе существует подробное описание на английском языке [1], суть создания визуализации довольна логична и имеет ряд вариантов – шаблонов.

Рассмотрим возможности данной программы.

Отображение звука «интервалами» (чем больше расстояние между одновременно звучащими звуками, тем больше длина соединения). Т.е. программа способна отображать визуально «узкие» и «широкие» интервалы.

Отображение ступеней, использованных в музыкальном фрагменте. Все ступени представлены цифрами (без различия регистров, но будет полезно при анализе гармонических функций), где нота «до» выражена цифрой «1», «до#» цифрой «1#» и т.д. При звучании нескольких разных ступеней отображаются несколько цифр, которые удобно складывать в аккорд.

Отображение «компаса»-«колеса» тональностей, задействованных в музыкальной композиции. Данное «колесо» состоит из трех окружностей: внутренняя - высвечивает тональности звучащие в настоящий момент, вторая окружность – высвечивает только что звучащие тональности, внешняя окружность указывает на наиболее часто появляющиеся в композиции тональности.

Схема 2

Возможности использования «МАМPlayer» на дисциплинах музыкально-теоретического цикла

Исходный миди файл	Простое графическое волновое отображение звука
	Отображение звука «интервалами».
	Отображение ступеней, использованных в музыкальном фрагменте.
	Отображение «компаса»-«колеса» тональностей, задействованных в музыкальной композиции.

При желании, помимо непосредственного использования программы «MAMPlayer» на дисциплине (переключаясь, например между режимами – от интервального – к тональному), материалы визуализации, полученные от импорта миди файла в данную программу также можно оформить посредством скрин-рекордеров и видео-редакторов, создавая видео-методические пособия.

Следующий тип визуализации осуществляется черед секвенсоры с функцией «пианоролл» - предназначен для обучения на уроках по специальному и/ или дополнительному инструменту и теории музыки при изучении нот и регистров . Идея не нова, первые механические фортепиано (пианороллы) были изобретены в далеком 1852 году Г.Гаунтлеттом. Современная интерпретация идеи, посредством секвенсоров доступна по функционалу программ: «Able MIDI Editor 1.3», «Orion 8.5», «Cubase 5» и др.

Движение нот эквивалентно геометрическим (прямоугольным, треугольным, шарообразным – в зависимости от настроек секвенсора) построениям соответствующей по протяженности длительностям звуков музыкального фрагмента, пространственное положение фигур относительно остальных соответствует высотному положению звуков. Все появляющиеся фигуры скоординированны с движущимися клавишами фортепианной клавиатуры или с аппликатурой на грифе струнных инструментов (разновидность секвенсоров, появившаяся сравнительно, с фортепианным отображением, недавно, например, посредством программного продукта «Friedlander Violin 1.5» и пр.).

Схема 3

Образовательные возможности применения секвенсоров в рамках музыкальных дисциплин

Импорт миди файлов или набор сигналов в секвенсоре или редакторе		Просмотр визуализации посредством отображения движения нот на фортепианной клавиатуре или грифе струнного инструмента в реальном времени.
		Возможность записи скрипта видео с экрана монитора для создания видео-методического пособия.

Материалы данной публикации были апробированы в докладе с элементами практического показа в рамках методического объединения по итогам 2016-2017 уч. года «Теоретического отделения» МБУ ДО «ДШИ №9. Г. Челябинска». Все перечисленные формы работы были апробированы автором в рамках музыкально-теоретических дисциплин МБУ ДО «ДШИ №9 в 2015-16 и 2016-2017 учебных годах.

Одно из высказываний, принадлежащее композитору Фрэнку Заппа: «Говорить о музыке — все равно что танцевать об архитектуре» -в контексте осуществленной статьи приводит нас к размышлению. А именно - по нашему мнению, почему бы не исполнить танцевальную композицию не вместо, а около собора или храмовой постройки, а музыкальную композицию    не сопроводить дополнительным видеорядом, обусловленным ее образным и конструктивным наполнением - дабы достичь активизации восприятия и дополнения информации о самом изначальном образце искусства.