Искусственные звуковые среды: создание, моделирование, применение

Звуковой ландшафт – это совокупность акустических элементов, формирующих иммерсивную среду и создающих эффект погружения в искусственно сформированное пространство. По своей сути, это система звуков, образующаяся в окружающей среде и включающая как естественные акустические явления, так и звуки, создаваемые человеком и технологиями.

Звуковой ландшафт – важная часть культурного пространства, выраженного через звук. Впервые данный термин был введен M. Southworth [13] и получил широкую известность благодаря исследованиям R. M. Schafer [9].

Звуковой ландшафт – не только предмет научных исследований, но и играет значимую роль в культурной, социальной и экологической сферах. Его изучение и регулирование способствует улучшению акустического комфорта, снижению уровня шумового загрязнения и сохранению уникального звукового облика различных мест.

Развитие данной области привело к переходу от анализа существующих звуковых ландшафтов к созданию искусственных акустических сред. Если ранее исследования были сосредоточены на изучении структуры звукового окружения и его влияния на человека, то в настоящее время внимание все больше уделяется целенаправленному проектированию звуковых пространств.

Современные технологии не только позволяют документировать и анализировать звуковые ландшафты, но и дают возможность создавать искусственные акустические среды, которые могут как воспроизводить природные звуки, так и формировать совершенно новые звуковые композиции, значительно расширяя спектр их практического применения.

Искусственный звуковой ландшафт – это акустическая среда, образованная с применением алгоритмов и математических моделей. Этот метод позволяет создавать динамичные саундтреки, изменяющие как в реальном, так и в виртуальной пространстве.

Ранее предпринимались попытки разработки вычислительных моделей для генеративных звуковых ландшафтов. В статье 1998 г. [8] авторы предложили метод автоматизированного создания звуковых пространств в рамках проекта Аудио Аура (Audio Aura), где динамически генерировались морские звуковые пейзажи для передачи информации в различных приложениях, включая уведомления по электронной почте. Однако этот подход ограничивался узким набором звуковых источников и был сосредоточен исключительно на отображении информации.

Исследование D. Birchfield et al. [2] и коллег основано на вероятностном отборе звуковых дорожек, соответствующих концепции R. M. Schafer о ключевых и сигнальных звуках. В данной модели использовался лексический поиск через WordNet, а изменяющиеся вероятности активации звуков в ответ на действия пользователя создавали динамически развивающуюся звуковую среду, приближенную к естественной акустической обстановке. Этот метод базируется на принципах акустической экологии и предоставляет основу для автоматизированного формирования как реалистичных, так и воображаемых звуковых пространств.

Другое исследование, проведенное N. Finney и J. Janer [5], рассматривает использование неструктурированных звуковых баз данных для озвучивания виртуальных сред. В их методе применяется конкатенатив-ный синтез, позволяющий генерировать звуковые ландшафты из аудиоматериалов, загруженных онлайн-со-обществами, таких как Freesound. В рамках этого подхода разработана система генерации звуковых пейзажей для Гугл Стрит вью (Google Street View). Дополнительно модель включает параметризацию входных данных и ресинтез с несколькими слоями исходных и текстурных звуков.

Также изучается система аннотирования звуков [12], в которой разбираются вопросы семантики и пользовательского восприятия, предлагается методология структурированного аннотирования для повышения точности и эффективности процесса.

В работе [11] тестируется влияние звукового дизайна на ощущение присутствия в виртуальной реальности. Приведены предварительные результаты, позволяющие сопоставить восприятие реальных и виртуальных звуковых ландшафтов.

Кроме того, в обзоре [7] систематизированы существующие методы создания звуковых сред, сгруппированные по используемым технологиям, источникам звуков и их применению.

Исследование [3] посвящено системе Каминг Тугезе: Фри саунд (Coming Together: Freesound), в которой четыре автономных агента выбирают звуки из предварительно проанализированной базы данных, ориентируясь на их спектральные характеристики и метаданные.

В другом проекте [4] рассматриваются принципы проектирования автономного движка генерации звука, а также проблемы, связанные с параметризацией поиска, сегментацией и синтезом.

Обзор D. Schwarz [10] посвящен методам анализа, используемым в синтезе звуковой текстуры. В нем рассматриваются такие техники, как сегментация, статистическое моделирование, анализ тембра и моделирование переходов между звуками.

Итак, рассмотренные работы демонстрируют разнообразие подходов и инструментов для конструирования искусственных звуковых сред. Они основаны на генерации определенного аудиального оформления с использованием базы данных звуковых файлов. Акценты сделаны на процессе внедрения звуков в систему и дальнейшее их существование, в частности адаптация к текущим условиям.

Лучшая аналогия для составления звуковых ландшафтов – это коллаж. Один из способов думать о создании звуковых ландшафтов – как о форме звукового коллажа, где вместо фрагментов изображений нужно работать с аудиофайлами, размещенными на нескольких дорожках в цифровой звуковой рабочей станции.

Если придерживаться аналогии с коллажем, то они работают в мире 2D-изображений так, что каждый элемент должен быть интересным сам по себе, а затем, когда он сочетается с другими увлекательными частями, общее визуальное воздействие становится сильнее. Если каждый элемент слаб, итоговый коллаж не будет выразительным. Звуковой ландшафт сцены служит основой всего микса, являясь ориентиром для восприятия и понимания всех остальных элементов саундтрека.

Таким образом, создание звуковых ландшафтов – это форма искусства, объединяющая музыку и эмоции. Осваивая такие техники, как наложение слоев, пространственное проектирование и тематическая интеграция, специалист может создавать захватывающие звуковые миры, которые погружают слушателей в увлекательные, многослойные и насыщенные пространства.

Приведенные ниже ресурсы предлагают готовые инструменты для генерации звука в реальном времени. Более подробное изложение методов можно найти в статье автора, посвященной подготовке искусственных звуковых ландшафтов для техногенных объектов [1]. Основное внимание уделяется использованию цифровых технологий, таких как редактирование записанного звука (включая пространственную, динамическую и частотную обработку), а также генерированию звуков без готовых аудиофайлов. В рамках проекта рассматриваются два подхода к генерации музыки и звуков: генеративное и процедурное аудио (рис. 1).

- Использует алгоритмы и математические формулы - Генерирует неповторимые саундтреки

- Не требует постоянного взаимодействия

-Адаптируете як изменениям

- Использует параметры окружающей среды и взаимодействие

- Звук генерируется в

^.реальном времени

Рис. 1. Сравнение методов: генеративное и процедурное ауди о

Генеративное аудио – это метод создания звука с помощью алгоритмов и математических моделей, который позволяет формировать уникальные, динамически изменяющиеся саундтреки, способные адаптироваться к текущей обстановке.

Одним из востребованных инструментов генерации звуков может быть процедурное аудио, «это звук как процесс, в отличие от звука как продукта. … Процедурное аудио – это нелинейный, часто синтетический звук, создаваемый в реальном времени в соответствии с набором программных правил и живым вводом» [6].

Используя процедурное аудио, звукорежиссеры могут писать глубоко интегрированные звуковые ландшафты, которые реагируют на действия слушателя и среду связным и правдоподобным образом.

«Процедурный звуковой дизайн – это звуковой дизайн как система, алгоритм или процедура, которая перестраивает, объединяет или манипулирует звуковыми активами таким образом, чтобы они могли: производить большее разнообразие результатов (вариативный или неповторяющийся дизайн; быть более восприимчивым к взаимодействию (параметризация)» [14; p. 492].

Процедурное аудио часто рассматривается как подмножество звукового синтеза и особенно полезно для нелинейных медиа, таких как видеоигры, виртуальная реальность и интерактивные аудиовизуальные инсталляции.

Преимущества процедурного аудио включают:

• 1.    Широкий звуковой диапазон – возможность генерировать разнообразные звуки, что увеличивает вариативность звучания.

• 2.    Экономия памяти – поскольку звук генерируется в реальном времени, отпадает необходимость в хранении больших аудиофайлов.

• 3.    Адаптивность – музыкальное сопровождение может подстраиваться под игровые или виртуальные условия.

• 4.    Динамичность – звук способен изменяться в ответ на изменения условий окружающей среды.

Здесь следует использовать аудиобиблиотеку и игровой движок для внедрения процедурного звука и генеративной музыки в произведение. Это может включать написание кода, создание алгоритмов и проектирование аудиоресурсов.

Реализация процедурного звука может быть трудоемкой, требующей глубокого понимания программирования звука и алгоритмов, потребовать больших вычислительных ресурсов, что может повлиять на производительность. В качестве примеров успешной реализации процедурного аудио можно привести некоторые проекты. Например:

• 1.    Spore [17] – игра-симулятор жизни. Используется генеративная музыка для создания динамичного саундтрека, который адаптируется к действиям игрока.

• 2.    Minecraft [15] – игра-песочница. Процедурный звук применяется для генерации звуков в виртуальном мире, основанном на блоках (рис. 2).

• 3.    Выставки бюро «Planet 9» [16]. Например «Первая позиция: русский балет» «Балабанов», «Панк-культура. Король и Шут». Зрители

ходят в наушниках по залам. При перемещении из одной точки в другую в персональном устройстве может измениться звук (рис. 3).

Рис. 2. Игровая локация Minecraft

Рис. 3. Иммерсивный аудиоформат на выставках Planet 9

Можно сказать, что процедурный звук и генеративная аудио – инструменты, которые поднимут игровой опыт на новый уровень, обеспе- чивая более захватывающую и увлекательную среду. Понимая преимущества и проблемы этих методов, есть возможность создавать более динамичные и адаптивные аудиосистемы, которые улучшают общий игровой опыт. Включение процедурного звука открывает новые возможности для творческого самовыражения и вовлечения пользователей.

Так, представленные ресурсы могут стать основой базы данных, необходимой для введения звука в проект. Рассмотрим варианты такого применения. Генерация звуковых ландшафтов становится ключевым инструментом для создания аудиальной среды в виртуальном пространстве. Эта система может быть использована для формирования звукового окружения в искусственных средах, помогая пользователям интуитивно ориентироваться в новых или незнакомых пространствах с помощью звуковых маркеров, которые имитируют поведение реальных звуков. Применение звуковых ландшафтов:

• 1.    Кино и видеоигры – передача атмосферы сцен через звуковые элементы, например морское побережье с шумом волн и криками чаек или городской ландшафт с гулом машин и звуками толпы.

• 2.    Радио и подкасты – использование звуков для создания реалистичной обстановки, например в культурных или образовательных передачах, чтобы погрузить слушателя в атмосферу определенного места.

• 3.    Аудиокниги – формирование трехмерного звукового пространства, позволяющего слушателю ощутить присутствие в конкретной локации.

• 4.    Театр – использование звуковых ландшафтов для воссоздания сложных сценических локаций, таких как горы, джунгли или вулканы, что усиливает эмоциональное воздействие на зрителя.

• 5.    Выставки. Использование звуковых ландшафтов позволяет дать более полное впечатление об эпохе, выдающемся деятеле, представить звуковые образы прошлого. Например, бюро «Planet 9» использует не акустическую систему в залах, а наушники. Так, можно говорить о человекоориентированном подходе: каждый посетитель получает возможность самостоятельно определять, сколько будет длиться звуковое оформление определенной локации.

Концепция искусственного звукового ландшафта позволяет говорить о саундтреках к фильмам, играм, спектаклям, выставкам, подкастам более целостно: не только как о музыке, сопровождающей последовательность сцен в фильме, но и как о сложном сочетании диалогов, музыки и звуковых эффектов, которые в совокупности помогают закрепить впечатления зрителя от увиденного.

Итак, в статье рассмотрена концепция искусственных звуковых ландшафтов, которые создаются с использованием вычислительных моделей, алгоритмов и математических формул. Эти звуковые среды могут быть динамичными и адаптироваться к изменениям в реальной или виртуальной среде, что делает их важным инструментом в различных областях: кино, игры, музыка и выставки.

Ранее разработанные модели демонстрируют использование звуковых баз данных и вероятностных методов для создания адаптивных звуковых ландшафтов, где звуки меняются в зависимости от поведения пользователя, создавая иллюзию динамично развивающегося природного ландшафта. Также обсуждаются работы, использующие методы синтеза и параметризации звуков, а также исследования, направленные на улучшение ощущения присутствия в виртуальных средах через звуковое оформление.

Обсуждаются два основных подхода к генерации звуков: генеративное (создание звуков с помощью алгоритмов) и процедурное аудио (генерация звуков в реальном времени по заданным программным правилам). Процедурное аудио особенно эффективно в интерактивных средах, таких как видеоигры и виртуальная реальность, так как оно создает звуковые ландшафты, которые адаптируются к действиям пользователей.

Искусственные звуковые ландшафты находят применение в различных областях, таких как музыка, кино, подкасты, аудиокниги, театр и выставки. В каждом случае звуковое оформление помогает создать уникальную атмосферу и способствует более глубокому погружению в создаваемое пространство. Например, в театре и на выставках звуковые ландшафты могут передавать ощущение определенной эпохи или локации для эмоционального воздействия на зрителя.