Популярность зрительных образов на фоне прослушивания музыки — абстракций, геометрических фигур, психоделических узоров — наступила с повсеместным распространением легендарного плеера WinАmp. Но история визуализации звука с помощью приборов берет начало гораздо раньше — от осциллографов — и измеряется многими десятками лет.

Осциллограф можно использовать не только по прямому назначению (для диагностики электрических импульсов), но и в более креативном ключе — для демонстрации любопытных анимированных форм и объектов. Для создания таких визуальных образов нужна специальная музыка, и чтобы создавать ее, нужно хорошо разбираться в саунд-дизайне, математике, программировании и нелинейном монтаже: один из таких специалистов — Джеробим Фендерсон. Все изображения и анимация, которые вы увидите в клипе ниже, стали возможными только благодаря звуку.

Чтобы узнать все нюансы создания осциллографической музыки и анимации, а также много других интересных вещей, мы пообщались с австрийским саунд-артистом и аудио-инженером Джеробимом Фендерсоном, который раскрыл перед MIXED•NEWS все карты и посвятил в таинство в эксклюзивном интервью.

Представься, пожалуйста: расскажи о своем музыкальном бэкграунде и жизненном пути. Как ты пришел к нынешнему творчеству?

Привет, меня зовут Джеробим, и я делаю музыку, которая хорошо выглядит на экране осциллографа. Моими первыми музыкальными опытами были странные коллажи из шумов радио на кассетах в 10 лет. Затем несколько лет ушло на старательную имитацию Depeche Mode в программе Magix Music Maker. Потом наступил период нескольких психоделических групп, но в итоге я остановился на экспериментальных звуковых зарисовках и электроакустической музыке.

Лет 15 назад я открыл для себя красоту лабораторного оборудования и впоследствии получил профессиональное образование в сфере электроники и электротехники. В 2013-м вышел мой первый трек с визуализацией звуковых волн на осциллографе, но так как интернет-публику больше волновал вопрос, как рисовать на экране с помощью звука грибы, пришлось поделиться секретом. Так осциллографическая музыка стала реальностью.

«Звуковая палитра осциллографической музыки очень ограничена: например, нельзя использовать фильтры, реверберацию, применять мастеринг-эффекты — от всего этого страдает картинка. Музыкальное разнообразие в данном случае достигается с помощью композиции, и я старался выиграть за счет манипуляций с разными жанрами»

От абстрактных звуковых ландшафтов с шумовыми и глитчевыми элементами ты перешел к аудиовизуальным композициям, которые выстраиваются вокруг специальных синтезированных звуков, синхронизированных с картинкой на экране. Несмотря на мудреное описание, финальный продукт получается довольно танцевальным и запоминающимся. Как произошла кардинальная перемена?

Во время первых серьезных опытов с электронной музыкой меня больше интересовали новации в работе со структурой звука, поэтому на выходе получалось что-то среднее между концептуальным нойзом и саунд-артом. Яркий пример — Nuclear White Noise // Nuclear Black Noise. В первой вариации композиция строится на пропущенном через фильтры шуме, во второй — на синусоидах, полученных с помощью аддитивного синтеза.

Раньше я уже выводил аудиосигнал на экран осциллографа, поэтому знал, что с помощью простых звуковых волн (вроде синусоид) можно дополнить композицию интересным визуальным рядом. Когда я сделал для этого патч в Pure Data, то понял, что теперь смогу не просто часами зачарованно смотреть, как плавно мутируют узоры из зеленых линий. Передо мной открылся целый горизонт возможностей!

Большая часть музыки на экране осциллографа выглядит как волнообразная диагональ, но если вам хочется генерировать сложные визуальные эффекты и изображения (раньше это успешно демонстрировали некоторые демосценеры), то аудиосигнал точно не будет ласкать слух — как, в принципе, и любой случайный набор данных, пропущенных через динамик. Не вопрос, можно просто запрограммировать пару крутых картинок, а сопровождающий их звуковой хаос назвать экспериментальным нойзом, но меня больше привлекает процесс создания звуковых волн, которые приятно слушать и на которые одновременно приятно смотреть — что-то конкретное в противовес абстрактному.

Дебютным опытом стал трек Khrậng — в процессе его создания я впервые обратился к мелодиям, хукам и традиционным песенным структурам. Тем не менее, в нем все равно присутствуют резкие стилистические смены и чересчур восторженное рейвовое нарастание, которое так и не переходит в дроп, внезапно обрываясь. Я сделал шаг навстречу поп-элементам, но все равно использовал их как составные элементы мета-композиции.

Альбом Oscilloscope Music вышел куда менее эксцентричным: у слушателя гораздо больше времени понять, что к чему. Визуально каждый трек посвящен отдельному стилистическому элементу и строится на его основании. Звуковая палитра осциллографической музыки очень ограничена: например, нельзя использовать фильтры, реверберацию, применять мастеринг-эффекты — от всего этого страдает картинка. Музыкальное разнообразие в данном случае достигается с помощью композиции, и я старался выиграть за счет манипуляций с разными жанрами.

А ведь на такой глобальный пересмотр концепций и саморазвитие уходит не год и не два. Как давно ты открыл в себе интерес к скрещиванию звука с изображением?

Взаимосвязь звукового ряда с визуальным интересовала меня задолго до того, как я попробовал что-то сделать самостоятельно.

Я давно влюбился в работы таких ранних режиссеров-абстракционистов как Оскар Фишингер и Ганс Рихтер, и восхищаюсь тем, как тесно им удалось переплести картинку со звуком, обладая довольно ограниченным набором технических средств. Я техник по натуре и творческому складу, мой подход довольно прагматичен: один сигнал для аудио и видео.

«Мне не пришлось искать собственный изобразительный язык, годы работы и экспериментов с осциллографами дали о себе знать — я всегда видел звуковые волны именно так»

Разъясни нашим читателям техническую сторону вопроса. Вроде бы сначала ты создаешь трехмерную модель в Blender (программа для работы с анимацией и 3D-графикой), затем делаешь рендер, а по итогу каким-то дивным образом сочетаешь с музыкой. И все-таки, как у тебя получается делать именно такой нестандартный материал?

Blender — это просто один из инструментов, все верно, но начнем с основ: чаще всего я рисую векторную графику с помощью аудиосигналов. Левый канал используется для горизонтального (x-координата), а правый — вертикального (y-координата) отклонения луча света на экране осциллографа. Процесс отчасти напоминает принцип работы механической игрушки для рисования Etch-A-Sketch, где картинка появляется при вращении двух ручек: одна управляет движением маркера вверх-вниз, другая — слева-направо.

Я делаю то же самое, только вместо механических ручек используются аудиосигналы, которые прорисовывают изображение десятки раз в секунду со скоростью слышимых частот. Простой пример — круг, он прорисовывается с помощью синуса в одном канале и косинуса — в другом. С повышением питча мы все равно получим идентичную картинку, потому что частота прорисовки круга в секунду ничего не меняет. Но если меняется изображение, меняется и звук — это аксиома. Чем сложнее картинка, тем ярче прослушиваются обертоны: звук становится все более полнотелым и в определенный момент — довольно резким.

Здесь начинается самое интересное и сложное. Иногда я использую не два, а сразу три канала, чтобы задействовать x, y и z-координаты (например, для 3D-рисунков). Затем я пропускаю трехканальный сигнал через специальный процессор, который конвертирует его в дополненный двухканальный. Появляется перспектива: элементы на заднем плане будут меньше чем на переднем — как трехмерная графика на экране компьютера. На этом этапе снова применяется Blender. Ханси Рабер, который сделал большой вклад в мой проект, написал программу OsciStudio, которая берет данные координат из Blender-проекта для каркасной модели и затем конвертирует ее в звук. Кроме того, в OsciStudio есть MIDI и секвенсор — как и в большинстве виртуальных студий. OsciStudio была одним из моих основных инструментов в процессе создания альбома, а трек Blocks сделан в ней полностью.

Чем отличается сигнал видеосинтезатора от картинки, которую «рисуют» твои треки?

Видеосинтезатором может считаться любое устройство, которое создает анимированное изображение в соответствии с параметрами получаемого сигнала. В моем случае звук и видео генерируются одновременно с помощью аудиовизуального синтеза. Сигнал, который отображается на экране осциллографа подается и на динамики.

Несколько ранних работ в схожей эстетике были сделаны с помощью видеосинтезатора Rutt/Etra еще в 70-х. Это уникальный и полностью аналоговый растровый инструмент, с которым я бы с удовольствием повозился и разобрался бы, как с его помощью делать аудиовизуальную музыку. Но насколько мне известно, их выпустили буквально несколько штук, так что мои шансы, к превеликому сожалению, весьма и весьма невелики, а жаль.

«Самый большой объем работы в процессе создания Oscilloscope Music был связан с программированием, а для меня это предельно креативный процесс»

Может ли условный джаз-бэнд либо электронный исполнитель без специально подготовленного материала сгенерировать осциллографические изображения своей музыкой вживую? Существует ли техническая возможность совмещать аудиовизуальный сигнал, например, с фидбеком видеокамеры в прямом эфире?

Есть несколько вариантов применения осциллографа для создания визуального ряда. Например, его можно использовать для изображений, которые не генерируются музыкой напрямую, но синхронизированы с помощью специальных триггеров. Такой подход практиковал Adoxo во время лайв-сетов и для съемки клипов Clark пару лет назад.

Другой вариант — показывать фигуры Лиссажу (замкнутые траектории) отдельных звуков из общей аранжировки. Так делал Роберт Хенке во время своих шоу Lumière, используя несколько лазерных проекторов вместо осциллографов. Вышеупомянутые методы становятся возможными благодаря OsciStudio или моим патчам для Max For Live, если включить MIDI и совмещать живой звук с синтезаторами (либо можно его вообще заглушить).

Конечно же, можно подключить гитару или любой другой инструмент напрямую в осциллограф ради
абстрактных волнообразных линий — ярким примером такого подхода является группа Tame Impala. И конечно же, можно совместить любой видеосигнал с лайв-фидбеком и другими эффектами, но для меня лично технические ограничения — это хороший повод заранее определиться с направлением, в котором я буду работать. Ограничения пробуждают амбиции выйти за пределы медиума.

Расскажи о себе как перфоманс-артисте. Как Джеробим Фендерсон выступает вживую? Тебе больше нравится играть сольно или вместе с другими? Чего стоит ожидать, приходя на твой концерт?

Чаще всего я выступаю в одиночку. Предпочитаю клубные пространства с большим экраном для проектора, но без лишнего освещения и других отвлекающих факторов. Вживую я обычно играют что-то на грани техно, вполне танцевальную музыку, но с медленными, гипнотическими частями. Также доводилось играть в арт-галлереях и хакерспейсах, иногда — перед сидящей аудиторией; в таких случаях я играю более размеренные сеты. Пару раз ко мне на сцене присоединялся Ханси: тогда на сцене появляется два подмостка с осциллографами, а мы располагаемся позади и позволяем себе удариться в импровизацию, во что-то более абстрактное.

«Сейчас я как раз обновляю свой сет новым материалом, чтобы получить больше гибкости в процессе живых выступлений. Хотелось бы отыграть в 2017-м побольше шоу. Так и передайте это всем букинг-агентам и промоутерам вашего города!»

Для редакции MIXED•NEWS знакомство с твоим творчеством произошло совершенно случайно. Мы наткнулись на ролик, где речь шла как раз об аудиовизуальной музыке, и обратили внимание на наслоение артефактов при воспроизведении твоих треков на старом осциллографе Tektronix (прибор пережил несколько сложных ремонтов, но дисплей по-прежнему грешил). Кто-то считает это нежелательным, а для кого-то все наоборот: это добавляет картинке шарма, аналоговой теплоты что-ли, очарования ошибки и несовершенства. Твои оригинальные видео, как и рендеры программного эмулятора, выглядят совершенно иначе: четко, резко, стерильно. Контраст разительный, будто две разных эстетики. У тебя есть четкая формула и видение, каким должно быть изображение на экране? Или ты готов смириться с любым результатом?

По моему мнению, идеальная форма — как в лаборатории: видео отображается на осциллографе с идеальным дисплеем, подается максимально точный сигнал, а музыка играет через наушники с оптимальной, то есть плоской АЧХ. Тем не менее, это только мое личное предпочтение — аудиовизуальная музыка прекрасно работает и с другими сетапами.

Визуальные погрешности возникают из-за потерь в сигнале между исходными данными и экраном
(компрессия, низкая частота семплирования, аудиовыход с фильтром низких частот, плохие кабели и так далее) — как если бы отлично спродюсированную музыку слушали на маленьком кухонном радио. Может, субъективно это и добавляет шарма (как реально крутой хипстерский радиоприемник со светящимися в темноте лампами), но о воспроизведении всех деталей на уровне высококачественной акустической
системы речь даже не идет.

Расскажи, как выглядит твоя студия, какая аппаратура у тебя есть в коллекции.

Собственной студии у меня пока нет, зато есть уголок в темном подвале, набитый электрическими приборами и большими шумными машинами. Там можно найти компьютер, Eurorack-модуль и верстак, захламленный не имеющим отношения к музыке оборудованием и инструментами — для ремонта аналоговых синтезаторов и пайки разных девайсов. Для материала, над которым я работал в последнее время, этого вполне достаточно. В другом месте хранится моя коллекция старых синтезаторов и оборудования, которой я когда-нибудь хотел бы снова найти применение. Сейчас я в процессе поиска помещения под все это добро, но боюсь, что буду скучать по раздражающему звуку гравировального станка.

«Бесспорно, вдохновение играет важную роль, но я не люблю начинать работу над проектом без понимания, к чему это все приведет и что получится в итоге»

Как ты относишься к мэшапам?

Обычно я выступаю на стороне освоения и придания новой формы музыке и другим формам искусства. Есть отличный документальный фильм Кирби Фергюсона Всё — ремикс, который очень интересно и подробно исследует эту тему.

Для винилового издания Oscilloscope Music большая часть треков была ремикширована — я восхищен результатами работы других артистов. Сейчас я просто не смог бы слушать оригиналы без привязки к соответствующим кадрам в голове, а люди, которые подошли к этим трекам непредвзято, могут уделить внимание различным аспектом и представить всё в совершенно ином свете — это как глоток свежего воздуха. Причем треки с винила будут изданы по лицензии Creative Commons для любого некоммерческого использования.

«Хотелось бы верить, что наконец-то появятся адекватные законы-регуляторы авторского права, не такие как сейчас — до смешного устаревшие и противоречащие друг другу в разных странах»

Когда кампания по сбору средств на Kickstarter в поддержку релиза Oscilloscope Music (аудиовизуальный альбом + софт) достигла начальной цели, наступило время для самого амбициозного вызова в твоей карьере — бонус-трека в формате стереоскопического 3D.

Я до сих пор работаю над трехмерным бонусом — это будет специальная версия трека Blocks. Вот именно, что вызов — это довольно затратный по времени процесс, но финальный результат будет стоить того.

Что после такого нестандартного опыта со скрещиванием объемного звука и трехмерного изображения? Чего бы ты хотел добиться еще?

Есть пара идей для новых проектов. В частности, я хотел бы уделять больше времени экспериментам с киноскопическим проектором, который модифицирован под режим работы RGB-осциллографа. Затем можно вернуться к чему-то попроще, почему бы и нет.

Как бы ты себя охарактеризовал: как человека вдохновения или дисциплинированного продюсера, который не боится рутины? Как далеко тебя может завести воображение и креативный голод?

Бесспорно, вдохновение играет важную роль, но я не люблю начинать работу над проектом без понимания, к чему это все приведет и что получится в итоге. Чаще всего, если начальная концепция размыта, я буду разрабатывать ее с разных сторон, пока не пойму, что хочу получить в итоге. Когда есть план, нужно просто довести процесс до логического завершения. Самый большой объем работы в процессе создания Oscilloscope Music был связан с программированием, а для меня это предельно креативный процесс — думаю, большинство музыкантов под вдохновением подразумевает явно не решение математических задач.

«Есть большая вероятность, что какая-нибудь долбаная корпорация убедит всю индустрию, что их софт для генерации музыки самый крутой. И они будут собирать все роялти!»

Как ты относишься к искусственному интеллекту и его шансам стать не просто свежей кровью музыкальной индустрии, а ее новой инкарнацией со всеми полагающимися атрибутами: хитами, звездами, охотниками за талантами, карьерами, контрактами, взлетами-неудачами и, конечно же, желанием закрепить за собой авторство и соответствующие права?

Большая часть музыки построена на тех или иных алгоритмах, значит научить машину сочинять не так уж и тяжело. Синтезированию, аранжировке и сведению — ощутимо сложнее, но по-прежнему возможно. Есть вероятность, что уже через пару лет будет достаточно сказать компьютеру, какую музыку вы хотите послушать и он мгновенно сгенерирует для вас что-то свежее на ваш вкус (чтобы будущее для Фендерсона наступило чуть быстрее, мы поделились с ним ссылкой на Mubert — Джеробим остался доволен).

Другое дело — эмоциональная связь с публикой. Не по причине какой-то романтизированной чувственности или энергетики, которую невозможно эмулировать, вовсе нет — когда все могут всё, сразу же становится скучно. Когда музыка начинает, по сути, делать себя сама, чрезвычайно важным становится, как ее преподносят и раскручивают, так что привычная роль артиста может претерпеть серьезные изменения. К тому же, есть большая вероятность, что какая-нибудь долбаная корпорация убедит всю индустрию, что их софт для генерации музыки самый крутой. И они будут собирать все роялти!

Насколько реалистичен сценарий, при котором ты начинаешь работать с ИИ над каким-нибудь проектом? Стал бы полагаться на машинное обучение и генеративные сети?

Может быть, в этом году я попробую сделать что-нибудь в этом духе. С другой стороны, придется учить очень много технических трюков, так что ничего обещать не буду.

Что ждет музыкальную индустрию, общество, а также Джеробима Фендерсона лично в перспективе ближайших 5 лет?

Музыкальная индустрия? Во-первых, хотелось бы верить, что за это время наконец-то появятся адекватные законы-регуляторы авторского права, не такие как сейчас — до смешного устаревшие и противоречащие друг другу в разных странах. Во-вторых, что сбором и распределением займется децентрализованное, основанное на блокчейне авторское сообщество Cultural Commons Collecting Society. Общество? Все внезапно поймут, что голосовать за правых популистов было глупой идеей и всё может быть гораздо лучше. Джеробим Фендерсон? Будет писать музыку и постить GIF-картинки со своим котом на Reddit.

В материале использованы фотографии Клары Уильдбергер, Якоба Иссельштайна и Klub Moozak