Джесси Энджел играет на необычном гибридном инструменте, в котором переплелись клавикорд и электроорган Hammond, а саунд классической музыки 18 века — с ритм-н-блюзом двадцатого. Одно лёгкое перемещение маркера на экране ноутбука, и инструментальные пропорции в очередной раз меняются, а вместе с ними и звуковой окрас.

«В этом нет ничего общего с игрой на двух инструментах одновременно», — бросает ремарку один из коллег Энджела, Синьон Резник, сидящий в другом конце комнаты. Фраза предельно чётко описывает концепцию происходящего. Cпециальная программа не просто накладывают клавикорд поверх Хаммонда — вместо этого компьютер генерирует абсолютно новые звуки на основании математических характеристик нот обоих инструментов. Разработчики могут провернуть этот трюк с тысячей разных музыкальных инструментов — от скрипки до вибрафона — создавая океан уникальных, никогда не существовавших ранее звуков, отталкиваясь от уже хорошо знакомых. И всё это благодаря искусственному интеллекту (ИИ) и нейросетям.

Энджел и Резник работают в Google Magenta, небольшой группе ИИ-исследователей в составе гигантской интернет-корпорации. Их миссия — компьютерные системы, способные самостоятельно создавать произведения искусства. Гибридный музыкальный генератор NSynth — финальный проект команды. Дебютная демонстрация его возможностей состоится в рамках Moogfest 2017.

В основе NSynth лежит массивная база данных со звуками. Исследователи накопили широкий диапазон нот, сыгранных на тысяче разных инструментов, а затем «скормили» их нейросети. Анализируя ноты, нейросети Google Brain и Deepmind выучили звуковые характеристики каждого инструмента в отдельности, и присвоили им математические «векторы». Используя эти векторы, машина может не просто сымитировать игру условного клавикорда или саксофона, но и создать уникальный саунд, сочетающий черты звука обоих инструментов.

Но продемонстрированный Энджелом в лаборатории Google процессор физико-акустического моделирования — лишь верхушка айсберга. В дополнение к NSynth команда Magenta придумала двухмерный интерфейс, позволяющий исследовать и мутировать «звуковое пространство» меду четырьмя инструментами сразу, но и это не предел. Разработчики хотят развить идею ещё дальше, чтобы создать по-настоящему новые и экспериментальные формы музыкального самовыражения и продакшна. Например, параллельно с созданием звуков в «инкубаторе», другая нейронная сеть сможет мгновенно обучаться саунд-дизайну и самостоятельно производить похожие пресеты или предлагать варианты гибридных инструментов.