Разработан ИИ, который сам сочиняет слова к музыке

Усилиями исследователей из Университета Ватерлоо создана система с искусственным интеллектом LyricJam — она генерирует тексты к звучащей музыке. Авторы позиционируют ее в качестве помощника и вдохновителя при написании слов, а не как полноценную замену сонграйтерам.

С точки зрения пользователя всё довольно просто: играет музыка, ИИ в ответ в реальном времени выводит строки лирики, которые можно сохранить. Внутри при этом происходит следующее: аудио на лету преобразуется в спектрограмму, далее подключается модель глубокого обучения, чтобы сгенерировать соответствующий музыке и мелодии текст.

Демонстрация работы LyricJam

Архитектура построена на паре вариационных автокодировщиков: один изучает входящий звук, второй изучает тексты. Разработчики создали два новых компонента, согласующих музыку и слова, — они определяют, какие типы текстов подходят в данном случае.

«Мы создали технологию, основа которой — анализ различных параметров музыки. Чтобы синтезировать релевантную лирику, важно правильно интерпретировать последовательности аккордов, подбор инструментов, темп и многое другое», — Ольга Вечтомова, один из авторов исследования

Протестировать систему можно на сайте проекта (работает в Chrome).

12 августа 2021

Подпишись на наш Twitter

и узнавай о новостях первым!
Nofaceman 12 августа 2021 14:27
Самый обычный генератор случайных фраз из базы данных с набором слов, срабатывающий при определённых условиях дб и гц. Идиотский алгоритм if>>>then>>>else - это не искусственный интеллект. Даже блин не близко!!!
Ответить  
Написать комментарий
Ваш комментарий