ОбложкаНовостиСтатьиАнонсы | РелизыИнтервьюДевайсы |
| ВходРегистрация |
РекламаПрислать новость |
Усилиями исследователей из Университета Ватерлоо создана система с искусственным интеллектом LyricJam — она генерирует тексты к звучащей музыке. Авторы позиционируют ее в качестве помощника и вдохновителя при написании слов, а не как полноценную замену сонграйтерам.
С точки зрения пользователя всё довольно просто: играет музыка, ИИ в ответ в реальном времени выводит строки лирики, которые можно сохранить. Внутри при этом происходит следующее: аудио на лету преобразуется в спектрограмму, далее подключается модель глубокого обучения, чтобы сгенерировать соответствующий музыке и мелодии текст.
Архитектура построена на паре вариационных автокодировщиков: один изучает входящий звук, второй изучает тексты. Разработчики создали два новых компонента, согласующих музыку и слова, — они определяют, какие типы текстов подходят в данном случае.
«Мы создали технологию, основа которой — анализ различных параметров музыки. Чтобы синтезировать релевантную лирику, важно правильно интерпретировать последовательности аккордов, подбор инструментов, темп и многое другое», — Ольга Вечтомова, один из авторов исследования
Протестировать систему можно на сайте проекта (работает в Chrome).