В Microsoft создали синтезатор вокала с ИИ

Ученые внутри корпорации Microsoft придумали, как они сами заявляют, первую систему синтеза вокала, которая основана на данных из сети. Послушать примеры синтезированного голоса DeepSinger на английском и китайском языках можно на странице проекта в GitHub.

Сама компания признает, что работа над синтезатором не завершена, и до коммерческого использования еще далеко. Зато интересен сам процесс работы DeepSinger. В основе лежит умный алгоритм, который обучался на музыке, найденной на разных сайтах. Сначала он раскладывал композиции на инструментальную и вокальную партию, а затем резал вокал на предложения и фонемы. Всё это нужно для обучения и построения «модели пения» с помощью другой технологии компании Microsoft FastSpeech.

Интересно, что похожие во многом технологии появляются и в программах для диджеинга. К примеру, месяц назад вышло сразу два продукта — Virtual DJ 2021 и Djay Pro — с одинаковой функцией разделения любых треков на партии. А до этого в очередном обновлении Rekordbox появилась функция обнаружения вокала на основе ИИ, которая избавляет диджея от головной боли при сведении двух треков с вокальными партиями.

17 июля 2020

Подпишись на наш ВКонтакте

и узнавай о новостях первым!
Написать комментарий
Ваш комментарий