ИИ от Google научили генерировать саундтреки и озвучку к любым видео

Лаборатория Google DeepMind представила новый ИИ-инструмент V2A для озвучки любых видео. Технология может генерировать музыку, соответствующую ролику, добавлять звуковые эффекты и озвучивать персонажей — всё это по текстовым промтам или даже без них. Нейросеть обучалась на библиотеках звуков, расшифровок диалогов и видео.

Пример со звуковыми эффектами и музыкой

Любопытно, что в качестве источника видео может быть и немой фильм, и архивные съемки, анимация и так далее. Как заявляют авторы, отличие в том, что их ИИ понимает видеоряд и синхронизирует саундтрек именно под него с учетом запросов пользователей. Иными словами, нейросеть научилась ассоциировать определенные звуки с визуальными образами. При этом разработчики признают, что пока технология неидеальна. К примеру, журналисты издания TechCrunch описали результат как «сборную солянку из стереотипных звуков». Со временем ситуация должна улучшиться.

«Генерация видео совершенствуется семимильными шагами, правда многие модели создают видео абсолютно без звука. Первые результаты показывают, что у нас появилась многообещающая технология для претворения в жизнь генеративных роликов», — говорится в пресс-релизе компании

Промт для аудио: кинематографичный, триллер, хоррор, музыка, напряжение, шаги
19 июня 2024

Подпишись на наш ВКонтакте

и узнавай о новостях первым!
Makarov 19 июня 2024 17:24
Где ты, Джон Коннор? Будущее так близко...
Ответить  
Написать комментарий
Ваш комментарий