Google розробить ШІ-модель для генерації звуку до відео — ForkLog UA

Компанія Google DeepMind розробляє технологію на базі штучного інтелекту для створення саундтреків до відео.

Дослідницький підрозділ Google у сфері ШІ та інші організації вже створювали моделі для відео, але вони не здатні генерувати під них звукові ефекти. Для цих цілей DeepMind використовує технологію V2A (video-to-audio).

«Моделі для генерації відео розвиваються неймовірними темпами, але багато сучасних систем не створюють звукову доріжку. Одним із наступних важливих кроків на шляху до генерації фільмів є поява саундтреків до цих німих відеороликів», — йдеться в повідомленні DeepMind.

Технологія V2A від DeepMind використовує промпти в поєднанні з відео для створення музики, звукових ефектів і діалогів. Наприклад: «Пульсуюча під водою медуза, морське життя, океан». Дифузійна ШІ-модель, що лежить в основі V2A, навчена на базі звуків, розшифровок діалогів і відеокліпів.

Для створення звуку до відео використовувалися такі підказки: кінематограф, трилер, фільм жахів, музика, напруга, атмосфера, кроки по бетону.

DeepMind зазначає, що технологія поки що не ідеальна, а звук не можна назвати високоякісним і переконливим. Перед повноцінним запуском V2A потрібні доопрацювання і тестування.

Нагадаємо, у лютому OpenAI представила нову генеративну ШІ-модель Sora, яка дає змогу перетворювати текст на відео.

У червні вчені з Гарварду і DeepMind створили віртуального щура зі штучним інтелектом як мозком.

Раніше дочірня компанія Google представила генеративну ШІ-модель Genie для створення ігор.

Источник

Ваш адрес email не будет опубликован. Обязательные поля помечены *






Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

 

Сегодня тема блокчейна – это целая идеология и…

PrimeXBT – платформа международного уровня, одна из ведущих…

Мнение: биткоин-фьючерсы угрожают всей банковской системе Подробности Опубликовано:…

“Массачусетский технологический институт (МИТ, — прим. ред.) выпустил…

PrimeXBT — криптовалютная биржа для маржинальной торговли, где…

Согласно данным CoinMarketCap стоимость криптовалюты DATAcoin находится на уровне 0,064…

Новая версия клиента Bitcoin Core, опубликованная 15-го февраля,…

Брэм Коэн (Bram Cohen), создатель знаменитого протокола файлообмена…

Разработчики Bitcoin Gold сообщили вчера в официальном блоге, что…

Еще не утихли страсти и пляски биржевых курсов…

Крупнейшая экономика Евросоюза наконец отреагировала на развивающийся во…

Майнинг на видеокартах не теряет своей актуальности, особенно…

No votes yet.
Please wait...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *