Компанія Google DeepMind розробляє технологію на базі штучного інтелекту для створення саундтреків до відео.
Дослідницький підрозділ Google у сфері ШІ та інші організації вже створювали моделі для відео, але вони не здатні генерувати під них звукові ефекти. Для цих цілей DeepMind використовує технологію V2A (video-to-audio).
«Моделі для генерації відео розвиваються неймовірними темпами, але багато сучасних систем не створюють звукову доріжку. Одним із наступних важливих кроків на шляху до генерації фільмів є поява саундтреків до цих німих відеороликів», — йдеться в повідомленні DeepMind.
Технологія V2A від DeepMind використовує промпти в поєднанні з відео для створення музики, звукових ефектів і діалогів. Наприклад: «Пульсуюча під водою медуза, морське життя, океан». Дифузійна ШІ-модель, що лежить в основі V2A, навчена на базі звуків, розшифровок діалогів і відеокліпів.
Для створення звуку до відео використовувалися такі підказки: кінематограф, трилер, фільм жахів, музика, напруга, атмосфера, кроки по бетону.
DeepMind зазначає, що технологія поки що не ідеальна, а звук не можна назвати високоякісним і переконливим. Перед повноцінним запуском V2A потрібні доопрацювання і тестування.
Нагадаємо, у лютому OpenAI представила нову генеративну ШІ-модель Sora, яка дає змогу перетворювати текст на відео.
У червні вчені з Гарварду і DeepMind створили віртуального щура зі штучним інтелектом як мозком.
Раніше дочірня компанія Google представила генеративну ШІ-модель Genie для створення ігор.
Ваш адрес email не будет опубликован. Обязательные поля помечены *
Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.
Сегодня тема блокчейна – это целая идеология и…
PrimeXBT – платформа международного уровня, одна из ведущих…
Мнение: биткоин-фьючерсы угрожают всей банковской системе Подробности Опубликовано:…
“Массачусетский технологический институт (МИТ, — прим. ред.) выпустил…
PrimeXBT — криптовалютная биржа для маржинальной торговли, где…
Согласно данным CoinMarketCap стоимость криптовалюты DATAcoin находится на уровне 0,064…
Новая версия клиента Bitcoin Core, опубликованная 15-го февраля,…
Брэм Коэн (Bram Cohen), создатель знаменитого протокола файлообмена…
Разработчики Bitcoin Gold сообщили вчера в официальном блоге, что…
Еще не утихли страсти и пляски биржевых курсов…
Крупнейшая экономика Евросоюза наконец отреагировала на развивающийся во…
Майнинг на видеокартах не теряет своей актуальности, особенно…