Звук шагов синтезируется вместе с движением персонажа в реальном времени
Генерация видео исторически была отделена от синтеза звука: видео создавалось отдельно, и звук добавлялся на этапе постпродакшена. Асинхронность особенно заметна на звуках шагов, которые должны совпадать с момента контакта ноги с полом.
Теперь нейросеть анализирует траекторию движения персонажа в реальном времени и синтезирует звуковую дорожку, синхронизированную с каждым шагом, прыжком и движением тела.
Синхронизация в едином процессе
Модель учитывает тип поверхности, на которой движется персонаж, и подбирает соответствующий звук: шаги по дереву звучат иначе, чем по камню или металлу.
Это устраняет необходимость в звуковых дизайнерах для выравнивания звука с видео, ускоряя производство видеоконтента и обеспечивая естественность звукового оформления.
Технология распространяется и на другие движения: удары, взрывы, скрипы механизмов и шелесты ткани все генерируются в синхронии с видео без ручной коррекции.