Звуковой фон генерируется параллельно с визуальным рядом
Генеративные модели видео традиционно обрабатывали визуальный ряд отдельно от звука, что приводило к рассинхронизации и требовало постобработки. Новый подход интегрирует синтез аудио в основной конвейер обработки, позволяя нейросети учитывать соответствие звука движениям объектов и изменениям сцены на этапе генерации.
Параллельная обработка визуального и звукового потоков значительно упрощает производство видеоконтента: отпадает необходимость в отдельной озвучке и синхронизации. Качество звука при этом остаётся на уровне специализированных моделей генерации аудио.
Применение в производстве контента
Технология находит применение в создании рекламных материалов, учебного видео и демонстрационного контента, где синхронность звука критична для восприятия информации.
Разработчики отмечают снижение времени обработки видеопроектов на 30–40% благодаря исключению отдельного этапа звукомонтажа.
Дальнейшие улучшения направлены на поддержку синтеза музыкальных композиций и специальных звуковых эффектов непосредственно в процессе генерации сцены.