Синтез речи под видео работает точнее после обучения на синхронизированных данных
Исследователи выявили, что основной источник рассинхронизации в видеогенерации — некорректное предсказание движений губ на основе аудиодорожки. Модели, обученные на архивном видеоконтенте с естественной рассинхронизацией, воспроизводили эти ошибки как норму.
Решение состояло в отборе и нормализации больших объёмов видеоматериалов, где звук и изображение совпадают идеально. На таком датасете нейросеть научилась предсказывать движения артикуляции с точностью до отдельного кадра.
Синхронизация как критический параметр
Параллельно выяснилось, что синхронизация влияет и на эмоциональное восприятие видео. Даже незначительный сдвиг звука создаёт эффект «зловещей долины» в восприятии лица, поэтому точность здесь не парамер качества, а требование к жизнеспособности результата.
Новые версии видеогенераторов получают явный вход — аудиотрек и его огибающую по энергии — что позволяет модели синхронизировать движения в реальном времени во время инференса.
Производители контента уже интегрировали уточненный синтез речи в свои пайплайны, сообщив о сокращении времени постобработки на правку синхронизации с 3–4 часов до 15–20 минут на минуту видео.