Голос адаптируется под мимику персонажа в параллельной генерации
Классический подход состоял в отдельной генерации или записи речи, а затем синтезе видеомимики под неё. Это вносило рассинхронизацию, требовало пересинтеза видео при изменении текста и создавало артефакты несовпадения.
Новый метод генерирует речь и визуальное выражение лица в одном процессе: нейросеть следит за соответствием артикуляции видео и звука, создавая их одновременно из единого сценария.
Синхронизация звука и видео без постобработки
Параллельная генерация исключает стадию синхронизации вручную и повышает естественность результата — голос и мимика интегрированы на уровне смысла, а не просто наложены друг на друга.
При изменении текста или тона речи видеомимика автоматически адаптируется, не требуя пересинтеза всего видео.
Этот подход приближает качество синтезированного видео к живым записям, где выразительность лица и голос формируются единым актёрским действием.