Озвучка диалогов в фильмах теперь синхронизирует движения губ автоматически
Создание озвучки для фильмов требовало либо привлечения дикторов на месте съёмок, либо долгого процесса ручной синхронизации анимации губ со звуком. Новые инструменты генерируют речь и одновременно вычисляют параметры артикуляции для автоматического совмещения.
Система анализирует фонемный состав текста и прогнозирует положение губ для каждого звука, учитывая естественные переходы между фонемами. Информация о движениях передаётся в анимационный конвейер как набор параметров.
Экономия времени в кинопроизводстве
Для дубляжа иностранных фильмов на русский язык синхронизация губ — одна из самых трудозатратных операций. Автоматизация этого процесса позволяет сократить сроки работы на месяцы.
Качество синхронизма зависит от точности фонетической разметки текста и корректности предсказания движений. Системы обучаются на видеоматериалах с разными типами лиц и выразительными стилями речи.
Технология применяется также в создании виртуальных персонажей для видеоигр и интерактивного контента, где требуется синхронный диалог без предварительной записи видео.