Синхронизация речи с движением губ улучшилась на 92 процента
Генераторы видео добились синхронизации звука с движением губ на уровне 92 процентов точности благодаря улучшенным алгоритмам распознавания фонем и пространственной координации. Система анализирует аудиотрек и вычисляет соответствующие позиции артикуляционных органов для каждого кадра.
Рассинхрон речи и мимики был одной из главных проблем, выдающих синтезированное видео как подделку. Даже небольшое смещение воспринималось как неестественность и вызывало недоверие к контенту.
Практическое значение для создания аватаров
Улучшение делает видео с цифровыми персонажами пригодным для использования в обучающих материалах, презентациях и развлекательном контенте без необходимости ручной корректировки. Время на постобработку сокращается в разы.
Технология применима как к генерации с нуля, так и к ожившим архивным фотографиям и видео низкого качества. Точность работает независимо от языка и типа речи.
Повышение синхронизации приближает синтезированное видео к качеству, сравнимому с кино, и расширяет возможности применения нейросетевых моделей в профессиональном кинопроизводстве и образовании.