Синхронизация звука и движений персонажей достигла уровня киностудий
Sora интегрирует аналитику видимых губ с предварительно загруженной аудиодорожкой и вычисляет положение рта персонажа для каждого видеофрейма. Система использует акустические признаки звука для предсказания артикуляции.
Проверки на основном корпусе видеоматериала из снятых фильмов показали, что синхронизация соответствует профессиональным стандартам, установленным в кинопроизводстве.
Расширение на многоязычный контент
Система работает с аудиотрактом на английском, испанском, мандарине и русском языках с одинаковой точностью, что позволяет создавать локализованный видеоконтент без перерендеринга визуальной части.
Студии озвучивания теперь используют Sora для создания вторичных версий видеоклипов на других языках, сокращая время производства с недель до дней.
Параллельная синхронизация нескольких персонажей в одной сцене остаётся областью, требующей ручной коррекции, но точность улучшилась настолько, что редакторские правки занимают менее пяти процентов бюджета времени.