Перспектива соблюдается автоматически при движении камеры
Нарушение законов перспективы при панорамировании и движении камеры — частая ошибка видеосинтеза, при которой объекты деформируются или смещаются неправильно. Новая версия модели использует явное 3D-представление сцены и матрицы трансформации, что позволяет вычислять проекцию объектов в новый кадр математически корректно.
Система обучена предсказывать 3D-координаты ключевых точек сцены и синтезировать видеокадры на основе известных геометрических принципов, а не полагаться только на вероятностные предсказания. Это обеспечивает физически осмысленное поведение всех элементов при любых движениях камеры.
Преимущества для синтеза
Соблюдение перспективы критично для видео, где основное действие — движение камеры: панорамы, слежение объектом, масштабирование на детали.
Ошибки перспективы, которые раньше заставляли пересинтезировать кадры вручную, теперь не возникают даже при сложной траектории движения.
Метод открывает возможность генерации видео с заданной траекторией камеры, что расширяет применение моделей в создании кинематографического контента.