Перспектива при панорамировании: масштаб объектов зависит от расстояния
При панорамировании камеры объекты, расположенные ближе, должны увеличиваться быстрее, чем те, что находятся вдали. Предыдущие модели нарушали эту связь, генерируя объекты без учёта перспективных искажений.
Улучшенная архитектура нейросети моделирует трёхмерную сцену явным образом, даже если явно не работает с 3D-координатами. Модель научилась предсказывать, как должны меняться размеры объектов при движении камеры по трём осям.
Реалистичность движения
Корректная перспектива критична для восприятия глубины и реальности синтезированного видео. Зритель подсознательно замечает нарушения этих законов, что разрушает иллюзию правдоподобности.
Апробация на сценах с различной глубиной резкости и расстояниями показала, что модель стабильно соблюдает перспективные соотношения при разных углах и векторах движения камеры.
Следующий этап — обработка ракурсных изменений и вращений объектов при их движении в пространстве сцены.