Перспектива при панорамировании рассчитывается как трёхмерная сцена
Ранние генераторы видео не различали истинное движение камеры в трёхмерном пространстве от сдвига двумерного изображения. Результатом были неестественные панорамы, где фон скользил неправильно относительно переднего плана.
Новое поколение моделей внутренне конструирует сцену как трёхмерный набор объектов с глубиной и позицией в пространстве. Затем алгоритм вычисляет, как эта сцена выглядит при движении виртуальной камеры, обеспечивая физически корректную перспективу.
Физика движения и окклюзия
Объекты переднего плана теперь правильно перекрывают объекты фона при панорамировании, а их относительная скорость соответствует закону перспективы. Такие кадры не выдают синтетическое происхождение движения.
Для достижения этого используются техники нейронного рендеринга и радианс-филдов, которые позволяют сети не просто генерировать новые пиксели, но рассчитывать их на основе трёхмерной геометрии сцены. Это требует больше вычислений, но результат кардинально улучшается.
Режиссёры теперь смелее используют динамические камеры в генерируемых видео, зная, что панорамы и наезды будут выглядеть убедительно. Это расширило выразительные возможности синтетического контента.