Динамический свет учитывает положение камеры внутри трёхмерной сцены
Традиционные подходы генерации видео игнорировали трёхмерную геометрию сцены при рассчитывании освещения, что приводило к неправдоподобному поведению света при движении камеры. Новая архитектура встраивает в процесс генерации трёхмерный граф сцены с полной информацией о материалах, геометрии и источниках света.
Система вычисляет путь света через трёхмерное пространство, как это делают профессиональные программы рендеринга, но в режиме реального времени при генерации видео. Отражения в металлических поверхностях и преломления в стекле теперь соответствуют физическим законам.
Эффект трёхмерного понимания сцены
При движении камеры свет корректно меняет интенсивность на поверхностях, создавая иллюзию единого освещённого пространства. Тени падают в правильные места и растягиваются реалистично в зависимости от положения источников света.
Вычислительная сложность метода сопоставима с рендерингом неподвижного изображения, что позволяет применять его к видеоматериалам стандартной длины. Разработчики сообщают о достижении целевых скоростей обработки на современных ускорителях.
Результаты показывают, что трёхмерное понимание сцены становится ключевым компонентом при создании убедительного синтетического видеоконтента, независимо от сложности движения камеры и особенностей освещения.