Фон мерцает меньше: вторая версия архитектуры Sora стабильнее
Мерцание фона — результат того, что нейросеть заново генерирует фоновые элементы на каждом кадре, не поддерживая их согласованность. Вторая версия архитектуры вводит явное отслеживание статичных и полустатичных элементов сцены.
Система разделяет сцену на слои: передний план (движущиеся объекты), фон (здания, деревья, текстуры) и атмосферные эффекты (свет, дым). Каждый слой обрабатывается отдельно с учётом его стабильности.
Результат в видеопотоке
Фоновые текстуры теперь генерируются один раз и переносятся на следующие кадры с минимальными изменениями. Это устраняет визуальный шум и делает видео более профессиональным.
Особенно улучшилась стабильность деталей мелкого масштаба: узоры на ткани, листья на деревьях, зёрна на стене больше не дрожат от кадра к кадру.
Архитектура также снижает общее время рендера, так как фоновые элементы кэшируются и переиспользуются, а вычислительные ресурсы сосредотачиваются на передвижении персонажей и главных объектов.