Нейросеть генерирует фон отдельно от переднего плана для гибкости
Традиционный подход генерирует видеокадры целиком, без разделения на слои. Это затрудняет контроль над отдельными элементами композиции и приводит к артефактам на стыке объектов и фона.
Разработчики внедрили послойную генерацию: модель сначала создаёт фон, затем обрабатывает передний план с учётом уже сгенерированного фона. Такое разделение позволяет лучше сохранять детали и предотвращает конфликты между слоями.
Преимущества и гибкость
Послойный синтез открывает возможность редактирования: можно изменить фон, оставив передний план без изменений, или заменить движение объекта при неподвижном фоне. Это упрощает постпродакшн и дает творческий контроль.
Качество границ между объектами и фоном значительно улучшилось. Нейросеть корректнее обрабатывает полупрозрачные области, волосы, тонкие детали и сложные контуры.
Применение слоистого подхода совместимо с другими улучшениями нейросетей и масштабируется на видео различных разрешений и продолжительности.