Мерцание фона устранено на уровне архитектуры кодера
Мерцание фона — один из наиболее заметных артефактов видеосинтеза, возникающий из-за нестабильного предсказания пикселей, не задействованных в основном действии. Новый кодер вводит отдельный канал обработки для фона, независимый от предсказания движения переднего плана, что обеспечивает временную консистентность.
Архитектурное решение основано на разделении проблемы: модель обучена на отдельных потоках данных для движущихся и статических элементов, что позволяет каждому потоку оптимизироваться под свою задачу. Фон теперь генерируется с той же стабильностью, что и на реальных видео.
Результаты и внедрение
Устранение мерцания заметно на любой длительности видео, но особенно критично для роликов от 10 секунд, где артефакты накапливаются и становятся отвлекающими.
Тестирование показало снижение частоты мерцаний более чем на 95% без дополнительной постобработки.
Метод интегрирован в новую версию видеомодели и требует переобучения, однако вычислительные затраты при инференсе остались практически неизменными.