Апскейл и интерполяция превратились в обязательный финишный слой работы
Исторически видеомодели генерировали видео в целевом разрешении за один проход, что требовало огромных вычислительных ресурсов и замедляло инференс. Переход к двухэтапной схеме — генерация низкого разрешения плюс апскейл — позволил снизить время обработки минуты видео с 45 минут до 8–10 минут.
Апскейл теперь не просто увеличивает масштаб, а синтезирует детали, которые моделью первого прохода не были вычислены. Интерполяция между кадрами добавляет промежуточные фреймы, повышая частоту кадров с 24 до 60 и выглаживая движения.
Две сети вместо одной
На практике это означает, что генерирующая модель теперь может оставаться более простой и быстрой, а все затраты на качество делегированы специализированным сетям апскейла и интерполяции. Каждая из них обучена отдельно и можно менять их параметры независимо.
Побочный эффект — модульность пайплайна. Пользователи могут выбирать разные варианты апскейла в зависимости от нужного баланса между скоростью и качеством, или отключать интерполяцию для сохранения исходного временного ощущения видео.
В результате средний процесс генерации видео перестал быть чёрным ящиком с единственным выходом и превратился в настраиваемую цепь обработки, где каждый этап отвечает за одну задачу.