Длинные видео без артефактов: новая архитектура генератора
Предыдущее поколение генераторов начинало терять качество после 30–60 секунд видео, так как ошибки в предыдущих кадрах накапливались и влияли на следующие. Новая архитектура внедрила систему проверки согласованности, которая периодически корректирует возникающие искажения форм и цветов.
Это позволило генерировать видеоролики длиной в 5–10 минут с минимальной деградацией качества. Персонажи сохраняют черты лица, предметы остаются узнаваемыми, а освещение меняется плавно, без внезапных скачков.
Технические решения
В основе лежит использование глубокого внутреннего состояния модели, которое отслеживает ключевые параметры сцены на протяжении всего видео. Это аналогично долговременной памяти, но в контексте пространственно-временной согласованности.
Длительные видео открывают возможности для создания полноценных коротких фильмов исключительно через текстовое описание. Режиссёры могут генерировать разные версии одного сюжета, меняя только текстовые параметры, без переучивания моделей.
На практике предел качества пока зависит от вычислительных ресурсов — генерация 10 минут видео требует значительных затрат времени на GPU.