Видео до 20 минут генерируется одной нейросетью без разрывов
Ограничение на длину видео, которое генерирует нейросеть за один проход, снято. Если раньше система могла создавать только короткие клипы длиной в несколько секунд, то теперь она справляется с двадцатиминутными роликами без промежуточных стыков и потери смысла повествования.
Это стало возможным благодаря оптимизации памяти и переработке алгоритма сохранения контекста между фреймами. Увеличенный буфер внимания позволяет модели отслеживать состояние объектов и их взаимодействие на протяжении всего видео.
Практическое применение
Режиссёры и создатели контента теперь могут генерировать полноценные музыкальные клипы, короткометражные фильмы и рекламныеролики без необходимости объединять несколько отдельных генераций.
Устранение разрывов между кадрами повышает качество переходов и согласованность движений персонажей. Модель лучше понимает, где находится объект в пространстве через весь ролик.
Технология изменит подход к созданию видеоконтента, так как авторы смогут описать сцену один раз вместо десятков итераций генерации коротких клипов и их монтажа.