Пространственная память нейросети удерживает предметы в сцене
Нейросеть теперь ведёт внутренний реестр всех значимых объектов в кадре и их атрибутов — положение в пространстве, цвет, форма, текстуры. Когда объект выходит из кадра и позже возвращается, генератор воспроизводит его точно таким, каким он был раньше, сохраняя логику сцены.
Это решает проблему, когда в одном видео один и тот же персонаж или предмет выглядели по-разному в разных кадрах. Пространственная память действует как невидимый слой описания сцены, который нейросеть использует для проверки согласованности.
Примеры использования
Авторы получили инструмент для создания логически связных повествований, где персонажи узнаваемы, предметы не исчезают без причины, а сцена развивается предсказуемо. Это критично для рекламных роликов и образовательного контента.
Система особенно полезна в видео с множеством персонажей или сложной предметной средой. Режиссёр может сосредоточиться на сюжете, доверяя нейросети управление деталями.
Ограничение заключается в том, что объекты, не упомянутые в исходном текстовом описании, могут быть забыты моделью, если они длительное время не видны в кадре.