Персонажи не забывают лица между сценами: консистентность памяти нейросети
Одна из наиболее ощутимых проблем в синтезе видео — потеря идентичности персонажа при смене ракурса или сцены. Нейросети генерировали лица, которые переходили от кадра к кадру, забывая черты, которые определяли персонажа секунду назад.
Новое решение использует механизм распределённой памяти о ключевых признаках лица — расстояния между элементами, форму подбородка, характерные асимметрии. Этот векторный отпечаток сохраняется на всём протяжении видеоsequence и передаётся в очередной кадр как обязательное условие генерации.
Практическое применение
Консистентность памяти критична для длинных нарративных видео, где персонаж появляется в разных локациях и при разном освещении. Сохранение идентичности повышает убедительность контента и снижает когнитивный диссонанс зрителя.
Технология требует выше вычислительных затрат, но время инференции остаётся в приемлемых границах благодаря оптимизации архитектуры трансформера.
Разработчики видеомоделей уже интегрируют механизм в промышленные версии, так как спрос на стабильный синтез персонажей высок в киноиндустрии и рекламе.