Переходы между кадрами научились генерировать по двум опорным изображениям
Функция, где на вход подаются одновременно начальный и конечный кадр, а модель достраивает движение между ними, оказалась одной из самых практичных. Она превращает генерацию из непредсказуемой в управляемую задачу интерполяции.
Ценность в том, что обе точки заданы автором, и результат обязан в них сойтись. Для монтажа это принципиально: фрагмент гарантированно стыкуется с соседними кадрами.
Насколько далеко можно развести опоры
Ограничение обнаруживается быстро. Если между кадрами слишком большое различие — другая композиция, другой объект, — модель вместо движения выдаёт плавное перетекание одного изображения в другое, и это читается как эффект, а не как действие.
Поэтому опорные кадры стараются держать близкими по композиции, а крупные изменения набирают несколькими звеньями. Там же, где перетекание уместно стилистически, ограничение используют намеренно как выразительный приём.
Что это значит
Подробности и первичное описание опубликованы на странице как камерные термины меняют кадр, там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе «Нейросети для текста и перевода» — он пополняется по мере выхода новых сообщений.