Растворение объектов при движении больше не выдаёт сгенерированное видео
При генерации видео с быстрым движением объекты часто терял чёткость контуров и как бы растворялись в фоне — это один из самых узнаваемых признаков сгенерированного материала. Причина была в том, что модель предсказывала промежуточные кадры без учёта траектории движения и взаимодействия с фоном.
Новый механизм интегрирует информацию о движении объекта, его глубину относительно фона и взаимодействие с тенями и отражениями. Система теперь синтезирует промежуточные кадры с сохранением чёткости края и естественным размытием движения, как в реальном видео.
Валидация на динамичном контенте
На тестовых наборах с быстрыми камерными движениями, полётом дронов и спортивными сценами артефакты растворения объектов были практически полностью устранены. Качество видео визуально приблизилось к записям реальных камер.
Улучшение работает на объектах любого размера и формы — от маленьких деталей до крупных предметов. Скорость обработки видео не снизилась благодаря оптимизации вычислительного графика модели.
Изменение развёрнуто во всех версиях видеогенератора и особенно полезно для создания экшн-контента, интро ролики и видеопрезентаций с динамичной камерой.