Мерцание фактур осталось главной болезнью видеогенерации
Наиболее узнаваемый дефект сгенерированного видео — не анатомические ошибки и не странная физика, а мерцание. Мелкие фактуры, узоры ткани, листва и волосы пересобираются от кадра к кадру, и глаз считывает это как дрожь поверхности.
Природа явления связана с тем, что модель работает по всей последовательности сразу, но мелкие детали для неё дешевле перерисовать заново, чем удержать неизменными. Крупные формы при этом держатся стабильно — расползается именно микрофактура.
Как с этим борются на практике
Первый уровень борьбы — на входе. Авторы избегают описаний с мелким повторяющимся узором, выбирают одноцветную одежду и простой фон, а сложные фактуры добавляют уже на монтаже отдельным слоем.
Второй — на выходе: временное сглаживание в монтажной программе гасит дрожь, но платой становится смазанное движение. Разумной серединой считают лёгкое сглаживание плюс небольшое зерно поверх, которое маскирует остаток мерцания.
Что это значит
Подробности и первичное описание опубликованы на странице разбор тарифов на API генерации изображений, там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе Генерация видео нейросетями — он пополняется по мере выхода новых сообщений.