Замена фона по описанию упирается не в вырезание, а в свет
Замена фона выглядит решённой задачей: объект отделяется от подложки за секунду, включая волосы и полупрозрачные края, где раньше приходилось сидеть с ручным уточнением края. Претензии к результату сместились в другую плоскость.
Проблема в том, что объект приходит в новую сцену со старым освещением. Человек, снятый при мягком рассеянном свете, вставленный в закатный пейзаж, читается как аппликация: контражур на фоне и ровный свет на лице не могут существовать одновременно.
Пересвет вместо вырезания
Ответ на это — отдельный класс операций, которые перерисовывают освещение объекта под новую сцену. Модель оценивает направление и цвет источников на фоне и заново рассчитывает светотень на переднем плане, включая падающую тень, которой в исходном кадре не было вовсе.
Практика показывает, что тень важнее самого пересвета. Объект без контактной тени висит в воздухе независимо от того, насколько точно совпал цвет света, и именно её отсутствие сильнее всего выдаёт монтаж неподготовленному зрителю.
Ограничение остаётся в исходнике: если на объекте есть выбитые в белый области или глубокие провалы в тень, информации для пересвета просто нет, и модель дорисовывает фактуру заново, меняя внешность.
Что это значит
Подробности и первичное описание опубликованы на странице «разбор консистентности персонажа», там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе Нейросети для генерации изображений — он пополняется по мере выхода новых сообщений.