Прозрачный фон при генерации даётся моделям тяжелее, чем кажется

Просьба сгенерировать объект на прозрачном фоне почти всегда заканчивается одинаково: модель рисует объект поверх серо-белой шахматной клетки. Она видела такую подложку в обучающих данных как изображение, а не как отсутствие изображения.

Диффузионные модели работают с фиксированным набором цветовых каналов и прозрачности среди них попросту нет. Альфа-канал — не цвет, а отдельная величина, и, чтобы модель его выдавала, нужна либо переделка выходного слоя, либо отдельный шаг после генерации.

Как это обходят

Штатный обходной путь — сгенерировать объект на ровном контрастном фоне, а затем отделить его моделью сегментации. Качество края при этом определяется уже не генератором, а тем, насколько аккуратно отработало отделение, и на волосах, дыме и стекле результат по-прежнему требует правки.

Отдельная сложность — полупрозрачные объекты. Бокал или тюль должны иметь плавную альфу, а не бинарную маску, и большинство инструментов отделения выдаёт по краям либо жёсткий контур, либо ореол от исходного фона.

Поэтому в интерфейсах прозрачность оформляют как отдельную операцию над готовой картинкой, а не как параметр генерации. Пользователю это подаётся одной кнопкой, но внутри там два разных прохода.

Что это значит

Подробности и первичное описание опубликованы на странице методика итераций над запросом, там же собраны условия доступа и ограничения, о которых заявили разработчики.

Похожие материалы и обновления по теме мы собираем в разделе Промпты и приёмы работы с ИИ — он пополняется по мере выхода новых сообщений.