Прозрачный фон при генерации даётся моделям тяжелее, чем кажется
Просьба сгенерировать объект на прозрачном фоне почти всегда заканчивается одинаково: модель рисует объект поверх серо-белой шахматной клетки. Она видела такую подложку в обучающих данных как изображение, а не как отсутствие изображения.
Диффузионные модели работают с фиксированным набором цветовых каналов и прозрачности среди них попросту нет. Альфа-канал — не цвет, а отдельная величина, и, чтобы модель его выдавала, нужна либо переделка выходного слоя, либо отдельный шаг после генерации.
Как это обходят
Штатный обходной путь — сгенерировать объект на ровном контрастном фоне, а затем отделить его моделью сегментации. Качество края при этом определяется уже не генератором, а тем, насколько аккуратно отработало отделение, и на волосах, дыме и стекле результат по-прежнему требует правки.
Отдельная сложность — полупрозрачные объекты. Бокал или тюль должны иметь плавную альфу, а не бинарную маску, и большинство инструментов отделения выдаёт по краям либо жёсткий контур, либо ореол от исходного фона.
Поэтому в интерфейсах прозрачность оформляют как отдельную операцию над готовой картинкой, а не как параметр генерации. Пользователю это подаётся одной кнопкой, но внутри там два разных прохода.
Что это значит
Подробности и первичное описание опубликованы на странице методика итераций над запросом, там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе Промпты и приёмы работы с ИИ — он пополняется по мере выхода новых сообщений.