Соотношение сторон в генераторах влияет не только на форму кадра
Пользователи регулярно замечают странность: один и тот же запрос в квадрате и в широком формате даёт не просто обрезанную, а содержательно другую картинку. Меняется план, ракурс, иногда даже жанр сцены.
Объяснение в статистике обучающих данных. Портреты снимают вертикально, пейзажи и кинокадры — горизонтально, аватары квадратные. Модель усвоила эту связь, и заданная форма кадра для неё работает как дополнительная подсказка о том, что именно нужно изобразить.
Отклонение от привычного
Отсюда следует практическое правило: сильно вытянутые пропорции повышают риск артефактов. При соотношении, далёком от того, что встречалось в обучении, модель начинает достраивать композицию нетипичным образом — отсюда дублированные фигуры на панорамах и обрезанные головы в узких вертикалях.
Похожая история с разрешением. Генерация в размере заметно выше того, на котором модель обучалась, часто даёт повторяющиеся элементы: сцена собирается из нескольких композиционных центров, каждый со своим сюжетом.
Практика показывает, что надёжнее генерировать в родном для модели размере и привычной форме, а нужные пропорции и разрешение получать отдельными шагами — расширением кадра и апскейлом.
Что это значит
Подробности и первичное описание опубликованы на странице история модели, возглавившей рейтинги генераторов, там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе Нейросети для генерации изображений — он пополняется по мере выхода новых сообщений.