Руки в генерации изображений: почему проблема ушла не до конца
Лишние пальцы, которые были опознавательным знаком сгенерированных картинок, из массовых результатов почти исчезли. Актуальные модели в спокойной позе рисуют кисть правильно, и характерная шутка про руки постепенно теряет актуальность.
Однако проблема не решена, а сузилась. Она возвращается там, где кисть делает что-то сложное: держит инструмент, переплетается с другой рукой, частично перекрыта предметом. В этих случаях пальцы срастаются, сустав гнётся не в ту сторону, а предмет проходит сквозь ладонь.
Корень сложности
Кисть — самый вариативный по внешнему виду объект человеческого тела: одна и та же анатомия даёт бесконечное число силуэтов, а самоперекрытие пальцев означает, что во множестве обучающих кадров часть из них попросту не видна. Модель усваивает не строение, а набор внешних видов, и в незнакомой конфигурации ей не на что опереться.
Отсюда и рабочие приёмы: явное описание положения кисти, генерация в позе, где руки не перекрывают друг друга, локальная перегенерация проблемной области с большим числом пикселей на неё.
Тот же класс ошибок проявляется на всём, что имеет сложную повторяющуюся структуру, — на зубах, спицах колеса, ступенях лестницы. Руки просто заметнее остальных, потому что зритель смотрит на них внимательнее всего.
Что это значит
Подробности и первичное описание опубликованы на странице что делает seed при генерации изображения, там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе «Модели и обновления ChatGPT» — он пополняется по мере выхода новых сообщений.