Совместная генерация: когда два генератора создают одну картину поэтапно
Международная команда разработала архитектуру, при которой первый генератор создаёт композицию и основные элементы, а второй прорабатывает детали, текстуры и светотень. Такой конвейерный процесс повышает качество и разнообразие результатов.
Эксперименты показали, что совместная генерация устраняет типичные артефакты одиночных моделей. Стыки между элементами стали менее заметны, а физические законы соблюдаются точнее.
Результаты тестирования
При проверке на задачах портретной живописи, ландшафта и архитектуры коллаборативная система опередила Stable Diffusion по метрикам реалистичности на 12 процентов. Пользователи в слепых тестах чаще выбирали совместно созданные образцы.
Метод требует синхронизации между двумя моделями и дополнительных вычислений, что замедляет генерацию примерно на треть. Разработчики работают над оптимизацией для использования в реальном времени.
Открытая лицензия архитектуры позволит исследователям экспериментировать с комбинациями других генераторов и модифицировать алгоритм распределения работы между моделями.