Finetune собственного генератора за час без GPU-фермы
Инструменты для локального дообучения диффузионных моделей становятся более доступными. Недавние разработки в области параметров low-rank adaptation (LoRA) и похожих техник сокращают требования к памяти и вычислительной мощности в десять-двадцать раз.
На видеокарте среднего уровня (RTX 3070 или аналог) можно за 30–60 минут адаптировать предобученную модель к набору из 50–100 изображений вашего стиля. Процесс не требует управления сложными гиперпараметрами: инструменты автоматически подбирают размер адаптивных матриц и норму обновления весов.
Практический рабочий процесс
Стандартный путь: загрузить базовую модель, подготовить около сотни примеров желаемого стиля, запустить скрипт дообучения и получить файл весов объёмом 50–500 МБ. Этот файл затем загружается в генератор как модификатор стиля для произвольных текстовых запросов.
Основной выигрыш — согласованность визуального языка между генерируемыми изображениями. Особенно полезно для создания персонажей, предметов дизайна или иллюстраций в единой манере, где автор хочет избежать стилевого дрейфа.
Сложность в том, что результат качества зависит от разнообразия входных примеров и правильности их разметки. Тем не менее технология демократизирует доступ к персональным генераторам, ранее требовавшим облачных ресурсов и опыта в машинном обучении.