Дообучение через LoRA перестало требовать серверной стойки
Полное дообучение большой модели остаётся привилегией тех, у кого есть кластер. Но подавляющему большинству задач полное дообучение и не нужно: достаточно сдвинуть поведение модели в узкой области, и с этим справляются адаптеры низкого ранга.
Идея в том, что вместо изменения всех весов обучается небольшая пара матриц, добавляемая к отдельным слоям. Обучаемых параметров получается на порядки меньше, а значит, меньше и память под оптимизатор — именно она обычно и делает полное дообучение невозможным дома.
Что важнее — объём данных или их чистота
Практика показывает, что решает качество примеров, а не их количество. Несколько сотен аккуратно размеченных диалогов в нужном стиле дают более предсказуемый результат, чем десятки тысяч собранных наспех — модель охотно перенимает и ошибки разметки тоже.
Отдельное удобство адаптеров в том, что они хранятся отдельным небольшим файлом и подключаются к базовой модели по требованию. Одна база и несколько адаптеров под разные задачи занимают почти столько же места, сколько одна модель, и переключаются без перезагрузки весов.
Что это значит
Подробности и первичное описание опубликованы на странице «разбор надписей в сгенерированных изображениях», там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе Открытые модели и локальный запуск — он пополняется по мере выхода новых сообщений.