Llama 2 Uncensored: как сообщество переучило модель за неделю
Проект использовал набор данных из нескольких тысяч примеров, где модель демонстрировала желаемое поведение, и выполнил адаптивное переобучение на их основе. Процесс занял менее недели на одной видеокарте высокого класса благодаря техникам LoRA и квантизации.
Результаты показали, что переобучение может эффективно изменять поведение открытой модели, игнорируя исходные ограничения. Это демонстрирует как гибкость открытых весов, так и относительную неустойчивость фильтров, встроенных в исходную обучающую процедуру.
Значение для открытости
Открытые модели дают пользователям право адаптировать поведение под свои нужды без необходимости просить разработчика о специальной версии. Закрытые системы блокируют такую возможность на уровне API.
Инициатива вызвала обсуждение в сообществе о балансе между открытостью и ответственностью. Разработчики Llama 2 не препятствовали этому проекту, признав право сообщества на модификацию открытых весов.
На базе Uncensored версии уже появились десятки специализированных форков для различных применений. Это иллюстрирует, как открытость способствует экосистеме адаптированных решений.