Дома запустили GPT-4 уровня модель за счёт дистилляции
Развитие методов дистилляции знаний привело к созданию моделей размером 7-13 млрд параметров, которые по качеству на выходных задачах приближаются к GPT-4. Эти модели могут работать на видеокартах потребительского класса с объёмом памяти от 12 гигабайт.
Сообщество разработчиков создаёт специализированные наборы для обучения дистиллированных моделей, в которых за основу берётся данные от более крупных сетей и открытые датасеты. Качество результата зависит от подбора архитектуры и процесса отбора обучающих примеров.
Домашний инференс
Первые пользователи, запустившие такие модели на своих машинах, отметили приемлемую скорость генерации текста при одновременном выполнении других задач. Время отклика составляет несколько секунд для простых запросов.
Практическое применение ограничивается в основном текстовыми задачами — разработка кода, написание статей, анализ документов. Для работы с изображениями и мультимодальными входами потребуются более крупные модели.
Опубликованные инструкции по настройке окружения и запуску заметно упростили процесс, так что даже неопытные пользователи могут развернуть локальную систему без специального оборудования и облачных подписок.