Qwen 2.5 открыла веса и переписала требования к памяти
Alibaba выпустила Qwen 2.5 с открытыми весами и одновременно переработала архитектуру под сокращение требований к оперативной памяти. Модель теперь занимает на 30% меньше VRAM на тех же параметрах по сравнению с предыдущей версией.
Оптимизация коснулась как слоя внимания, так и параметризации нейросетей. Разработчики пересчитали критические части кода, убрали промежуточные активации, которые раньше кэшировались.
Кто может запустить дома
72-миллиардная версия теперь укладывается в 24 ГБ VRAM вместо прежних 35 ГБ, что расширяет аудиторию пользователей с потребительским видеокартами. Веса опубликованы под свободной лицензией.
На сервере можно одновременно держать несколько инстансов модели и обрабатывать параллельные запросы без увеличения оборудования. Производительность инференса не снизилась.
Сообщество уже переносит Qwen 2.5 на фреймворки вроде llama.cpp и Ollama, что упрощает интеграцию в локальные приложения.