Формат весов определяет, где модель вообще получится запустить
Скачивая модель, пользователь выбирает не только её саму, но и формат хранения весов. Разные форматы рассчитаны на разные движки, и файл, отлично работающий в одном окружении, во втором не откроется вовсе.
Исторически это следствие того, что инструменты для локального запуска развивались параллельно и независимо. Одни оптимизировались под процессорный вывод, другие под видеокарты и серверную нагрузку, третьи под мобильное железо.
Как обычно выбирают формат
Ориентир простой: сначала определяется движок под задачу и железо, и только потом ищется сборка модели в подходящем формате. Обратный порядок приводит к конвертациям, которые отнимают время и иногда теряют качество на квантованных весах.
Отдельно стоит следить за безопасностью формата. Часть исторических способов сериализации допускает выполнение произвольного кода при загрузке файла, и в сообществе давно рекомендуют избегать таких весов из непроверенных источников.
Постепенное сближение вокруг нескольких форматов уже заметно, но полной унификации ждать не приходится: слишком разные у движков задачи, чтобы один способ хранения устроил всех.
Что это значит
Подробности и первичное описание опубликованы на странице как расставлять акценты и веса в промпте, там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе Инструменты для разработчиков — он пополняется по мере выхода новых сообщений.