Together AI добавила в CLI функцию для локального кэширования весов моделей
Компания Together AI добавила в свой CLI инструмент команду для предварительного скачивания весов открытых моделей из репозитория и сохранения их в локальном кэше. Это позволяет избежать повторных загрузок при запуске нескольких сеансов работы и сокращает время инициализации моделей.
Функция автоматически проверяет целостность скачанных файлов и управляет пространством на диске, удаляя давно не используемые версии моделей по настраиваемой политике. Поддерживается кэширование как полных весов, так и квантизованных версий для моделей, оптимизированных под мобильные устройства.
Оптимизация рабочего процесса
Кэш можно хранить на локальном диске, внешнем накопителе или сетевой папке с автоматическим выбором самого быстрого доступного источника. CLI поддерживает параллельное скачивание нескольких моделей и возобновление прерванных загрузок.
Инструмент интегрируется с остальными командами Together AI CLI и позволяет использовать кэшированные веса как в локальных рабочих окружениях, так и при отправке задач на облачные GPU. Это упрощает работу в средах с нестабильным интернетом.
Функция доступна в последней версии CLI Together AI и не требует дополнительных платных подписок.