Meta добавила в Llama SDK функцию для автоматического шардирования больших батчей
Meta добавила в Llama SDK функцию автоматического шардирования батчей. Она позволяет обрабатывать большие запросы, разбивая их на меньшие фрагменты, которые последовательно передаются через модель, а результаты объединяются.
Раньше разработчики вынуждены были вручную ограничивать размер батча или покупать видеокарты с большей памятью. Автоматическое шардирование снимает эту проблему — SDK сам определяет оптимальный размер фрагмента на основе доступной памяти.
Улучшение доступности
Это особенно полезно для развёртывания Llama на edge-девайсах и серверах со скромными ресурсами. Шардирование может снизить пиковое потребление памяти на 30–50 процентов при минимальном снижении производительности.
Функция включена по умолчанию и настраивается через параметры SDK без изменения кода приложения.
Поддержка доступна для всех версий Llama 2 и выше в последнем обновлении SDK.