Meta добавила в Llama API функцию для локального fine-tuning без облака
Meta добавила в API Llama функцию для локального fine-tuning моделей на машине пользователя. Это позволяет организациям с высокими требованиями к конфиденциальности настраивать модели, не передавая данные на внешние серверы.
Функция поддерживает как GPU так и CPU, и автоматически распределяет нагрузку в зависимости от доступного оборудования. Meta предоставляет подробную документацию и примеры для разных сценариев использования.
Безопасность данных
Локальное fine-tuning особенно востребовано в регулируемых отраслях, где данные не должны покидать пределы инфраструктуры организации. Процесс занимает от нескольких часов до суток в зависимости от размера датасета и мощности оборудования.
Meta указывает, что качество настроенных моделей сопоставимо с облачным вариантом. Функция доступна для всех размеров моделей Llama, начиная с версии 2.
Решение дополняет облачный API Llama и позволяет разработчикам выбирать подходящий подход на основе требований конкретного проекта.