Anthropic запустила сервис для хранения и версионирования наборов данных для fine-tuning
Anthropic развернула специализированный сервис для управления датасетами, используемыми при fine-tuning моделей Claude и других LLM. Сервис обеспечивает централизованное хранилище, версионирование, разметку метаданных и контроль доступа для команд разработчиков.
Платформа позволяет отслеживать изменения в датасетах, восстанавливать предыдущие версии и связывать каждый вариант с результатами обучения. Это важно для воспроизводимости экспериментов и аудита качества fine-tuning.
Инструменты управления
Сервис включает инструменты для валидации данных, удаления дубликатов, анализа баланса классов и экспорта в форматы, поддерживаемые API Anthropic. Разработчики могут работать с датасетами через веб-интерфейс или CLI.
Платформа интегрируется с пайплайнами обучения и позволяет автоматически отправлять выбранные версии датасета на fine-tuning. История версий сохраняется полностью, что упрощает откат к предыдущим конфигурациям.
Нововведение адресовано командам, активно работающим с настройкой LLM под специфические задачи, и позволяет организовать управление данными на уровне enterprise с необходимыми гарантиями качества и безопасности.