Mistral расширила SDK поддержкой специализированных токенизаторов для разных языков
Mistral выпустила обновление SDK, которое включает специализированные токенизаторы для неевропейских языков. Каждый токенизатор оптимизирован под особенности письменности и грамматики конкретного языка, что снижает количество токенов на единицу текста и улучшает качество обработки.
Токенизаторы обучены на большых корпусах текстов соответствующих языков и сокращают средний расход токенов на 15–25 процентов по сравнению с универсальным подходом. Поддерживаемые языки включают арабский, китайский, японский, корейский, русский, хинди и португальский.
Применение и совместимость
Токенизаторы автоматически выбираются на основе языка входного текста, что избавляет разработчика от ручной конфигурации. SDK остаётся обратно совместимым с существующим кодом и не требует изменений в логике приложения.
Mistral также предоставила инструмент для анализа эффективности токенизации — разработчик может оценить экономию на своих данных перед развёртыванием. Функция доступна в виде командной утилиты и как метод в Python SDK.
Обновление выпущено в открытый доступ с поддержкой версий SDK начиная с 0.15.0 и может быть установлено через стандартные менеджеры пакетов.