Microsoft добавила в Azure инструмент для автоматического выбора оптимальной модели
Microsoft добавила в Azure AI сервис для автоматического выбора моделей языка. Инструмент анализирует задачу и данные, затем рекомендует модель, которая даст лучшее соотношение точности, затрат и скорости ответа. Это упрощает процесс экспериментирования разработчикам, которые не знают, с какой модели начать.
Сервис учитывает требования по задержке, размер памяти, бюджет на токены и специфику задачи: генерация текста, классификация, переводы. Рекомендация выдаётся в виде рейтинга моделей с указанием ожидаемых характеристик.
Интеграция с Azure OpenAI
Инструмент встроен в консоль Azure OpenAI и доступен через REST API. Разработчик описывает задачу в текстовом формате, и система возвращает упорядоченный список моделей с объяснением выбора.
Microsoft включила в рекомендации как собственные модели Azure, так и OpenAI, Cohere и Mistral. Это позволяет сравнивать варианты на одном экране без переключения между платформами.
Сервис собирает метрики использования и может уточнять рекомендации на основе фактических результатов в production, если разработчик активирует автоматический учёт обратной связи.