Microsoft выпустила CLI-утилиту для локального тестирования интеграций с Azure OpenAI
Microsoft представила CLI-утилиту для локального тестирования интеграций с Azure OpenAI. Инструмент запускает эмулятор API на локальной машине разработчика, поддерживающий полный набор методов Azure OpenAI, включая выполнение функций и потоковую передачу ответов.
Эмулятор позволяет отлаживать коды без расходования кредитов на облачный сервис и упускания сетевых задержек. Разработчик может использовать его в интеграционных тестах и для проверки правильности обработки ошибок.
Развёртывание и конфигурация
Утилита устанавливается через npm или pip и запускается одной командой. Эмулятор слушает локальный порт и полностью совместим с официальным SDK для Python, JavaScript и других языков.
Microsoft поставляет готовые конфигурации для популярных моделей — GPT-4, GPT-3.5 Turbo, embeddings — и позволяет добавлять собственные модели через простой конфиг. Поддерживаются все основные операции: завершение текста, чат, встраивания и управление деплойментами.
Утилита распространяется под открытой лицензией и доступна в официальном репозитории Microsoft на GitHub с документацией по использованию в CI/CD-конвейерах.