OpenAI выпустила инструмент для автоматического создания тестов на основе логов запросов

20 октября 2026

OpenAI запустила инструмент, который анализирует логи реальных запросов к API и автоматически создаёт набор unit-тестов и интеграционных тестов для проверки поведения моделей. Это упрощает валидацию обновлений и регрессионное тестирование.

Инструмент извлекает из логов примеры промптов, ожидаемые типы ответов и граничные случаи, затем генерирует тесты, которые проверяют, что модель возвращает результаты в том же формате и с соответствующей точностью.

Автоматизация тестирования

Созданные тесты можно запускать в CI/CD pipeline перед развёртыванием новых версий приложения или при обновлении версии API OpenAI. Это помогает своевременно выявить нежелательные изменения в поведении моделей.

Инструмент поддерживает различные форматы логов и интегрируется с pytest, Jest и другими популярными фреймворками тестирования для разных языков программирования.

Доступ предоставляется через OpenAI Platform для всех подписчиков, начиная со следующего обновления OpenAI API.