Anthropic выпустила утилиту для оптимизации структуры промптов на основе метрик
Anthropic выпустила инструмент для автоматической оптимизации структуры промптов на основе собранных метрик производительности. Утилита анализирует логи запросов и ответов, выявляет шаблоны в промптах, которые приводят к лучшим результатам, и предлагает переструктурировать существующие инструкции для повышения качества.
Инструмент работает на основе данных о времени выполнения, релевантности ответов и расходе токенов. Система учится на исторических данных приложения и выдаёт рекомендации, специфичные для конкретного сценария использования, а не универсальные советы.
Методология оптимизации
Алгоритм анализирует не только саму формулировку промпта, но и его контекст, последовательность инструкций, примеры в контексте и способ структурирования информации. Рекомендации включают переупорядочивание блоков инструкций, уточнение критериев вывода и изменение способа передачи вспомогательных данных.
Утилита предоставляет интерактивный интерфейс для сравнения производительности исходного и оптимизированного промпта на тестовых наборах данных.
Инструмент доступен как как часть пакета Claude для разработчиков и использует API для анализа без необходимости локальной установки.