Ошибка в одном условии ломает весь запрос: как проверять промпт на опечатки

Модель очень чутко реагирует на формулировку. Если в условии написать «не должно содержать слово X», а потом модель будет искать это слово везде, ошибка заметна сразу. Но если опечатка в названии переменной или в логике условия («если Y, тогда Z» вместо «если не-Y, тогда Z»), результат может выглядеть формально правильным, но совершенно не тем, что нужно.

Первый уровень проверки — прочитать промпт вслух или про себя, как код. Легко упустить логическую ошибку при беглом чтении. Второй уровень — тестировать на граничных случаях. Если промпт должен отклонять тексты с матом, подай текст с матом и убедись, что отклоняет.

Как искать ошибки системно

Полезно выделить условия в промпте жирным или нумеровать их, чтобы не потеряться. Потом проверить каждое отдельно: дать модели входные данные, которые должны срабатывать по одному условию, и убедиться, что она правильно его применяет.

Если промпт уже в production, ошибку заметить сложнее: результаты кажутся нормальными, но отличаются от ожиданий. Поэтому стоит держать набор тестовых случаев, которые проверяют ключевые сценарии. При каждом обновлении промпта гонять тесты заново.

Опечатки и логические ошибки в промптах — частая источник багов, которые сложнее дебажить, чем ошибки в коде. Потому что модель не падает с ошибкой, а просто выдает неправильный результат, и логика ошибки может быть далеко от её описания.