Если модель не поняла с первого раза, переформулировка не всегда спасает
Когда модель ошибается в ответе, стандартный совет — переформулировать промпт. Но тесты показывают, что это работает лишь в половине случаев. На остальные 50 % ошибок переформулировка не влияет вообще, а на редких задачах даже ухудшает результат, потому что новая формулировка запутывает модель ещё больше.
Причина в том, что ошибки делятся на два класса. Первый класс — ошибки понимания: модель неправильно истолковала требование. Здесь переформулировка работает. Второй класс — ошибки знания: модель просто не знает правильный ответ или путает факты. Переформулировка здесь не помогает, потому что проблема не в понимании, а в недостатке информации в обучающих данных.
Как различить класс ошибки
Если модель ответила уверенно, но неправильно, это обычно ошибка знания. Если ответ размытый, противоречивый или содержит попытки угадать, это ошибка понимания. При ошибке понимания переформулируйте. При ошибке знания добавьте контекст: дайте модели выдержку из источника, примеры, уточнения.
Альтернативный подход при неудаче — разбить задачу на части. Вместо одного большого промпта используйте цепочку более простых. На каждом шаге модель может ошибиться, но вероятность ошибки на простой задаче ниже, чем на сложной.
Если ни переформулировка, ни добавление контекста, ни разбор задачи не помогают, проблема может быть в самой модели — её знаний недостаточно. В этом случае имеет смысл выбрать более мощную версию модели или отказаться от этой задачи.