Зависимость результата от порядка абзацев в длинном промпте

В длинных промптах модель распределяет внимание неравномерно. Информация в начале и в конце промпта обрабатывается более тщательно, чем середина — это следует из исследований о recency и primacy bias в трансформерах. Критичные инструкции нужно размещать в первых абзацах, чтобы они не были вытеснены позже поступившим контекстом.

Экспериментально подтверждено, что перемещение одного и того же требования из середины в начало промпта повышает его эффективность на 15–30 процентов. Особенно это заметно на промптах свыше тысячи токенов, где эффект затухания середины проявляется ярче.

Структура длинного промпта

Оптимальная структура для длинного промпта: главная инструкция и ограничения в начале, затем контекст и фон, примеры перед завершением, финальное уточнение задачи в конце. Такой порядок максимизирует удержание ключевых требований.

Если промпт содержит противоречивые требования, их нужно явно развести по первому и последнему абзацам, чтобы модель учла оба и разрешила конфликт осознанно, а не проигнорировала одно из них.