Температура и топ-p: как случайность параметров влияет на повторяемость
Температура регулирует остроту вероятностного распределения следующего токена: низкие значения (0.1–0.3) делают ответы детерминированными и повторяемыми, высокие (0.8–1.0) добавляют разнообразие и риск отклонений. Топ-p (nucleus sampling) дополнительно ограничивает выбор только токенами с суммарной вероятностью в пределах этого процента.
Для воспроизводимых задач — анализ кода, перевод, классификация — рекомендуется температура близ нуля. Для творческих применений — топ-p около 0.9 и температура 0.7–0.8 дают хороший баланс между релевантностью и разнообразием.
Взаимодействие параметров
Эти параметры не независимы: высокая температура при низком топ-p по-прежнему даёт строгие ответы, потому что выбор ограничен малым набором вероятных токенов. Их комбинация позволяет тонко настраивать поведение модели под конкретную задачу.
На практике разработчики заполняют таблицы сочетаний параметров для типовых задач и затем не меняют их. Если результат ненадёжен, причина часто именно в слишком высокой температуре или топ-p, которые активируют длинный хвост малоправдоподобных продолжений.
Понимание этих параметров критично при интеграции модели в production-системы, где вариативность может разломать downstream-логику.