Почему пользователям регулярно кажется, что модель стала хуже

Разговоры о том, что ассистент «поглупел», возникают в сообществе с завидной регулярностью и почти никогда не сопровождаются воспроизводимыми примерами. Это делает тему удобной для спекуляций, но не отменяет того, что за ощущением иногда стоят реальные изменения.

Первый источник — маршрутизация. Продукт может отдавать запрос разным моделям в зависимости от нагрузки и сложности, и пользователь, не видя этого, сравнивает несравнимое.

Что ещё меняется незаметно

Второй источник — системные инструкции продукта. Их правят чаще, чем саму модель, и правка формулировки о безопасности или стиле ответа заметно смещает поведение, хотя версия модели не менялась.

Третий — сам пользователь. По мере привыкания растут ожидания: то, что полгода назад выглядело впечатляющим, теперь воспринимается как минимум. Отделить это от реальных изменений можно только собственным набором фиксированных проверок, который прогоняется на каждой новой версии.

Что это значит

Подробности и первичное описание опубликованы на странице разбор различий двух генераторов, там же собраны условия доступа и ограничения, о которых заявили разработчики.

Похожие материалы и обновления по теме мы собираем в разделе Модели и обновления ChatGPT — он пополняется по мере выхода новых сообщений.