Модель теряет точность с числами: они не объекты, а последовательности токенов

12 сентября 2026

Числовые расчёты — слабое место нейросетей. Это не потому, что модель не учили математике, а потому, что токенизация чисел несогласована. Число 12345 может быть одним токеном или пятью, в зависимости от реализации. Модель никогда не видит число целиком.

Когда требуется точный расчёт, команды обычно передают задачу специальному коду или калькулятору, а не просят модель считать. Модель хороша в логике, плохо — в арифметике на больших числах.

Что работает с числами, а что нет

Простые операции, такие как сумма двух трёхзначных чисел, модель часто делает неправильно. Попросить её найти ошибку в логике формулы — другой класс задач, и там она справляется лучше, потому что это чтение, а не вычисления.

На практике это означает, что если в задаче критичны точные цифры, нужна двойная проверка. Либо затруднить модель вычислениями по шагам, либо генерировать формулы и проверять их отдельным калькулятором.

Разработчики используют комбинированный подход: модель генерирует расчётное выражение на Python или SQL, а потом исполняется машиной. Модель планирует, машина считает.