Размер модели определяет область сложности, не потолок качества
Открытые модели выпускаются серией разных размеров: компактные, средние и крупные. Часто кажется, что нужна самая большая, но это не так. Размер модели определяет не потолок качества, а область сложности, на которой она стабильна.
Модель на 3 миллиарда параметров отлично справляется с классификацией, простыми переводами, заполнением шаблонов. На 7 миллиардов начинает понимать контекст и рассуждение, хотя путается в деталях больших документов. На 13 миллиардов держит нить через сложный диалог и видит нюансы текста.
Выбор размера — выбор задачи
Пользователи часто ставят модель в три раза больше, чем нужно, потому что она влезает в память. Это работает, но тратит электричество, нагревает комнату и замораживает браузер на 2 секунды на каждый запрос. То же самое в облаке — квота кончается раньше.
Опытные разработчики поступают наоборот: берут модель размером поменьше и если она не справляется, добавляют контекст, переписывают промпт или переходят на формат специального обучения. Редко когда более крупная модель спасает дело, если меньшая его не решала.
Размер модели на локальной машине — это выбор между скоростью и точностью, которым управляешь сам. В облаке этот выбор делает провайдер, и тебе остаётся только платить.