Компактные модели забирают у крупных повседневные задачи
Гонка за размером заметно замедлилась в той части, которая касается практического применения. Модели на несколько миллиардов параметров научились уверенно делать то, ради чего год-два назад пришлось бы поднимать что-то в разы тяжелее.
Причина не в архитектурных чудесах, а в качестве обучающих данных и в аккуратной настройке под инструкции. Компактная модель, обученная на отфильтрованном корпусе, обыгрывает крупную, обученную на всём подряд, на любых узких задачах.
Чего компактные модели по-прежнему не умеют
Слабое место остаётся тем же — редкие факты и длинные многошаговые рассуждения. Маленькая модель хуже помнит детали и быстрее теряет нить на длинном контексте, поэтому её сильная сторона это обработка, а не эрудиция.
Отсюда сложившаяся схема: компактная модель работает локально и обрабатывает поток, а тяжёлая подключается на редкие сложные запросы. Такое распределение снимает нагрузку и делает время ответа заметно ровнее.
Для домашнего железа сдвиг особенно заметен: связка из компактной модели и приличной видеокарты закрывает большую часть повседневной работы с текстом без обращения куда-либо наружу.
Что это значит
Подробности и первичное описание опубликованы на странице разбор seed и повторяемости результата, там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе «Открытые модели и локальный запуск» — он пополняется по мере выхода новых сообщений.