Дообучение открытой модели через QLoRA упало в цену в 100 раз
QLoRA — это техника, которая сжимает модель в 4-bit и добавляет низкоранговые адаптеры вместо обновления всех весов. В 2023 году это позволяло обучать 65-миллиардную LLaMA на RTX 4090 за разумное время. В 2026 году метод ещё эффективнее: улучшенное управление памятью, flash attention и батчинг позволяют дообучать модели вдвое большего размера.
Стоимость упала благодаря трём факторам: видеокарты подешевели, алгоритмы оптимизации ушли в фреймворк (bitsandbytes, vLLM), а облачные провайдеры конкурируют с локальным обучением. Дообучение модели на вашем датасете теперь стоит копейки, если у вас есть видеокарта, или сотни долларов в облаке вместо десятков тысяч пять лет назад.
Следствие для бизнеса
Это означает, что компании могут позволить себе натренировать свою версию моделей без грантов и инвестиций. Стартап с бюджетом в несколько тысяч долларов может дообучить открытую модель под свой домен, язык или задачу и запустить конкурирующий продукт.
Облачные API (OpenAI, Anthropic) теряют монополию на доступный training. Те, кто раньше вынужденно покупали готовых моделей, теперь могут взять открытую и настроить её. Это ускоряет фрагментацию рынка ИИ в пользу специализированных решений.
Риск для разработчиков открытых моделей в том, что их вклад теперь быстро копируется и переиспользуется без видимых благодарностей. Но это естественное развитие: открытость модели предполагает возможность её переделки, и цена на неё упала только потому, что технология созрела.