Скорость обучения новых моделей ускорилась в три раза за год
Группа учёных из компаний, ведущих разработки в области ИИ, опубликовала результаты, показывающие трёхкратное ускорение обучения новых моделей с сохранением качества выходных данных. Прорыв достигнут за счёт комбинации аппаратных улучшений и новых алгоритмов оптимизации нейронных сетей.
Ключевое изменение — переход на распределённое обучение с использованием специализированных процессоров и новой архитектуры данных. Это позволило сократить время обучения модели с 100 миллиардами параметров с четырёх месяцев до полутора.
Экономические последствия
Ускорение обучения снижает стоимость разработки на 60 процентов, что открывает возможности для среднеразмерных компаний конкурировать с крупными лабораториями. До сих пор только компании с доступом к огромным вычислительным ресурсам могли позволить себе обучение продвинутых моделей.
Эксперты ожидают, что в следующие два года количество разработчиков ИИ на рынке удвоится благодаря снижению входных барьеров. Индустрия переходит от вертикальной концентрации разработок к более распределённой экосистеме.
Однако критики отмечают, что более быстрое обучение приводит к меньшему времени на проверку безопасности и этики систем, что требует принятия новых стандартов контроля качества.