Исследование MIT показало связь размера модели с её предвзятостью
Исследователи из Массачусетского технологического института провели анализ зависимости предвзятости нейросетей от их масштабов. Вопреки распространённому предположению, что большие модели автоматически становятся справедливее, учёные выявили более сложную картину: размер модели влияет на предвзятость нелинейно и зависит от характера обучающих данных.
Команда протестировала современные архитектуры трансформеров на наборах данных с различной степенью имбаланса. Результаты показывают, что масштабирование модели может как уменьшать, так и увеличивать смещения в зависимости от распределения признаков в обучении.
Методология исследования
В работе использованы стандартные метрики честности и справедливости для оценки моделей различных размеров, от нескольких миллионов до нескольких миллиардов параметров. Исследователи контролировали состав и свойства обучающих наборов, чтобы изолировать влияние архитектуры.
Полученные выводы имеют практическое значение для разработки систем принятия решений в критичных областях. Результаты MIT предлагают переформулировать подход к оценке честности: вместо простого масштабирования необходимо учитывать свойства данных и явно работать с предвзятостью на этапе подготовки.
Статья будет опубликована в сборнике трудов международной конференции по машинному обучению и включает детальный анализ механизмов, через которые данные транслируют смещения в предсказания модели независимо от её размера.