Исследование: биас в моделях воспроизводит предубеждения из обучающих данных
Новое исследование установило прямую связь между дискриминационными предубеждениями в обучающих данных и смещением выходных данных современных языковых моделей. Учёные проанализировали несколько крупных моделей и выявили устойчивые паттерны, отражающие гендерные, этнические и социальные стереотипы.
Исследование показало, что даже применение методов дебиасирования на этапе обработки данных не полностью устраняет проблему, так как модели кодируют информацию на уровне представлений скрытых слоёв. Авторы работы подчеркивают необходимость комплексного подхода к вопросу справедливости ИИ.
Последствия для разработки ИИ
Результаты исследования имеют значение для компаний и организаций, использующих ИИ в критически важных областях, таких как подбор кадров, правоохранительная деятельность и финансовые услуги. Наличие скрытого биаса может привести к неправомерной дискриминации и репутационным рискам.
Исследователи рекомендуют разработчикам проводить более глубокий аудит обучающих данных и внедрять мониторинг справедливости моделей на постоянной основе. Обсуждение результатов начало влиять на нормативные подходы регуляторов в области этики ИИ.