Токсичность вывода зависит от географии и культурной принадлежности датасета
Группа учёных проанализировала выходные данные нескольких популярных языковых моделей на предмет токсичности и предвзятости в зависимости от региона и культурной принадлежности датасета, на котором они обучались. Исследование охватило тексты на 15 языках и выявило чёткую корреляцию между составом датасета и характером токсичного поведения модели.
Моделям, обученным в основном на западных данных, свойственны предубеждения, отражающие западные социальные нормы и конфликты. В то же время модели, обученные на данных из других регионов, демонстрируют иные паттерны токсичности, соответствующие локальным общественным стереотипам.
Значение для глобальных систем
Результаты подчёркивают необходимость геоправедливого подхода к составлению тренировочных наборов. Единая глобальная модель, обученная преимущественно на западных данных, не может одинаково хорошо работать с пользователями из разных культурных контекстов.
Исследователи рекомендуют разработчикам явно контролировать состав тренировочных данных по географическому и культурному происхождению и проводить локализованное тестирование токсичности. Это требует сотрудничества с лингвистами и экспертами из целевых регионов.
Работа способствует признанию того, что объективность языковой модели — это конструкт, зависящий от выбора данных и допущений разработчиков, а не врождённое свойство архитектуры.