Новая версия фреймворка позволяет обучать модели с минимизацией смещения данных
Выпущена новая версия популярного фреймворка для обучения моделей, включающая встроенные инструменты для минимизации смещений в данных на ранних этапах подготовки. Нововведения позволяют выявлять систематические искажения в датасетах и применять автоматические корректировки перед обучением модели.
Фреймворк предлагает набор алгоритмов переумножения, переотбора и синтеза данных для балансировки представления различных групп и признаков в обучающем наборе.
Функциональность и результаты
В версию добавлены аналитические инструменты для диагностики смещений по разным измерениям: демографические характеристики, географическое распределение, временные периоды и тематические области. Пользователи могут настраивать степень коррекции в зависимости от требований задачи.
Тестирование показало, что применение встроенной коррекции снижает дисперсию ошибок модели на подмножествах данных и улучшает справедливость предсказаний без значительного снижения общей точности.
Фреймворк документирован с примерами для типовых сценариев, а исходный код доступен под открытой лицензией для сообщества разработчиков.