Галюцинации в ответах ИИ удалось снизить на 60 процентов новым методом

Группа исследователей из нескольких организаций предложила новый подход к снижению галюцинаций в больших языковых моделях — явления, когда система генерирует правдоподобные, но ошибочные или полностью вымышленные данные. Метод основан на совместном обучении модели на примерах корректных и некорректных ответов с использованием специальной функции потерь.

Экспериментальная оценка показала, что применение этого подхода на этапе обучения снижает количество галюцинаций на 60 процентов без существенного уменьшения качества корректных ответов. Результаты получены на тестовых наборах данных и требуют проверки в реальных сценариях использования.

Практическое применение

Снижение галюцинаций критично для систем, которые используются в задачах, требующих факторической точности: медицина, право, финансы. Метод может быть адаптирован к существующим архитектурам моделей с минимальными изменениями в инфраструктуре обучения.

Однако исследователи отмечают, что полное устранение галюцинаций остаётся открытой проблемой. Рост объёма обучающих данных и сложность архитектур моделей до сих пор не позволяют гарантировать отсутствие вымысла в ответах.

Разработка подобных методов ведётся параллельно в нескольких организациях, и конкурирующие подходы продолжают улучшать надёжность языковых моделей в критичных приложениях.