ИИ научили отказываться от задач, которые не в его силах решить
Разработан механизм самооценки, который помогает ИИ-системам определять, когда задача выходит за рамки их компетентности. Модель анализирует контекст запроса и сравнивает его с обучающими данными, чтобы понять, может ли она дать надёжный ответ.
Такой подход снижает количество галлюцинаций и повышает доверие пользователей к результатам. ИИ перестаёт выдумывать решения, когда их на самом деле не может найти.
Практическое применение
Метод испытан на системах, обрабатывающих медицинские данные и юридические запросы. В обоих случаях отказ от неуверенных ответов привёл к снижению ошибок на 30—40 процентов.
Исследователи отмечают, что честное 'не знаю' от ИИ теперь рассматривается как признак надёжности, а не ограничения. Механизм может быть встроен в существующие модели с минимальными переобучениями.