ИИ научили следить за своим статусом и докладывать вручную
Группа исследователей из MIT и OpenAI предложила архитектуру, которая позволяет агентам оценивать уверенность в своих решениях и инициировать запрос к человеку при падении уверенности ниже порога. Агент генерирует краткий отчёт о проблеме и ожидает решения, не предпринимая действий самостоятельно.
Тест показал, что такая система снижает долю ошибок на 45 процентов в сравнении с агентом без самомониторинга. Люди, получившие запрос, решали задачу быстрее, потому что агент уже собрал контекст и предложил варианты решения.
Механика самооценки
Агент использует отдельную модель для оценки своей уверенности, которая обучена на парах «решение — правильность». Самооценка учитывает сложность задачи, количество вариантов решения и историю предыдущих ошибок на похожих задачах.
Исследователи интегрировали метод в три типа агентов: планировщик маршрутов, анализатор данных и помощник на естественном языке. Во всех случаях качество упало не более чем на 2 процента по сравнению с автономной работой, но надёжность выросла значительно.
Разработчики планируют открыть код метода в начале следующего года и предполагают, что техника найдёт применение в критичных для надёжности системах: медицина, финансы, управление инфраструктурой.