OpenAI добавила в API инструмент для обнаружения галлюцинаций по метрикам вероятности
OpenAI добавила встроенный инструмент для обнаружения галлюцинаций, который анализирует вероятностное распределение при генерации ответов. Модуль возвращает метрики уверенности модели и флаги для потенциально недостоверной информации.
Инструмент основан на анализе логитов последних слоёв модели и позволяет приложениям различать высокодостоверные и сомнительные ответы. Это особенно важно для RAG-систем и приложений с фактической информацией.
Применение в критичных системах
Решение помогает повысить надёжность приложений в медицине, праве и других областях, где точность критична. Разработчики могут использовать метрики для фильтрации или переформулирования ответов.
API возвращает скор галлюцинации в диапазоне 0–1 и позволяет установить пороги для автоматического отклонения недостоверных ответов. Инструмент работает со всеми основными моделями GPT.
OpenAI продолжает развивать механизмы для повышения надёжности и интерпретируемости генерации текста в коммерческих приложениях.