Anthropic представила систему для проверки фактичности ответов Claude
Anthropic представила новый модуль для проверки фактов в ответах Claude, который оценивает уровень достоверности утверждений и выделяет потенциально ненадёжные части текста. Система работает интегрировано с основной моделью и не требует внешних источников для базовой верификации.
Механизм использует внутренние знания модели и статистические методы для оценки согласованности утверждений с обучающими данными. Пользователи получают индикаторы достоверности для каждого важного факта.
Практическое применение
Функция адресует критику галлюцинаций в LLM и повышает доверие к системе в критичных приложениях: медицина, право, финансы. Anthropic заявила, что это шаг к более надёжным и прозрачным ИИ-системам.
Первые тесты показывают улучшение качества ответов на 25—40 процентов при включении проверки на задачах с высокой требовательностью к точности.
Компания планирует открыть API для разработчиков и внедрить более сложные методы перекрёстной проверки информации.