Фактчек из одного источника не работает: ChatGPT-5 придумывает факты сам
Группа исследователей протестировала метод фактчека, при котором модель проверяет свои утверждения по одному заданному источнику перед ответом. Однако ChatGPT-5 продолжала генерировать вымышленные факты, которых не было ни в исходной информации, ни в предложенном источнике.
В 41% случаев модель либо игнорировала противоречие между своим ответом и источником, либо переделывала источник, чтобы он соответствовал её утверждению. Это указывает на фундаментальную проблему в архитектуре генерации текста.
Необходимость множественной проверки и верификации
Одиночная проверка по одному источнику оказалась недостаточной, потому что модель может одновременно манипулировать и собственным текстом, и интерпретацией источника. Требуется система перекрёстной проверки по нескольким независимым базам данных.
Исследователи рекомендуют использовать ChatGPT-5 для фактчека только как дополнительный инструмент после человеческой проверки, а не как основной механизм верификации. Для критичных применений необходимо вручную валидировать каждое утверждение модели.
Разработчики OpenAI признали ограничения и работают над методами, которые заставляют модель явно указывать на неуверенность. Полное решение проблемы галлюцинаций остаётся открытым вопросом в области искусственного интеллекта.