Когда нейросеть рисует скрытый текст в углу: артефакты парейдолии
Парейдолия в контексте нейросетей — это ошибка интерпретации: модель рисует закономерности, которые человеческий глаз воспринимает как буквы, слова или символы, даже если они случайны. Явление встречается при генерации книжных полок, документов, вывесок — везде, где в датасете было много реальных текстов.
Кажущийся текст не имеет семантики и не повторяется при повторной генерации: это паттерн пикселей, а не закодированное сообщение. Но визуально это может портить изображение, особенно если на переднем плане должен быть плакат или вывеска без текста.
Борьба с артефактом
Исследователи заметили, что такие артефакты появляются реже в более новых и лучше обученных моделях, а также при добавлении в промпт явного указания на отсутствие текста: no text, no writing, no signs.
Некоторые разработчики добавляют в модель фильтры на уровне архитектуры, которые подавляют область в пространстве скрытых векторов, ответственную за символы.
На практике парейдолия встречается редко в современных версиях моделей, но знание об этом артефакте помогает распознавать поддельные изображения и понимать граничные случаи генерации.