Неправильный свет выдаёт синтетику на 90 процентов случаев
Группа компьютерного зрения провела анализ 10 000 изображений, сгенерированных современными моделями, и выявила, что освещение служит самым надёжным индикатором для обнаружения fake-контента. Нейросети часто допускают логические ошибки в направлении света, создании теней и отражений.
Наиболее частая ошибка — множественные источники света с противоречивыми направлениями тени. Вторая по частоте проблема: отсутствие окклюзионных теней, когда один предмет должен отбрасывать тень на другой, но этого не происходит.
Вызов для разработчиков
Разработчики моделей изображений признают, что физически корректное отрисовывание света требует более глубокого понимания трёхмерной геометрии сцены. Текущие трансформеры работают с двумерными паттернами и не моделируют физику световых потоков.
Исследование предполагает, что нейросети должны получать во время обучения примеры с явной аннотацией источников света и физических параметров материалов. Это требует создания новых датасетов, что делает процесс обучения дороже и сложнее.
Преодоление барьера с освещением может заметно приблизить качество синтетики к фотореалистичности и затруднит автоматическое обнаружение сгенерированных изображений.