Скорость синтеза: какой генератор быстрее выдаёт первый пиксель картины
Скорость инициализации генерации отличается от полного времени рендеринга. Параметр «time-to-first-pixel» измеряет латентность ввода до момента, когда пользователь видит первый фрейм синтеза, включая загрузку модели, инициализацию шума и первый шаг диффузии.
Лидирующие модели достигли времени инициализации ниже 100 миллисекунд на GPU среднего уровня. Это открыло возможность интерактивных приложений, где пользователь получает обратную связь почти сразу после ввода промпта.
Оптимизация для мобильных устройств
На мобильных процессорах время-до-первого-пикселя остаётся в диапазоне 500—1000 миллисекунд, что требует дополнительной оптимизации сетей и квантизации весов. Компании экспериментируют с частичной загрузкой моделей и кэшированием представлений.
Разница в скорости между разными генераторами становится менее заметной, так как все лидеры уделяют латентности приоритет. Вместо этого различие сместилось в сторону качества первых шагов и предсказуемости процесса синтеза.
Эксперты прогнозируют, что через полгода время инициализации упадёт ниже 50 миллисекунд на стандартном оборудовании благодаря технологам переиспользования состояний модели между запросами.