Кэш слоёв: повторный запрос модели выполняется в 100 раз быстрее
Исследователи из ведущих лабораторий продемонстрировали, что кэширование активаций промежуточных слоёв трансформера кардинально ускоряет обработку похожих последовательностей. Если клиент отправляет несколько вопросов с одинаковым контекстом, вторая и последующие запросы выполняются почти моментально.
Практический выигрыш огромен: поддержка контекста и беседа с моделью становятся невероятно отзывчивыми. Это особенно важно для систем с долгим контекстом, где одна рекомпиляция весит миллиарды операций.
Применение и ограничения
Кэш требует дополнительной памяти для хранения активаций, но при достаточном VRAM выигрыш в скорости оправдывает затраты. Больше всего ускорение помогает в интерактивных системах и диалоговых агентах, где повторяемость входных данных высока.
Техника раскрывает новый класс оптимизаций для локального запуска: вместо запуска полной модели каждый раз можно переиспользовать вычисления. Это сдвигает фокус с размера весов на объём оперативной памяти и организацию кэша.
Интеграция кэширования в фреймворки вроде HuggingFace Transformers и vLLM ожидается в ближайших месяцах, что расширит доступ к методу для широкой разработчической базы.