Разработчики Python получили декоратор для кэширования ответов моделей в памяти
В экосистему Python-библиотек для работы с моделями добавлен декоратор для автоматического кэширования ответов моделей в памяти. Разработчики просто украшивают функцию, которая обращается к модели, и кэширование начинает работать без дополнительной логики.
Декоратор использует хеширование входных параметров для определения идентичных запросов и возвращает закэшированные результаты мгновенно. Это особенно полезно для приложений, которые обрабатывают большие объёмы текста с частыми повторениями или работают с ограниченным бюджетом API.
Гибкая настройка и статистика
Библиотека позволяет задавать время жизни кэша, максимальный размер в памяти и правила вытеснения старых данных. Разработчики могут выбрать различные стратегии: LRU, LFU или временное истечение.
Встроенный механизм сбора статистики показывает процент попадания в кэш, размер занятой памяти и самые часто запрашиваемые данные. Это помогает оптимизировать размер кэша и понять паттерны использования.
Декоратор совместим со всеми популярными клиентскими библиотеками для работы с моделями и не требует изменения остального кода приложения.