Anthropic выпустила библиотеку для работы с контекстом размером свыше 200k токенов
Anthropic выпустила открытую библиотеку для оптимизации работы с контекстом размером более 200 тысяч токенов. Библиотека предоставляет утилиты для разбиения больших документов, кэширования часто используемого контекста и приоритизации релевантной информации.
Инструмент упрощает работу с длинными документами, кодовыми базами и историями диалогов. Разработчики могут передавать в модель целые репозитории или многотомные руководства без дополнительной обработки.
Практическое использование расширенного контекста
Библиотека реализует механизм приоритизации, который помещает самые релевантные для задачи фрагменты в начало контекста. Это улучшает качество ответов при работе с большими объёмами информации.
Включены примеры интеграции с популярными фреймворками для работы с LLM и документами. Разработчики могут использовать готовые паттерны для своих применений.
Библиотека распространяется под открытой лицензией и доступна через PyPI и GitHub.