Meta добавила в Llama API поддержку потоковой обработки больших файлов
Meta расширила Llama API поддержкой потоковой обработки больших файлов, позволяя разработчикам отправлять документы напрямую без распределения на части в коде. Модель обрабатывает файлы поблочно, возвращая результаты по мере их готовности.
API поддерживает потоковую отправку архивов, PDF-документов, видеозаписей и аудиофайлов. Модель автоматически извлекает текст, метаданные и структуру, сохраняя контекст между блоками для точного анализа длинных документов.
Оптимизация памяти и скорости
Потоковая обработка снижает требования к памяти на клиентской стороне, так как файл не нужно полностью загружать в ОЗУ перед отправкой. Это позволяет обрабатывать файлы размером в несколько гигабайт на обычном оборудовании.
API возвращает результаты частями по мере обработки блоков, что позволяет разработчикам вывести результат пользователю раньше, чем завершится обработка всего файла. Это улучшает восприятие скорости в приложениях.
Функция доступна для всех моделей Llama и включена в стандартные тарифы без дополнительной платы за потоковую обработку.