Together AI представила инструмент для интеграции моделей в Apache Airflow
Together AI выпустила оператор для Apache Airflow, который упрощает интеграцию языковых моделей в орхестрируемые рабочие процессы. Инструмент позволяет разработчикам добавлять шаги обработки с моделями Together AI непосредственно в DAG без дополнительных оберток.
Оператор поддерживает как синхронные, так и асинхронные вызовы к моделям и может использоваться в комбинации с другими операторами Airflow для построения комплексных pipeline'ов. Конфигурация выполняется через стандартные параметры операторов.
Интеграция с существующей инфраструктурой
Инструмент совместим с Airflow 2.0 и выше и требует минимальных изменений в коде пользователя. Together AI предоставляет готовые примеры DAG'ов для типичных сценариев обработки текста и генерации.
Оператор автоматически обрабатывает повторные попытки при сбое запроса и логирует метрики использования моделей. Это упрощает отладку и мониторинг production-pipeline'ов.
Расширение уже протестировано на больших объемах данных и готово к развертыванию в корпоративных системах управления рабочими процессами.