AWS запустила сервис маршрутизации запросов между моделями ИИ
Amazon Web Services анонсировала новый сервис AI Model Router, который автоматически распределяет пользовательские запросы между несколькими моделями ИИ в зависимости от стоимости, скорости и точности. Решение позволяет компаниям снижать счета за API на 30–50%, оптимизируя выбор модели под каждый конкретный запрос.
Маршрутизатор интегрируется с экосистемой AWS и поддерживает как собственные модели Amazon Titan, так и решения от OpenAI, Anthropic и других провайдеров.
Конкуренция в области оптимизации
Аналогичные инструменты разработали Google Cloud и Microsoft Azure, но AWS заявляет о более гибкой системе весов и эффективности маршрутизации за счёт машинного обучения.
Сервис особенно полезен для крупных корпораций, обрабатывающих миллионы запросов в день и заинтересованных в снижении затрат на ИИ-инфраструктуру.
Ожидается, что аналитики пересчитают TCO облачных ИИ-решений с учётом новой возможности оптимизации расходов.