OpenAI снизила задержку ответа для премиум-подписчиков до 300 миллисекунд
OpenAI завершила модернизацию центров обработки данных, благодаря чему первый токен ответа теперь поступает к пользователю быстрее. Снижение задержки коснулось всех премиум-тарифов, включая ChatGPT Plus и Team.
Достижение стало результатом оптимизации алгоритма маршрутизации запросов и развёртывания дополнительных вычислительных узлов в ключевых регионах. Пиковые нагрузки распределяются более равномерно.
Улучшение пользовательского опыта
Сокращение задержки на 150 миллисекунд заметно влияет на восприятие интерактивности системы, особенно при работе с длинными документами и сложными запросами.
Бесплатные пользователи получат аналогичные улучшения с задержкой на несколько недель при условии стабилизации нагрузки на инфраструктуру.
OpenAI заявила о продолжении работ по снижению задержки и расширению географического охвата ускоренного сервиса.