Скорость обработки текста увеличилась благодаря новой архитектуре
OpenAI провела масштабную переработку архитектуры ChatGPT, сосредоточившись на оптимизации производительности на уровне ядра модели. Новая архитектура обрабатывает текст примерно на 40% быстрее при сохранении уровня точности и качества ответов.
Улучшение достигнуто за счет переработки механизма внимания и параллелизации вычислений. Инженеры OpenAI перенесли ряд операций на более эффективные вычислительные пути без изменения логики модели.
Влияние на пользовательский опыт
Ускорение особенно заметно при работе с длинными текстами и сложными запросами. Средняя задержка ответа сократилась с 2,5 до 1,5 секунд для типичного запроса, что положительно сказывается на интерактивности диалога.
Оптимизация также снизила потребление вычислительных ресурсов, что позволило OpenAI масштабировать инфраструктуру эффективнее и потенциально снизить стоимость обслуживания.
Ускоренная версия доступна для всех пользователей ChatGPT и постепенно внедряется во все регионы обслуживания в течение октября.