Исследование показало, что контекст улучшает качество вывода на 40 процентов

Исследование охватило несколько моделей размером от 7 до 405 миллиардов параметров и оценило их на задачах требующих понимания контекста: вопросно-ответные системы, анализ текстов, логический вывод. Увеличение контекстного окна с 4K до 128K токенов привело к улучшению метрик на 40 процентов в среднем.

Анализ показал, что эффект особенно выражен на задачах с неоднозначным содержанием, где модель должна опираться на широкий контекст. На простых задачах классификации улучшение было скромнее, но всё равно заметно.

Практические последствия

Результаты подтверждают стратегию компаний на расширение контекстного окна моделей. ChatGPT-5 поддерживает окно из 200K токенов, что открывает возможности для обработки целых документов и многоуровневых диалогов.

Однако увеличение контекста требует больше вычислительных ресурсов. Авторы исследования отмечают, что оптимум лежит в диапазоне 32-64K токенов для большинства практических приложений, где соотношение качества и стоимости наиболее благоприятно.

Исследование также выявило, что расположение релевантной информации в контексте влияет на качество вывода. Модели лучше работают, когда важные детали находятся в начале или конце текста, нежели в середине.