Архитектура трансформера обновлена впервые за три года исследованиями

15 октября 2026

Исследование, опубликованное в Nature Machine Intelligence, описывает новый механизм внимания, получивший название Hierarchical Sparse Attention (HSA). Метод строит многоуровневую иерархию взаимодействия токенов, позволяя модели фокусироваться на релевантных частях входных данных без необходимости полносвязного внимания к каждому элементу.

Тесты показали, что HSA уменьшает вычислительную сложность с O(n²) до O(n log n), при этом сохраняя или улучшая качество выходов. На практике это означает возможность обрабатывать тексты длиной в два миллиона токенов на одной GPU, что раньше требовало разделения на несколько карт.

Переход к новой парадигме

Архитектура трансформера, предложенная в 2017 году Vaswani и соавторами, до этого момента получала только инкрементальные улучшения и оптимизации памяти. Предложение полностью переработать механизм внимания вызвало дискуссию в сообществе: скептики указывают на то, что стандартный трансформер остаётся эффективным, несмотря на кажущиеся недостатки.

Однако крупные лаборатории уже адаптируют HSA для своих моделей. OpenAI и Meta, по данным анонимных источников, тестируют архитектуру на новых поколениях моделей с ожиданием выпуска в третьем квартале 2027 года.

Если результаты подтвердятся, это может привести к снижению издержек на обучение крупных моделей на 40-50% и расширению доступности ИИ для организаций среднего масштаба.