В 2017 году вышла статья «Attention Is All You Need». С тех пор почти все большие языковые модели — от ChatGPT до Grok и Claude — построены на одном ключевом механизме. Он называется Self-Attention (самовнимание) и позволяет модели динамически «понимать» контекст и менять смысл каждого слова в зависимости от окружения. Разберём, как это работает, с простой метафорой архива и без лишней математики.
1. Введение: Проблема слова «замок»
В русском языке слово «замок» может означать и средневековую крепость, и механизм для запирания двери. Если вы скажете другу: «Я вчера купил новый замок», он без колебаний поймёт, что речь идёт о двери. А если услышит: «Мы доехали до старого замка», — представит башни и рвы.
Как нам это удаётся так легко? Потому что значение слова вытекает из его окружения. Философ Людвиг Витгенштейн сформулировал это так: «Значение слова — это его употребление в языке».
А как эту задачу решали компьютеры? Долгое время — очень плохо.
До появления трансформеров слова представляли в виде статических эмбеддингов (как в популярной модели Word2Vec). В компьютере слово «замок» было просто одной фиксированной точкой (вектором) в многомерном пространстве. Эта точка пыталась усреднить оба значения, находясь где-то «посередине» между дверным механизмом и средневековым зданием.
Рекуррентные нейросети (RNN и LSTM) умели учитывать контекст, но делали это последовательно — слово за словом. Из-за этого они часто «забывали» начало длинного предложения к тому моменту, как доходили до конца. Кроме того, их архитектура плохо использовала возможности современных видеокарт (GPU).
Всё изменилось в 2017 году, когда исследователи Google представили архитектуру Transformer. Она отказалась от последовательного чтения и заявила: мы будем смотреть на все слова одновременно с помощью механизма Self-Attention (самовнимания). Это был не просто технический апгрейд, а первый серьёзный шаг к тому, чтобы машина начала моделировать человеческий контекст.
2. Проблема, которую решает Self-Attention
Представьте предложение:
«Я положил деньги на банк, а потом пошёл домой».
Для статической модели слово «банк» — это просто фиксированный набор чисел. Модель не видит разницы между финансовым учреждением и берегом реки, пока не «увидит» слово «деньги». Но как ей это сделать, если слова находятся далеко друг от друга?
Именно эту проблему решает Self-Attention. Он позволяет каждому слову в предложении «посмотреть» на все остальные слова и собрать релевантную информацию из окружения.
Простыми словами: Self-Attention берёт статичный вектор слова «банк» и перестраивает его под текущий контекст. После механизма внимания вектор «банк» впитывает часть смысла слов «деньги» и «положил». В результате получается уже не усреднённый словарный вектор, а динамический контекстный вектор, который однозначно означает «финансовый банк».
3. Главная метафора: архив с папками
Чтобы понять, как именно работает внимание, воспользуемся наглядной метафорой.
Представьте огромный архив с тысячами папок. Вы приходите с вопросом: «расскажи про устройство космических ракет».
Как вы будете искать?
- Берёте свой вопрос и сравниваете его с ярлыками на папках.
- Папка «Растения» — сходство нулевое, пропускаете.
- Папка «Аэродинамика и космос» — отличное совпадение. Открываете и достаёте полезные документы.
В Transformer этот процесс происходит математически для каждого слова:
- Query (Q) — Запрос: то, что слово «хочет узнать».
- Key (K) — Ключ: ярлык, описывающий, чем слово может быть полезно другим.
- Value (V) — Значение: само смысловое содержание слова.
Каждое слово в предложении одновременно выступает и в роли запроса, и ключа, и значения.
Пример: слово «банк» генерирует свой Query и проверяет Keys всех остальных слов. Когда оно находит сильное совпадение с Key слова «деньги», оно забирает часть Value этого слова и добавляет к своему вектору.
Техническая деталь: Q, K и V получаются путём умножения исходного эмбеддинга слова на три обучаемые матрицы весов — $W_Q$, $W_K$ и $W_V$.
4. Математика простыми словами
Формула Scaled Dot-Product Attention из оригинальной статьи выглядит так:
$$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right) V $$
Разберём её по шагам:
Шаг 1. Вычисление сходства ($Q K^T$)
Запрос одного слова умножается на ключи всех остальных. Чем больше результат скалярного произведения — тем сильнее слова «смотрят в одну сторону».
Шаг 2. Масштабирование (деление на $\sqrt{d_k}$)
Длинные векторы дают слишком большие числа. Деление на корень из размерности предотвращает «взрыв» градиентов и стабилизирует softmax.
Шаг 3. Превращение в проценты (softmax)
Сырые значения сходства превращаются в вероятности, которые в сумме дают 100 %.
Пример для слова «банк»:
- «деньги» — 65 %
- «положил» — 20 %
- остальные — 15 %
Шаг 4. Сборка нового вектора
Проценты внимания умножаются на соответствующие Value-векторы. Новый вектор слова становится взвешенной суммой контекста.
Multi-Head Attention
В реальных моделях используется не одно, а несколько параллельных «голов» внимания (обычно 8–64). Каждая голова смотрит на текст со своей точки зрения: синтаксис, семантика, отношения сущностей и т.д. Результаты всех голов объединяются. Благодаря этому модель улавливает самые разные типы связей одновременно.
5. Почему это революция
Self-Attention вызвал взрыв в развитии ИИ по трём ключевым причинам:
- Идеальная параллелизация — весь текст обрабатывается одновременно, а не последовательно. Это позволило эффективно использовать тысячи GPU.
- Решение длинных зависимостей — слово в начале предложения может мгновенно «увидеть» слово в конце.
- Настоящая контекстная семантика — смысл слова становится динамическим и зависит от окружения.
Философски это означало важный сдвиг: нейросеть перестала воспринимать текст как набор изолированных элементов и начала видеть его как связную паутину отношений. Смысл теперь рождается не в самом слове, а в распределении внимания.
6. Ограничения и что дальше
Главный недостаток Self-Attention — квадратичная сложность ($O(n^2)$). Чем длиннее текст, тем больше вычислений:
- 1000 токенов → ~1 миллион операций
- 10 000 токенов → ~100 миллионов операций
Именно поэтому ранние модели ограничивались 512–2048 токенами. Сегодня контекст достиг сотен тысяч и даже миллионов токенов благодаря оптимизациям (FlashAttention, Sparse Attention и др.).
Тем не менее, поиск более эффективных альтернатив продолжается. Появились архитектуры с линейной сложностью: State Space Models (SSM, например, Mamba), RWKV и различные гибридные подходы. Они стремятся сохранить качество понимания контекста при значительно меньших затратах ресурсов.
7. Заключение
Механизм самовнимания стал настоящим сердцем современных больших языковых моделей. ChatGPT, Claude, Gemini и другие — это, по сути, многослойные конструкции из десятков слоёв Self-Attention. Каждый слой уточняет и обогащает смысл всё глубже.
Self-Attention доказал одну важнейшую вещь: понимание языка — это не большой словарь, а способность постоянно соотносить элементы друг с другом в зависимости от контекста.
Хотя сегодня активно ищут более экономичные альтернативы, Self-Attention уже навсегда изменил парадигму искусственного интеллекта. Он математически воплотил старую истину: мы по-настоящему понимаем смысл лишь тогда, когда внимательно смотрим на контекст.