Словарь терминов

Большая языковая модель — нейросеть с миллиардами параметров, обученная на огромных корпусах текста для генерации, понимания и преобразования естественного языка.

Архитектура нейросети, предложенная в 2017 году в статье «Attention Is All You Need». Отказывается от рекуррентных слоёв в пользу механизма самовнимания, что обеспечивает полную параллелизацию вычислений.

Механизм, позволяющий каждому токену в последовательности «посмотреть» на все остальные токены и собрать контекстную информацию. Ключевой компонент архитектуры Transformer.

Мера неопределённости или непредсказуемости случайной величины. В теории информации — математическое ожидание количества информации, которое несёт источник сообщений.

Мера неожиданности события: I = −log₂(p), где p — вероятность. Чем менее вероятно событие, тем больше информации оно несёт. Измеряется в битах.

Математическая теория (1948), определяющая информацию через вероятность событий. Фундамент для сжатия данных, криптографии, сетевых протоколов и обучения нейросетей.

Представление слова или токена в виде числового вектора в многомерном пространстве, где близкие по смыслу слова находятся рядом. Статические (Word2Vec) фиксированы, контекстные — меняются от окружения.

Класс нейросетей, обрабатывающих последовательности пошагово, передавая скрытое состояние от шага к шагу. Страдают от проблемы исчезающего градиента на длинных последовательностях.

Разновидность RNN с механизмом «вентилей» (gates), решающая проблему исчезающего градиента. Была стандартом в NLP до появления Transformer.

Базовая единица текста для языковой модели. Может соответствовать слову, части слова или символу. Контекстное окно LLM измеряется в токенах.

Процесс использования обученной модели для получения предсказаний. В контексте LLM — генерация ответа на промпт пользователя.

Последовательность из n подряд идущих элементов в тексте. N-граммные модели оценивают вероятность следующего элемента на основе нескольких предыдущих — первый подход к моделированию языка.

Алгоритм обучения нейросетей, вычисляющий градиенты функции потерь по всем весам от выходного слоя к входному. Основа обучения всех современных глубинных моделей.

Reinforcement Learning from Human Feedback — метод дообучения модели на основе оценок качества ответов, данных людьми. Ключевая технология, сделавшая ChatGPT удобным.

Способность модели решать задачу по нескольким примерам в промпте без дополнительного обучения весов. Впервые продемонстрировано в масштабе в GPT-3.

Расширение Self-Attention: несколько параллельных «голов» одновременно анализируют текст с разных точек зрения, затем объединяют результаты.

Функция активации, превращающая вектор чисел в распределение вероятностей (все положительные, в сумме единица). Используется в механизме внимания для вычисления весов.

Функция потерь, измеряющая расхождение между предсказанным и истинным распределениями вероятностей. Стандартная функция потерь при обучении LLM, напрямую связана с теорией Шеннона.

Кэширование ключей (Key) и значений (Value) ранее обработанных токенов при авторегрессивной генерации. Позволяет не пересчитывать внимание к предыдущим токенам на каждом шаге.

Вероятностная модель, где следующее состояние зависит только от текущего. Впервые применена А. А. Марковым к тексту в 1913 году — первый шаг к моделированию языка.

Архитектура нейросети, преобразующая входную последовательность в выходную. Механизм внимания был впервые введён именно в seq2seq-моделях для машинного перевода.

Вычислительная сложность Self-Attention: при увеличении длины последовательности в n раз вычисления растут в n² раз. Главная причина ограничения контекстного окна.

Архитектурный паттерн: модель состоит из множества «экспертов», а механизм маршрутизации выбирает, какие активировать для каждого токена.

Класс архитектур (например, Mamba), альтернативных Transformer, с линейной сложностью по длине последовательности.

Графический процессор с тысячами параллельных ядер — основная платформа для обучения и инференса нейросетей. Революция AlexNet (2012) показала их эффективность.

Способность понимать внутреннее состояние системы по внешним проявлениям — логам, метрикам, трейсам. Инструменты: Prometheus, Grafana, Loki.

Запуск ПО на собственном оборудовании, а не на облачных платформах. В контексте ИИ — локальный запуск LLM через Ollama, vLLM, LM Studio.

Философская позиция (Д. Колак): существует один субъект опыта, проявляющийся во всех сознательных существах. Границы между «я» и «другими» — информационная иллюзия.

Интуитивная позиция: у каждого существа своё отдельное «я», изолированное от других. Аналог — изолированный сервер за фаерволом.

Позиция, отрицающая постоянное «я»: есть только дискретные моменты опыта, связанные памятью. Аналог — stateless-сервис.

Проблема (Д. Чалмерс, 1995): почему физические процессы в мозге сопровождаются субъективным опытом. Ни одна теория не даёт общепризнанного ответа.

Субъективный опыт — то, «каково это» что-то ощущать. Отличается от функционального доступа к информации.

Задача настройки ценностей и поведения ИИ так, чтобы они соответствовали интересам людей. Включает RLHF, constitutional AI и философские вопросы.

Тест машинного интеллекта (А. Тьюринг, 1950): человек общается текстом и должен определить, кто из собеседников — машина.

Модель (T. Mikolov, Google, 2013), показавшая, что векторы слов улавливают семантику: «король − мужчина + женщина ≈ королева». Кардинально упростила подход к эмбеддингам.