Блог
Статьи о llm, development, инфраструктуре и автоматизации
$ ls -la ./blog
Три взгляда на «Я»: почему открытый индивидуализм меняет правила игры для ИИ
→
Закрытый, пустой и открытый индивидуализм Даниеля Колака — и почему это не философский курьёз, а инженерная проблема для тех, кто строит ИИ
Что такое информация? Фундамент Шеннона, на котором стоит весь современный ИИ
→
Теория информации Шеннона — почему логарифм, причём тут энтропия и как это объясняет работу LLM, сжатие данных и observability
Как нейросети научились понимать смысл слов: разбор механизма самовнимания (Self-Attention)
→
В 2017 году вышла статья «Attention Is All You Need». С тех пор почти все большие языковые модели — от ChatGPT до Grok и Claude — построены на одном ключевом механизме.
История возникновения LLM (Large Language Models — больших языковых моделей)
→
От цепей Маркова до ChatGPT — как развивались большие языковые модели