Визуальный обзор современных архитектурных проектов LLM. скачать в хорошем качестве

Визуальный обзор современных архитектурных проектов LLM.

Галерея архитектур LLM: https://sebastianraschka.com/llm-arch... В этом видео я проведу вас по визуальному обзору современных архитектур LLM и расскажу о ключевых идеях, лежащих в основе таких моделей, как DeepSeek, Qwen3-Next, Kimi, Sarvam, Ling 2.5 и Nemotron. Мы рассмотрим, что именно изменилось в последних разработках LLM, включая внимание с групповыми запросами (GQA), внимание со скользящим окном, многоголовочное скрытое внимание (MLA), разреженное внимание DeepSeek и гибридное линейное внимание. Цель галереи — упростить сравнение архитектур, связать диаграммы с научными статьями, конфигурациями и кодом, а также дать более ясное представление о том, чем отличаются современные языковые модели «под капотом». Постер: https://www.redbubble.com/i/poster/LL... Статьи / новостная рассылка: https://magazine.sebastianraschka.com... 00:00 Вступление 00:55 Почему я создал галерею 01:16 Обзор галереи архитектуры LLM 04:17 Сравнение моделей 05:41 Бенчмарки и индекс искусственного интеллекта 07:03 GPT2 XL как базовая архитектура 10:22 Внимание с групповыми запросами (GQA) 14:51 Внимание со скользящим окном 18:40 Многоголовочное латентное внимание (MLA) 25:31 Sarvam 30B против 105B 27:41 DeepSeek Sparse Внимание 30:24 Hybrid Attention и Qwen3-Next 33:20 Kimi Linear, Ling 2.5 и Nemotron 36:39 Постер, будущие обновления и заключение