У нас вы можете посмотреть бесплатно Строительные блоки LLM и альтернативы трансформаторам или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
Ресурсы: Понимание и кодирование KV-кэша в LLM с нуля: https://magazine.sebastianraschka.com... Сравнение крупных архитектур: https://magazine.sebastianraschka.com... За пределами стандартных LLM: гибриды линейного внимания, диффузия текста, модели кодового мира и небольшие рекурсивные преобразователи Книга «Рассуждение с нуля»: https://mng.bz/Nwr7 Описание: Изучите основные компоненты современных больших языковых моделей (LLM) на основе преобразователей и практические методы, которые ускоряют и удешевляют вывод. Мы рассмотрим Grouped-Query Attention (GQA), Multi-Head Latent Attention (MLA) и Sliding Window Attention (SWA), покажем, какое место смешанный экспертный подход (MoE) занимает в современных архитектурах, и завершим обзором перспективных альтернатив и гибридных моделей, выходящих за рамки стандартных трансформеров. Главы: 00:00 Введение 01:13 Основная тема: более крупные модели и более дешевый вывод 02:13 Grouped-Query Attention (GQA) 05:44 Multi-Head Latent Attention (MLA) 09:51 Sliding Window Attention (SWA) 13:57 Mixed-Experts 17:01 LLM и альтернативы трансформерам #LLM #Transformers #DeepLearning #MachineLearning #Inference #MoE #GQA #MLA #SWA #KVCache