Лекция 4 | Транспонирование и умножение матриц скачать в хорошем качестве

Лекция 4 | Транспонирование и умножение матриц

00:00 План лекции 01:31 Транспонирование матрицы 05:38 Проблема с coalesced memory access pattern 10:58 Транспонирование через локальную память 16:36 Проблема с bank conflicts 27:45 Напоминание про local memory и bank conflicts 29:25 Решаем bank conflicts через фиктивный 33 столбик 32:12 Решаем bank confilcts через циклическое смещение индексирования 33:53 Occupancy Calculator: учитывает используемых регистров и local memory 41:57 Умножение матриц 49:27 Умножение матриц тайлами через local memory 53:01 Умножение матриц с Tensor Cores, WMMA, Warp Matrix Multiply-Accumulate 1:09:35 Flash Attention: fused kernel оптимизация 1:14:18 Tensor Processor Unit - TPU (Google) 1:15:18 DeepSeek ускорение обучения через опимизации квантования fp8 1:20:32 fp8 квантование и fp32 Scaling Factor 1:28:20 Метод Штрассена, Метод Виноградова 1:29:46 Глава 6: [REDACTED] ... PyTorch ... [REDACTED] 1:30:56 Домашнее задание – Николай Полярный – Курс Вычисления на видеокартах – Сайт: https://csspace.io – Telegram: https://t.me/csspace