Программирование графических процессоров с помощью CUDA: простое объяснение. скачать в хорошем качестве

Программирование графических процессоров с помощью CUDA: простое объяснение.

Вы когда-нибудь задумывались, как на самом деле работают графические процессоры (GPU) в революции LLM? В этом видео мы заглянем под капот NVIDIA CUDA, чтобы увидеть, как программное обеспечение взаимодействует с «волшебным кремнием». Мы сравним огромный разрыв в вычислительных мощностях между центральными процессорами (CPU) и процессорами H100, разберем программу на C с использованием CUDA и объясним иерархию потоков, блоков и распределенных вычислительных систем, которые делают возможным массовый параллелизм. 0:00 - Роль GPU в ИИ и LLM 0:22 - Почему центральных процессоров недостаточно: терафлопсы против токенов 1:07 - Что такое NVIDIA CUDA? 1:17 - Настройка среды CUDA 1:32 - Компиляция и запуск программы CUDA 2:11 - Параллелизм: потоки, хосты и устройства 2:58 - Как ЦП и ГП работают вместе 3:23 - Понимание ядер CUDA 4:21 - Пример: объяснение сложения векторов 4:55 - Память хоста (ЦП) и устройства (ГП) 5:58 - Управление памятью: CudaMalloc и CudaMemcpy 7:33 - Синтаксис ядра: 8:06 - Иерархия потоков: сетки, блоки и потоки 8:46 - Как потоки идентифицируют себя (BlockID и ThreadID) 10:11 - Отображение данных на одномерные, двумерные и трехмерные потоки 11:52 - Резюме: жизненный цикл запроса LLM