Основы инфраструктуры ИИ: графические процессоры, иерархия памяти и масштабирование для обучения ... скачать в хорошем качестве

Основы инфраструктуры ИИ: графические процессоры, иерархия памяти и масштабирование для обучения ...

Добро пожаловать в первую часть шестисерийного видеокурса, посвященного освоению инфраструктуры ИИ. В этом вводном занятии мы рассмотрим взаимосвязь между физическим оборудованием — таким как высокотемпературные вычислительные узлы на базе графических процессоров, например, Nvidia H100, — и логической архитектурой моделей ИИ. Понимание этой взаимосвязи имеет решающее значение, поскольку правильно спланированная инфраструктура может снизить затраты на 90% и сократить время отклика до менее чем 100 миллисекунд. Ключевые темы, рассматриваемые в этом видео: • Архитектура GPU против архитектуры CPU: Узнайте, почему традиционная последовательная обработка на CPU недостаточна для глубокого обучения и как масштабные параллельные матричные вычисления графических процессоров, обладающих тысячами ядер, позволяют обрабатывать терабайты данных. • Иерархия памяти и узкие места: Подробное изучение уровней памяти — от высокоскоростной памяти (HBM) до системной оперативной памяти и NVMe-хранилища. Мы объясним, почему управление перемещением данных часто важнее, чем чистая вычислительная мощность, чтобы избежать «траты денег» впустую, пока графический процессор простаивает. • «Нервная система» сетей ИИ: Изучите роль PCIe, NVLink и InfiniBand в обеспечении высокоскоростной передачи данных во время распределенного обучения. Медленная сеть может снизить эффективность обучения более чем на 50%. • Жизненный цикл рабочей нагрузки ИИ: Мы рассмотрим четыре основных типа рабочих нагрузок: обучение, тонкая настройка, вывод в реальном времени и пакетный вывод, и объясним, как выбрать оборудование в зависимости от этих конкретных потребностей. • Метрики производительности и оптимизация: Разберитесь в важной терминологии и метриках, таких как использование FLOP-операций модели (MFU), пропускная способность (токены в секунду) и задержка. Мы также представим методы оптимизации, такие как квантование, смешанная точность и накопление градиента. К концу этого видео вы поймете, что ИИ — это не просто код; это масштабная оркестровка специализированного оборудования и математики. Оставайтесь с нами во второй части, где мы углубимся в конкретные требования к инфраструктуре для рабочих нагрузок обучения.