Реальные рабочие нагрузки ИИ на графических процессорах AMD: вывод, обучение и масштабирование скачать в хорошем качестве

Реальные рабочие нагрузки ИИ на графических процессорах AMD: вывод, обучение и масштабирование

Узнайте, как корпоративные команды специалистов по искусственному интеллекту масштабируют процессы вывода, обучения и тонкой настройки на графических процессорах AMD Instinct. В этом докладе инженер по машинному обучению TensorWave Нихил Гупта рассматривает реальные примеры использования графических процессоров серии MI300 с модульным, скалярным LM и разделением графических процессоров с большим объемом памяти. В этом докладе рассказывается о том, как аппаратные средства AMD, программные стеки с открытым исходным кодом и инфраструктура TensorWave MI325X и MI355X меняют представление о стоимости, пропускной способности и масштабируемости для производственных рабочих нагрузок ИИ. Если вы изучаете графические процессоры AMD для вывода или обучения, этот доклад обязателен к просмотру. ⏱️ Временные метки 00:00 Введение 00:34 Почему TensorWave сделал ставку на AMD 01:12 Обзор развертываний серии MI300 и центров обработки данных 02:10 Веха серии A и быстрый рост 02:25 Пример 1: Вывод на AMD с помощью Modular 03:04 Рост производительности с помощью MAX Inference Engine 03:33 Пример 2: Обучение на AMD с помощью ScalarLM 04:08 Пример использования LLM в телекоммуникациях: 9 млрд токенов в день + 1 млрд вызовов API 04:42 Почему выигрывают небольшие точно настроенные модели 05:04 Результаты точно настроенных Gemma-4B (бенчмарки + масштабирование) 05:36 Быстрое экспериментирование со ScalarLM и TensorWave 05:55 Что дальше: более крупные кластеры, MI400 и Open Экосистемы 06:10 Заключительные мысли Готовы к масштабному инференсу или обучению на графических процессорах AMD? 🌊 Начните разработку на TensorWave: https://tensorwave.com Подпишитесь на нас в X: https://x.com/tensorwave Подпишитесь на нас в LinkedIn:   / tensorwace