Вычисления потоков данных для вывода ИИ [Kunle Okotun] - 751 скачать в хорошем качестве

Вычисления потоков данных для вывода ИИ [Kunle Okotun] - 751

В этом выпуске к нам присоединяется Кунле Олукотун, профессор электротехники и компьютерных наук Стэнфордского университета, соучредитель и главный технолог Sambanova Systems, чтобы обсудить реконфигурируемые архитектуры потоков данных для вывода ИИ. Кунле объясняет основную идею создания компьютеров, динамически настраиваемых в соответствии с графом потока данных модели ИИ, выходя за рамки традиционной парадигмы выборки инструкций, характерной для центральных и графических процессоров. Мы рассмотрим, как эта архитектура подходит для вывода LLM, уменьшая узкие места в пропускной способности памяти и повышая производительность. Кунле также рассматривает, как эта система обеспечивает эффективное обслуживание нескольких моделей и агентские рабочие процессы благодаря большому объему многоуровневой памяти и возможностям быстрого переключения моделей. Наконец, мы обсуждаем его исследования будущих динамически реконфигурируемых архитектур и использование агентов ИИ для создания компиляторов для нового оборудования. 🗒️ Полный список ресурсов для этого выпуска можно найти на странице заметок к выпуску: https://twimlai.com/go/751. 🔔 Подпишитесь на наш канал, чтобы увидеть больше интересного контента, например, этот: https://youtube.com/twimlai?sub_confi... 🗣️ ОБЩАЙТЕСЬ С НАМИ! =============================== Подпишитесь на подкаст TWIML AI: https://twimlai.com/podcast/twimlai/ Подпишитесь на нас в Twitter:   / twimlai   Подпишитесь на нас в LinkedIn:   / twimlai   Присоединяйтесь к нашему сообществу в Slack: https://twimlai.com/community/ Подпишитесь на нашу рассылку: https://twimlai.com/newsletter/ Хотите связаться с нами? Напишите нам: https://twimlai.com/contact/ 📖 ГЛАВЫ ================================ 00:00 — Введение 3:30 — Реконфигурируемая архитектура потока данных 6:59 — Отличия от традиционных компьютерных архитектур 10:42 — Сравнение с ПЛИС 12:32 — Реконфигурируемая архитектура потока данных для вывода LLM 14:16 — SN40L 16:34 — Реконфигурируемый блок потока данных 18:43 — Подходы к преодолению ограничений пропускной способности памяти 22:57 — Использование HBM 25:22 — Процесс сопоставления модели с архитектурой 29:46 — Компромисс между задержкой и пропускной способностью 35:45 — Последующее обучение 37:04 — Примеры использования 38:40 — Агентные Системы 40:15 - Динамически реконфигурируемая архитектура потоков данных 45:38 - Статьи по динамической реконфигурируемой архитектуре потоков данных 47:24 - Подходы к созданию эффективных агентных систем 50:08 - Проблемы разработки компиляторов 54:00 - Влияние архитектуры на производительность и эффективность 🔗 ССЫЛКИ И РЕСУРСЫ ================================ Системы SambaNova - https://sambanova.ai/ Реконфигурируемые блоки потоков данных (RDU) — специально разработанные для ИИ - https://sambanova.ai/products/sn40l-r... Проектирование компьютерных систем для программного обеспечения с Кунле Олукотуном - 211 - https://twimlai.com/podcast/twimlai/d... 📸 Камера: https://amzn.to/3TQ3zsg 🎙️ Микрофон: https://amzn.to/3t5zXeV 🚦 Освещение: https://amzn.to/3TQlX49 🎛️ Аудиоинтерфейс: https://amzn.to/3TVFAIq 🎚️ Трансляция: https://amzn.to/3zzm7F5