У нас вы можете посмотреть бесплатно Democratizing AI through Hardware-Software Codesign for LLM Inference или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
d-Matrix team was invited by Prof. Sophia Shao as guest speakers for UC Berkeley Hardware for Machine learning class in April 2024. In this talk titled “Democratizing AI through Hardware-Software Codesign for LLM Inference”, we introduce the challenges of LLM inference and how d-Matrix is tackling them with advancements in hardware and software. Chapters - 00:00 Introduction 2:30 LLMs: Context and Challenges 19:55 d-Matrix architecture 27:32 Corsair 34:18 Scaleout 1:01:01 Software stack 1:11:23 Keyformer paper