Форматы mxfp8, mxfp4, ​​nvfp4 и их применение в PyTorch — Василий Кузнецов и Дрисс Гессус, Meta скачать в хорошем качестве

Форматы mxfp8, mxfp4, ​​nvfp4 и их применение в PyTorch — Василий Кузнецов и Дрисс Гессус, Meta

Форматы mxfp8, mxfp4, ​​nvfp4 и их применение в PyTorch — Василий Кузнецов и Дрисс Гессус, Meta Внедрение форматов MicroScaling (MX) в рамках проекта Open Compute Project привело к появлению встроенной аппаратной поддержки у основных производителей оборудования. В докладе будет рассмотрен сквозной рабочий процесс использования форматов MX на современном оборудовании, подчеркнув преимущества производительности и проблемы, связанные с этими новыми d-типами. Ключевые темы: Меньшая разрядность: понимание влияния меньшей разрядности на точность и пропускную способность, ссылка на спецификацию форматов OCP MicroScaling. И план PyTorch по решению проблемы растущей частоты использования форматов с низкой точностью. Обучение и вывод с низкой точностью: обсуждение проблем, связанных с пониженной точностью этих новых d-типов, и способов их использования для обучения и вывода.