Кластер Strix Halo с низкой задержкой, поддержкой RDMA (RoCE/Intel E810) и vLLM, настольные платы... скачать в хорошем качестве

Кластер Strix Halo с низкой задержкой, поддержкой RDMA (RoCE/Intel E810) и vLLM, настольные платы...

В этом видео я выхожу за рамки Ethernet и llama.cpp и демонстрирую кластер Strix Halo из 2 узлов, использующий RDMA и тензорный параллелизм vLLM. В конфигурации используются две материнские платы Framework Desktop с 128 ГБ унифицированной памяти каждая, напрямую подключенные через карты Intel E810, настроенные для RoCE. Я рассматриваю важные для этой сборки аппаратные детали: прямое подключение RDMA, кастомное охлаждение для E810 и почему использование сетевой карты x16 в слоте PCIe x4 не является реальной проблемой для инференса. Я также сравниваю задержку RDMA со стандартным Ethernet и объясняю, почему низкая задержка является ключевым фактором для тензорного параллелизма в данном случае. Что касается программного обеспечения, я рассматриваю vLLM вместе с Рэем и основную проблему, с которой я столкнулся: отсутствие поддержки RCCL для gfx1151 в исходном коде ROCm. Я объясняю, что сломалось, как я внес изменения в RCCL, чтобы обеспечить работу многоузлового параллелизма тензоров на Strix Halo, и как воспроизвести эту конфигурацию с помощью моих инструментальных пакетов. Временные метки 00:00 – Введение 01:14 – Аппаратное обеспечение 02:09 – Сетевая карта RDMA / RoCE 03:28 – Пользовательское охлаждение для Intel E810 06:22 – Особенности линий PCIe (с x16 на x4) 08:32 – Поддержка ROCm / RCCL для gfx1151 10:31 – Руководство по настройке 13:06 – Бенчмарки 14:03 – Заключение Ссылки и ресурсы Инструменты и руководства Strix Halo: https://strix-halo-toolboxes Инструменты vLLM Strix Halo (с исправленным RCCL): https://github.com/kyuz0/amd-strix-ha... Бенчмарки vLLM: https://kyuz0.github.io/amd-strix-hal... Параллелизм тензоров vLLM: https://developers.redhat.com/article...