Маршрутизация с использованием смешанной группы экспертов: визуальное объяснение скачать в хорошем качестве

Маршрутизация с использованием смешанной группы экспертов: визуальное объяснение

Микстральная архитектура «8×7B» может иметь в общей сложности около 47 миллиардов параметров, но активируется лишь небольшая часть каждого токена — потому что маршрутизатор отправляет каждый токен набору из K лучших экспертов и объединяет их выходные данные. Но MOE — это не «выбери двух экспертов, и всё готово». Мы рассмотрим реальную инженерную историю: математику маршрутизации (softmax → top-K → взвешенное объединение), почему ранние версии MOE страдали от коллапса экспертов и дисбаланса нагрузки, и что изменила MOE 2.0 с потерей балансировки нагрузки и общими экспертами. Затем мы перейдём к практике: накладные расходы на связь «все ко всем», которые могут свести на нет теоретические ускорения, компромисс между пропускной способностью и переполнением (и что на самом деле означает «коэффициент пропускной способности»), а также ключевые метрики для мониторинга состояния MOE в производственной среде. Если вас интересует внутреннее устройство LLM, подпишитесь. смесь экспертов объяснение MOE смешение экспертов LLM маршрутизация MOE разреженный трансформатор условные вычисления разреженный MOE плотная против разреженной модели трансформатор прямой сети маршрутизация топ k softmax маршрутизатора выбор эксперта веса эксперта коллапс эксперта мертвые эксперты потери балансировки нагрузки вспомогательные потери MOE энтропия маршрутизатора дисбаланс нагрузки переполнение емкости отбрасывание токенов MOE без отбрасывания токенов токены переполнения перемаршрутизации совместные эксперты гибридная архитектура MOE связь «все ко всем» распределенное обучение MOE накладные расходы на диспетчеризацию GPU узкое место MOE отстающий GPU доля токенов эксперта скорость отбрасывания при переполнении задержка «все ко всем» коэффициент емкости MOE расчет емкости MOE смешанный 8x7b объяснение смешанного MOE Deepseek v2 MOE производственные системы MOE когда использовать MOE MOE против плотной модели компромиссы разреженности вывод LLM пропускная способность системная инженерия LLM внутреннее устройство трансформатора предварительный просмотр данных страницы кэш LVLM