Виртуальные эксперты: внедрение Python в маршрутизацию MoE — изнутри GPT-OSS скачать в хорошем качестве

Виртуальные эксперты: внедрение Python в маршрутизацию MoE — изнутри GPT-OSS

GPT-OSS-20B имеет 768 нейронных экспертов. Я добавил ещё одного. Это функция на Python. Маршрутизатор модели классифицирует задачи на ранних слоях — до запуска какого-либо эксперта. Я перехватываю это на данном этапе. Если это арифметическая задача, эксперт 769 обрабатывает её. Модель не знает, что это не нейронная задача. Результат: 768 экспертов ошибаются в 127 × 89. Один виртуальный эксперт делает это правильно. Это не хак. Это новый примитив. Маршрутизаторы Mixture of Experts (MoE) уже выполняют выбор экспертов — мы просто расширяем пул. Крис также демонстрирует, как использование виртуальных экспертов в сочетании с обрезкой экспертов в gpt-oss:20b позволяет запускать модель вдвое меньшего размера, но с более качественными математическими вычислениями. --- ВРЕМЕННЫЕ МЕТКИ 00:00 - Ошибка эксперта в математике 00:13 - Демонстрация виртуального эксперта по математике 01:12 - Понимание виртуальных экспертов 02:00 - Классификация и маршрутизация математических вычислений 03:30 - Демонстрации математических вычислений 04:20 - Различные типы экспертов 05:04 - уменьшение вдвое gpt-oss-20b 08:23 - вызов инструментов против виртуальных экспертов 09:20 - перспективы на будущее --- КОМАНДЫ lazarus infer --model openai/gpt-oss-20b --prompt "127 * 89 = " --max-tokens 20 lazarus introspect virtual-expert solve -m openai/gpt-oss-20b -p "127 * 89 = " lazarus introspect virtual-expert compare -m openai/gpt-oss-20b -p "127 * 89 = " --verbose --- Лазарь: https://github.com/chrishayuk/chuk-la...