От смеси экспертов к смеси агентов со сверхбыстрым выводом — Дэниел Ким и Дарья Соболева скачать в хорошем качестве

От смеси экспертов к смеси агентов со сверхбыстрым выводом — Дэниел Ким и Дарья Соболева

На нашем практическом семинаре вы узнаете, как создать собственную систему на основе смеси агентов (MoA), используя самые быстрые и эффективные из доступных открытых моделей: Qwen3-32B и Llama 3.3-70B. MoA — это новая архитектура, сочетающая в себе преимущества нескольких крупных языковых моделей в многоуровневой архитектуре, основанной на агентах. Такой подход обеспечивает превосходную производительность, позволяя специализированным агентам взаимодействовать между уровнями, превосходя современные передовые модели как по точности, так и по эффективности. Чтобы заложить основы этой новой парадигмы, мы также рассмотрим, как архитектуры на основе смеси экспертов (MoE) продолжают расширять границы масштабирования и специализации. Узнайте, как Cerebras обучает передовые MoE, от Дарьи Соболевой, ведущего научного сотрудника. О Дэниеле Киме В настоящее время я возглавляю отдел развития в Cerebras Systems, самом быстром в мире поставщике решений для вывода ИИ, построенном на платформе Cerebras Wafer-Scale Engine. Я живу в солнечном и туманном Сан-Франциско, штат Калифорния. Вы можете найти меня отдыхающей в парке, поедающей острую лапшу и недавно бегающей! О Дарье Соболевой Дарья Соболева — ведущий научный сотрудник Cerebras, работающий над эффективными системами искусственного интеллекта. До Cerebras Дарья работала в Google, накапливая опыт в области исследований и разработки. Она создала SlimPajama (набор данных токенов объёмом 627 байт, более миллиона загрузок) и BTLM-3B-8K — модель, достигающую производительности уровня 7 байт при меньших вычислительных ресурсах. Дарья специализируется на оптимизации архитектур LLM, уделяя особое внимание моделям, основанным на сочетании экспертов, и эффективному обучению с точки зрения аппаратных ресурсов. Запись с Всемирной выставки AI Engineer в Сан-Франциско. Будьте в курсе наших предстоящих мероприятий и материалов, подписавшись на нашу рассылку: https://www.ai.engineer/newsletter