MiMo V2 Flash скачать в хорошем качестве

MiMo V2 Flash

Примечание: это видео создано с помощью Google NotebookLM. Документ представляет собой технический отчет Xiaomi, подробно описывающий новую модель обработки больших языковых данных (LLM) на основе смеси экспертов (MoE) под названием MiMo-V2-Flash, разработанную для быстрого и эффективного рассуждения и развития агентных возможностей. Эта модель с 309 миллиардами параметров использует гибридную архитектуру скользящего окна внимания (SWA) для эффективного управления длинными контекстами и интегрирует многотокенное предсказание (MTP) для ускоренного декодирования вывода, обеспечивая ускорение до 2,6 раз. Ключевым вкладом является парадигма постобучения с использованием многоучительской дистилляции на основе политики (MOPD), которая объединяет знания от нескольких специализированных учителей (включая тех, кто обучался с помощью массового агентного обучения с подкреплением или RL) для превзойти производительность отдельных экспертных моделей. Сравнительная оценка показывает, что MiMo-V2-Flash конкурирует с более крупными моделями с открытым исходным кодом, такими как Kimi-K2 и DeepSeek-V3.2, по показателям логического мышления и кодирования, что делает её ведущей моделью с открытым исходным кодом, особенно для задач разработки программного обеспечения. https://huggingface.co/XiaomiMiMo/MiM... https://github.com/XiaomiMiMo/MiMo-V2... https://mimo.xiaomi.com/blog/mimo-v2-... #ai #research #llm #largelanguagemodels #mixtureofexperts