Новый «Энграмм» от DeepSeek: революционное решение перед DeepSeek-V4. скачать в хорошем качестве

Новый «Энграмм» от DeepSeek: революционное решение перед DeepSeek-V4.

Предлагается модуль условной памяти Engram для решения проблемы неэффективных операций повторения в мегаязыковых моделях (LLM) при поиске знаний. Engram модернизирует классическую модель N-грамм, реализуя систему поиска с постоянным временем (O(1)), которая позволяет мгновенно находить статические знания. В ходе экспериментов исследователи обнаружили U-образный закон расширения, определяющий оптимальное соотношение между операциями нейронной сети (MoE) и статической памятью (Engram). На основе этого модель масштаба 27B продемонстрировала превосходные результаты в извлечении знаний, сложных рассуждениях, кодировании и математических способностях по сравнению с существующей моделью с тем же объемом операций. В частности, Engram помогает сети сосредоточиться на глубоком логическом мышлении, предотвращая трату начального слоя модели на простую повторяющуюся обработку шаблонов. В результате эта структура представляет собой основной прототип модели следующего поколения, которая преодолевает ограничения памяти GPU и значительно повышает эффективность долговременной контекстной обработки. https://github.com/deepseek-ai/Engram...