DSML Reading Club : Ivan Rodkin - Memory for Language Models скачать в хорошем качестве

DSML Reading Club : Ivan Rodkin - Memory for Language Models

Спикер: Иван Родькин На этой встрече Иван расскажет нам про "память" для языковых моделей. Обсудим три большие статьи и основные идеи оттуда, Иван первый автор в двух из них. На встрече обсудили: • Минусы трансформеров: квадратичный attention и вычислительные ограничения трансформеров • Минусы и плюсы линейных трансформеров: Mamba / RWKV / xLSTM / DeltaNet • Recurrent Memory Transformer (RMT) и почему именно он: arxiv.org/abs/2207.06881 • Associative RMT: arxiv.org/abs/2407.04841 • Reasoning в памяти: arxiv.org/abs/2508.16745 00:00 — Вступление и представление спикера. 02:05 — Почему современные нейросети «сходят с ума» на длинных последовательностях. 04:30 — Transformer и Attention: основы и ограничения. 10:15 — Recurrent Memory Transformer (RMT): как добавить память в трансформер. 15:45 — Механизм работы токенов памяти и передача состояния между сегментами. 22:40 — Экспериментальные результаты RMT: масштабирование контекста до 1 млн токенов. 30:30 — ARMT (Associative Recurrent Memory Transformer) и его ключевые отличия. 39:45 — Как ассоциативная память помогает бороться с катастрофическим забыванием. 47:50 — Обзор бенчмарка BABILong: тестирование рассуждений «иголка в стоге сена». 54:30 — Сравнение производительности ARMT с классическими моделями на сложных задачах. 01:01:15 — «Beyond Memorization»: выход за рамки простого запоминания фактов (статья 2025 года). 01:07:30 — Концепция Test-Time Compute Scaling: как дополнительное время на «раздумья» улучшает ответы. 01:10:20 — Сессия Q&A: ответы на вопросы о применении RMT в анализе ДНК, обработке радиосигналов и перспективах архитектур.