Непрерывное обучение в импульсных нейронных сетях с колоночной организацией (Денис Ларионов) скачать в хорошем качестве

Непрерывное обучение в импульсных нейронных сетях с колоночной организацией (Денис Ларионов)

В первой части доклада представлен обзор области непрерывного обучения и проблемы катастрофического забывания в глубоком обучении. Во второй части приводится дискуссия о локальных методах обучения как необходимом свойстве непрерывного обучения. В третьей части представлены результаты экспериментов с CoLaNET на десяти задачах Permuted MNIST и на двух задачах E/MNIST. Продемонстрирована возможность управления балансом стабильности памяти и пластичности обучения при помощи гиперпараметров сети. Лучшая конфигурация CoLaNET демонстрирует способность эффективно учиться на десяти задачах, достигая 92% на каждой, и в то же время высокую устойчивость к забыванию, деградируя всего на 4% на первой задаче после обучения девяти другим задачам. В эксперименте с двумя задачами (E/MNIST) на примере визуализации тепловых карт рецептивных полей продемонстрировано явление разделения параметров между задачами. 18 июня 2025 Денис Ларионов https://t.me/nrmairus