Grokking: Обобщение за пределами переобучения на небольших алгоритмических наборах данных (с пояс... скачать в хорошем качестве

Grokking: Обобщение за пределами переобучения на небольших алгоритмических наборах данных (с пояс...

#grokking #openai #deeplearning Гроккинг — это явление, когда нейронная сеть внезапно запоминает закономерность в наборе данных и очень быстро переходит от случайного обобщения к идеальному. В данной статье демонстрируется гроккинг на небольших алгоритмических наборах данных, где сеть должна заполнять двоичные таблицы. Интересно, что изученные латентные пространства демонстрируют появление базовых двоичных операций, с помощью которых были созданы данные. ПЛАН: 0:00 — Введение и обзор 1:40 — Феномен гроккинга 3:50 — Связанные материалы: Двойной спуск 7:50 — Наборы данных с двоичными операциями 11:45 — Какие величины влияют на гроккинг? 15:40 — Полученная эмерджентная структура 17:35 — Роль гладкости 21:30 — Простые объяснения побеждают 24:30 — Почему уменьшение веса способствует простоте? 26:40 - Приложение 28:55 - Заключение и комментарии Документ: https://mathai-iclr.github.io/papers/... Аннотация: В данной статье мы предлагаем изучить обобщение нейронных сетей на небольших алгоритмически сгенерированных наборах данных. В этой ситуации вопросы эффективности данных, запоминания, обобщения и скорости обучения могут быть изучены очень подробно. В некоторых случаях мы показываем, что нейронные сети обучаются посредством «понимания» закономерности в данных, повышая эффективность обобщения от уровня случайных совпадений до идеального обобщения, и что это улучшение обобщения может происходить далеко за пределами точки переобучения. Мы также изучаем обобщение как функцию размера набора данных и обнаруживаем, что меньшие наборы данных требуют всё большего объёма оптимизации для обобщения. Мы утверждаем, что эти наборы данных предоставляют благодатную почву для изучения малоизученного аспекта глубокого обучения: обобщения перепараметризованных нейронных сетей, выходящего за рамки запоминания конечного обучающего набора данных. Авторы: Алетия Пауэр, Юрий Бурда, Харри Эдвардс, Игорь Бабушкин и Ведант Мисра Ссылки: Автодополнение кода TabNine (реферальная ссылка): http://bit.ly/tabnine-yannick YouTube:    / yannickilcher   Twitter:   / ykilcher   Discord:   / discord   BitChute: https://www.bitchute.com/channel/yann... Minds: https://www.minds.com/ykilcher Parler: https://parler.com/profile/YannicKilcher LinkedIn:   / ykilcher   BiliBili: https://space.bilibili.com/1824646584 Если хотите поддержать меня, лучше всего поделиться содержание :) Если вы хотите поддержать меня финансово (это совершенно необязательно и добровольно, но многие просили об этом): SubscribeStar: https://www.subscribestar.com/yannick... Patreon:   / yannickilcher   Биткойн (BTC): bc1q49lsw3q325tr58ygf8sudx2dqfguclvngvy2cq Эфириум (ETH): 0x7ad3513E3B8f66799f507Aa7874b1B0eBC7F85e2 Лайткойн (LTC): LQW2TRyKYetVC8WjFkhpPhtpbDM4Vw7r9m Монеро (XMR): 4ACL8AGrEo5hAir8A9CeVrW8pEauWvnp1WnSDZxW7tziCDLhZAGsgzhRQABDnFy8yuM9fWJDviJPHKRjV4FWt19CJZN9D4n