Нормализация партии | Внутренний ковариационный сдвиг | Глубокое обучение, часть 8 скачать в хорошем качестве

Нормализация партии | Внутренний ковариационный сдвиг | Глубокое обучение, часть 8

В этом видео мы поговорим о пакетной нормализации — почему она стала такой важной идеей в глубоком обучении и как простая нормализация активаций внутри сети может полностью изменить способ её обучения. Мы начнём с развития интуиции: сначала разберёмся, почему ненормализованные данные замедляют оптимизацию и делают её нестабильной, а затем шаг за шагом разберёмся, как нормализация активаций на каждом слое обеспечивает плавность процесса обучения. После этого мы рассмотрим, что происходит внутри слоя BatchNorm — как мы вычисляем пакетное среднее и дисперсию, почему смещение становится избыточным, что делают гамма и бета, и как скользящие средние используются при тестировании. И наконец, мы немного поговорим о теории — об изначальной идее внутреннего ковариационного сдвига, о том, почему более поздние исследования показали, что это не всё, и о том, что на самом деле делает BatchNorm настолько эффективным: более гладкие ландшафты потерь, стабильные градиенты, более высокая скорость обучения, масштабная инвариантность и даже немного регуляризации. К концу этого видео у вас сложится чёткое представление о том, как работает BatchNorm изнутри, и почему он стал одним из самых влиятельных методов в современном глубоком обучении. Главы: 0:00 Введение и нормализация 01:03 Внутренний ковариационный сдвиг 02:17 Математика BatchNorm 05:00 BatchNorm в нейронной сети 05:36 BatchNorm во время тестирования 07:02 Новые исследования Ссылки на похожие видео: Нейронные сети:    • Understanding Neural Networks | Deep Learn...   Обратное распространение:    • Backpropagation Visually Explained | Deep ...   Функции активации:    • What Are Activation Functions?  Deep Learn...   Исчезающие/взрывающиеся градиенты:    • Vanishing AND Exploding Gradient Problem E...   Нормализация данных:    • Data Normalization | Why Scaling Your Data...   📚 Добро пожаловать на канал! Если вам нравится изучать сложные концепции максимально простым способом, вы попали по адресу. Я создаю визуальные объяснения с помощью анимации, чтобы сделать темы более понятными и увлекательными, особенно в области алгоритмов, искусственного интеллекта, машинного обучения и других дисциплин. 🎥 Анимации, созданные с помощью Manim: Manim — это библиотека Python с открытым исходным кодом для создания математических анимаций. Узнайте больше или попробуйте сами: 🔗 https://www.manim.community Присоединяйтесь: GitHub: https://github.com/ByteQuest0 Reddit:   / bytequest