Функции активаций нейрона | Sigmoid, ReLU, Leaky ReLU, ELU | Neural Networks (NN) | НЕЙРОННЫЕ СЕТИ 4 скачать в хорошем качестве

Функции активаций нейрона | Sigmoid, ReLU, Leaky ReLU, ELU | Neural Networks (NN) | НЕЙРОННЫЕ СЕТИ 4

Практическое задание https://boosty.to/machine_learrrning/... Поддержать канал можно оформив подписку на https://boosty.to/machine_learrrning Канал в TG https://t.me/machine_learrrning Группа в VK https://vk.com/machine_learrrning Курсы на платформе Stepik: 1. Библиотеки Python для Data Science https://stepik.org/a/129105 2. Введение в нейронные сети (Keras/Tensorflow) https://stepik.org/a/127274 Вопросы, на которые найдем ответы в этом видео: Какие есть функции активации нейронов (Sigmoid, ReLU, ELU, Leaky ReLU...)? Какие есть плюсы и минусы каждой функции активации? Как написать свою функцию активации на Keras и Tensorflow? Ссылка на ноутбук https://colab.research.google.com/dri... Плейлист НЕЙРОННЫЕ СЕТИ    • Введение в нейронные сети на Keras и Tenso...   0:00 Вводная 0:27 Практическое задание на https://boosty.to/machine_learrrning 1:13 Для чего нужны функции активации для нейронных сетей 3:14 Датасет на сегодня fashion MNIST 5:42 Linear Линейная активация нейрона 6:22 Постоянный градиент в линейной активации 8:20 Ставить последовательно слои с линейной активацией нет смысла 8:53 Функция активации Sigmoid Сигмоида 10:36 Как получить производную сигмоиды sigmoid 13:00 Проблема затухающих градиентов 14:52 Разбиение данных на батчи 16:05 Обучение через tf.GradientTape 17:33 Функция потерь не изменяется 18:00 Визуализация градиентов 19:03 Почему из-за сигмоиды затухают градиенты 20:03 Функция активации Tanh Тангенс 20:17 Производная Tanh 21:56 Функция активации ReLU 22:40 Производная ReLU 23:11 ReLU решает проблему затухающих градиентов 25:58 Проблема нулевых сигналов в ReLU 27:47 Функция активации Leaky ReLU 28:19 Производная Leaky ReLU 28:45 Функция активации ELU 29:00 Производная ELU 29:25 Как выбрать функцию активацию нейрона 30:47 Как написать свою функцию активации на Keras 32:07 Что делать, когда функция потерь и веса nan 33:04 Модификация функции потерь ReLU 35:56 Резюме плюсов и минусов функций активаций для нейрона 35:58 Linear 36:46 Sigmoid 37:25 Tanh 37:42 ReLU 38:18 Leaky ReLU 38:44 ELU