Понимание глубокой нейронной сети с управляемыми рекуррентными единицами (GRU) скачать в хорошем качестве

Понимание глубокой нейронной сети с управляемыми рекуррентными единицами (GRU)

Вы увидели, как работает базовая рекуррентная нейронная сеть (RNN). В этом видео вы узнаете о вентилируемом рекуррентном блоке (Gated Recurrent Unit), который является модификацией скрытого слоя RNN, что значительно улучшает захват дальних связей и существенно помогает в решении проблем исчезающего градиента. Давайте посмотрим. Вы уже видели формулу для вычисления активаций в момент времени t RNN. Это функция активации, примененная к параметру Wa, умноженному на активации в предыдущем временном интервале, текущему входному сигналу и затем плюс ba. Итак, я собираюсь изобразить это в виде рисунка. Итак, блок RNN я собираюсь изобразить в виде рисунка, нарисованного как ящик, на входе которого находится a из t-1, активация для последнего временного шага. А также на входе xt, и эти два параметра идут вместе. И после некоторых весов и после этого типа линейного вычисления, если g является функцией активации tanh, то после tanh он вычисляет выходную активацию a. И выходная активация a(t) также может быть передана, скажем, блоку смягчителя или чему-то, что затем может быть использовано для вывода yt. Итак, это, возможно, визуализация блока RNN скрытого слоя RNN в виде рисунка. И я хочу показать вам этот рисунок, потому что мы собираемся использовать похожий рисунок для объяснения GRU или Gated Recurrent Unit. Многие идеи GRU были связаны с этими двумя статьями Ю Ён Чанга, Кагавы, Газы Хера, Чанга Хунг Чу и Хосе Банджо соответственно. И я иногда буду ссылаться на это предложение, которое мы видели в последнем видео, чтобы обосновать это...