Внимание — это всё, что вам нужно (Transformer) — объяснение модели (включая математику), вывод и... скачать в хорошем качестве

Внимание — это всё, что вам нужно (Transformer) — объяснение модели (включая математику), вывод и...

Полное объяснение всех слоёв модели Transformer: многоголовое внутреннее внимание, позиционное кодирование, включая все матричные умножения и полное описание процесса обучения и вывода. Статья: Внимание — это всё, что вам нужно — https://arxiv.org/abs/1706.03762 Слайды PDF: https://github.com/hkproj/transformer... Главы 00:00 — Введение 01:10 — Рекуррентные нейронные сети (RNN) и их проблемы 08:04 — Модель преобразователя 09:02 — Основы математики и обозначения 12:20 — Кодировщик (обзор) 12:31 — Встраиваемые входные данные 15:04 — Позиционное кодирование 20:08 — Внимательность с одной головкой 28:30 — Внимание с несколькими головками 35:39 — Запрос, ключ, значение 37:55 — Нормализация слоёв 40:13 — Декодер (обзор) 42:24 — Маскированное внимание с несколькими головками 44:59 — Обучение 52:09 - Вывод