[Intermédiaire] La Self-Attention dans un Transformer, c'est quoi ? скачать в хорошем качестве

[Intermédiaire] La Self-Attention dans un Transformer, c'est quoi ?

Fondamentale en Deep Learning et intelligence artificielle aujourd'hui, la self attention est LA fonction qui caractérise un transformer. Attention is all you need ( https://proceedings.neurips.cc/paper_... ) Aujourd'hui on parle de la self attention. softmax(qk)v 00:00:00 Introduction à la self-attention dans les Transformers 00:00:40 Distinction entre les tâches de traitement de texte : classification et génération 00:02:12 Le fonctionnement général d'un Transformer 00:04:48 Encodeurs (attention bidirectionnelle) et Décodeurs (attention causale) 00:06:47 Implémentation mathématique de la self-attention 00:07:55 Les vecteurs Query (Q), Key (K) et Value (V) 00:09:09 Calcul de la matrice d'attention (QKᵀ) 00:12:11 Le rôle de la fonction Softmax 00:14:44 Intégration de la Value (V) pour la pondération des informations 00:15:58 Visualisation de la self-attention 00:17:38 L'attention causale pour les modèles génératifs (masquage) 00:18:26 L'avantage du traitement parallèle des Transformers 00:19:12 L'avantage de la mémoire complète du Transformer 00:19:47 Les désavantages et les compromis (coût quadratique) 00:20:50 Multi-head self attention 00:24:50 Conclusion et aperçu des futures discussions sur la Gated Attention