Machine Learning: Anatomia LLMów i Architektura Transformers [Developer Jutra DEMO] скачать в хорошем качестве

Machine Learning: Anatomia LLMów i Architektura Transformers [Developer Jutra DEMO]

Tomek Ducin opowiada o tym, jak działają LLMy. Architektura Transformers: ale tak na poważnie. I następnie, krok po kroku, przez fazę preprocesingu, właściwe transformery i losowanie tokenów na outpucie. Ta lekcja to UŁAMEK wiedzy, przekazywanej w projekcie Developer Jutra: https://developerjutra.pl . Zapisz się koniecznie! 00:00 Anatomia LLM-ów i architektura Transformerów 00:37 Tokenizacja i ID tokenów 01:12 Model nie operuje na tekście 01:28 Embedding – język wewnętrzny modelu 02:26 Wektory, cechy i długość embeddingu 04:25 Tajemnice długości wektorów i vendorów 04:55 Positional Embedding – pozycje w sekwencji 06:42 Kodowanie pozycji: sinus i kosinus 07:22 Implementacja kodowania w praktyce 08:05 Sumowanie embeddingu i pozycji 08:30 Wejście do transformera 08:35 Mechanizm atencji (attention) 09:03 Query, Key, Value – podstawy działania 09:49 Przykład: zdanie o kliencie i transporcie 12:11 Powiązania między tokenami 13:06 Wektory Q, K, V i mnożenie macierzy 14:13 Iloczyn skalarny i attention score 15:00 Macierze Q, Kᵀ i S – jak to działa 15:44 Skalowanie i normalizacja wyników 16:09 Wynik segmentu – ważona suma wartości 16:23 Self-Attention – serce LLM-a 17:12 Maskowanie w dekoderach 17:34 Zakończenie wnioskowania 17:40 Logity – co to właściwie jest 18:03 Logit i prawdopodobieństwo 18:55 Warstwa liniowa i mnożenie macierzy 20:16 Softmax – zamiana logitów na prawdopodobieństwa 21:39 Softmax a metoda D’Hondta 23:44 Promowanie prawdopodobnych logitów 24:44 Temperatura – kontrola kreatywności modelu 26:02 Niska vs wysoka temperatura 30:34 Temperatura a rozkład prawdopodobieństwa 32:04 LLM jako maszyna probabilistyczna 33:06 Next Token Choice – generowanie odpowiedzi 33:17 Greedy, Top-P i Top-K sampling 34:21 Podsumowanie działania LLM 34:38 Rekomendacje lektur o LLM 35:02 Czy LLM-y potrafią myśleć? Dlaczego Biznes Się Na Ciebie Obraża? (Sławomir Sobótka)    • Dlaczego Biznes Się Na Ciebie Obraża? (Sła...   Czy IT jest najważniejsze w firmie?    • Jak zrozumieć biznes? Jak przestać mówić r...   Czy AI zastąpi programistów?    • Czy AI zastąpi programistów? Rzeczywista r...   #developerjutra #programowanie #devstyle