Скачать с ютуб LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры в хорошем качестве

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Как большие языковые модели работают под капотом. Ранний доступ к видео для участников Patrion: https://3b1b.co/early-attention Отдельное спасибо следующим участникам: https://3b1b.co/lessons/gpt#thanks Звуковая дорожка на русском языке: Влад Бурмистров. Другие рекомендуемые ресурсы по теме. Введение Ричарда Тёрнера - одна из лучших отправных точек: https://arxiv.org/pdf/2304.10557.pdf Кодирование GPT с Андреем Карпатым    • Let's build GPT: from scratch, in cod...   Введение в "self-attention" от Джона Хьюитта https://web.stanford.edu/class/cs224n... История языковых моделей от Брит Круз:    • The History of ChatGPT   Статья с такими примерами, как “woman - man”: https://arxiv.org/pdf/1301.3781.pdf ------------------ Таймкоды 0:00 - Predict, sample, repeat 3:03 - Inside a transformer 6:36 - Chapter layout 7:20 - The premise of Deep Learning 12:27 - Word embeddings 18:25 - Embeddings beyond words 20:22 - Unembedding 22:22 - Softmax with temperature 26:03 - Up next ------------------ Эти анимации в основном были созданы с помощью собственной библиотеки Python под названием manim. Частые вопросы доступны здесь: https://3b1b.co/faq#manim https://github.com/3b1b/manim https://github.com/ManimCommunity/manim/ Весь код для отдельных видео доступен здесь: https://github.com/3b1b/videos/ Музыка Винцента Рубинетти. https://www.vincentrubinetti.com https://vincerubinetti.bandcamp.com/a... https://open.spotify.com/album/1dVyjw... ------------------ 3blue1brown - это канал про анимацию математики, во всех смыслах слова анимация. Если Вы прочитали это описание до конца, то наверное Вы интересуетесь этими уроками больше, чем средне-статистический зритель. Мне будет очень приятно, если Вы будете следить на новостями, либо подписавшись на этот канал YouTube, либо на любой из указанных ниже платформ. Mailing list: https://3blue1brown.substack.com Twitter:   / 3blue1brown   Instagram:   / 3blue1brown   Reddit:   / 3blue1brown   Facebook:   / 3blue1brown   Patreon:   / 3blue1brown   Website: https://www.3blue1brown.com