Магистратура по направлению «Трансформаторы и диффузия»: какая связь? скачать в хорошем качестве

Магистратура по направлению «Трансформаторы и диффузия»: какая связь?

Диффузионные модели языка (LLM) — это новая парадигма генерации текста; они постепенно преобразуют бессмысленную тарабарщину в связный ответ. Но как они связаны с «Трансформерами»? В этом видео я рассказываю о том, как «Трансформеры» превратились из простого инструмента машинного перевода в универсальную основу современного искусственного интеллекта, обеспечивающую работу всего: от моделей авторегрессии, таких как GPT, до моделей на основе диффузии, таких как LLaDA. Мы шаг за шагом рассмотрим: • Как на самом деле работает архитектура Transformer (кодер, декодер, внимание) • Почему внимание заменило повторение в обработке естественного языка • Чем обучение GPT отличается от генерации текста на основе диффузии • Как моделирование языка с маскировкой в ​​BERT вдохновило на программы магистратуры по диффузии • Подробное описание процесса маскированной диффузии в LLaDA Если вы здесь впервые, посмотрите мои предыдущие видео, чтобы получить интуитивное введение в модели диффузии и узнать, как физическая диффузия вдохновила их:    • Diffusion models   📚 Бесплатная презентация:   / juliaturc   📚 Статьи: • Оригинал GPT: https://cdn.openai.com/research-cover... • BERT: https://arxiv.org/abs/1810.04805 • LLaDA: https://arxiv.org/abs/2502.09992 ▶️ Моё предыдущее видео о «Трансформерах»:    • Transfer learning and Transformer models (...   00:00 Вступление 01:25 История происхождения «Трансформера» 03:52 Проблема выравнивания и внимание 06:26 Архитектура: кодер против декодера 11:25 Авторегрессивные LLM и GPT 16:09 Классификация текста и BERT 18:51 Диффузионные LLM и LLaDA 24:17 Заключение