Инженер Google объясняет принцип работы Vision Transformer (ViT) | Мультимодальный LLM | Диффузия скачать в хорошем качестве

Инженер Google объясняет принцип работы Vision Transformer (ViT) | Мультимодальный LLM | Диффузия

Transformer произвел революцию в обработке естественного языка и положил начало современной эре больших языковых моделей. Однако мало кто знает, что тот же механизм успешно применяется в компьютерном зрении. Vision Transformer, или ViT, сегментирует изображения в последовательности, применяет линейные вложения, а затем раскрывает потенциал многоголового внутреннего внимания для непосредственного моделирования глобальных взаимосвязей между фрагментами изображения. Более того, ViT ещё более эффективен в мультимодальных программах LLM. Похожие видео: Подробный обзор Transformer:    • Transformer Deep Dive with Google Engineer...   Подробный обзор Flash Attention:    • FlashAttention V1 Deep Dive By Google Engi...   Подробный обзор Diffusion:    • Diffusion Models (DDPM, DDIM, Stable Diffu...   #llm #transformers #ai #multimodal 0:00 Предыстория 1:41 Обзор 4:09 Прохождение ViT 12:51 ViT против CNN 16:20 ViT в мультимодальном LLM