Прорыв в создании современных генераторов изображений на основе ИИ | Модели диффузии, часть 1 скачать в хорошем качестве

Прорыв в создании современных генераторов изображений на основе ИИ | Модели диффузии, часть 1

Модели диффузии — ключевое нововведение, оказывающее далеко идущее влияние на различные области машинного обучения. Именно эта технология лежит в основе DALL-E и Sora от OpenAI, Imagen от Google, Stable Diffusion, Midjourney и других. Изначально разработанные для генерации изображений, они, похоже, приобретают всё большую значимость, поскольку в последних релизах, таких как NVIDIA Cosmos, Physical Intelligence Pi Zero, Google Veo и т. д., используются те же принципы диффузии. Несмотря на ключевую роль диффузии в современном ИИ, я так и не нашёл объяснения её работы, которое помогло бы мне по-настоящему её понять. Это видео, о котором я всегда мечтал: я представляю новый взгляд на модели диффузии как на алгоритм, подобный градиентному спуску, который стохастически оптимизирует изображение, ориентируясь на некое понятие качества, основанное на подходе «соответствия оценок» для моделей диффузии (https://arxiv.org/pdf/1907.05600). В такой постановке задачи диффузии можно рассматривать как решение задачи генерации изображений с помощью градиентного спуска, но во время тестирования*, а не во время обучения. Учитывая, насколько полезна оптимизация на основе градиента во время обучения (мы используем градиентный спуск *буквально для всего в глубоком обучении), модели диффузии элегантно демонстрируют свою мощь и полезность во время тестирования. Временные метки: 0:00 - Введение/Обзор/Как обычно изучают модели диффузии 2:37 - Введение в пространство изображений (где находятся изображения) 4:02 - Расположение в пространстве изображений соответствует различным возможным изображениям 5:08 - Структура пространства изображений: разреженность и кластеризация 7:28 - Модели диффузии как навигаторы в пространстве изображений 8:43 - Истинное значение прямого прохода модели диффузии 11:12 - Как модели диффузии определяют, какое изображение генерировать 12:50 - Связь с вероятностными моделями 14:47 - Генерация изображений как задача оптимизации, решаемая методом градиентного спуска 15:46 - Обучение моделей диффузии 16:34 - Геометрическая интуиция процесса зашумления/прямой диффузии 17:05 - Создание обучающих данных для моделей диффузии 18:01 - Модели диффузии обучаются «векторному полю» в пространстве изображений 18:44 - Аналогии, сходства и различия с изображениями классификация 21:10 — Обзор и основные выводы 22:56 — Что дальше Это видео призвано облегчить специалистам по ИИ, знакомым с более распространёнными парадигмами машинного обучения, знакомство с миром вероятностных моделей, а также дать неспециалистам возможность познакомиться с ключевыми вычислительными методами, которые способствовали недавним достижениям в области генерации изображений. Поэтому я ограничился лишь математическими подробностями, но при этом поделился ключевыми интуитивными представлениями и предположениями, лежащими в основе эффективности моделей диффузии. #generativeai #sora #neuralnetworks #deeplearning #flux #diffusion