У нас вы можете посмотреть бесплатно Фабрика DAG в Airflow: Infrastructure as Code для Data Engineer | Генерация DAG через JSON/YAML или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
🔥 Устал создавать каждый DAG в Airflow вручную? В этом видео я покажу, как автоматизировать создание DAG-ов через Infrastructure as Code (IaC) подход! Разберём реальную фабрику DAG, которая генерирует пайплайны на основе JSON и YAML конфигураций. Один конфиг-файл — и у тебя готовый DAG для переноса данных из OLTP в OLAP! Ссылки: Менторство/консультации по IT – https://korsak0v.notion.site/Data-Eng... TG канал – https://t.me/DataLikeQWERTY Instagram – / i__korsakov Habr – https://habr.com/ru/users/k0rsakov/pu... 🔍 Что в ролике: 📊 Типовая задача дата-инженера: миграция OLTP → OLAP 🏭 Что такое фабрика DAG и зачем она нужна ⚙️ Настройка инфраструктуры Airflow через Docker 📝 Два варианта генерации: через JSON и YAML конфигурации 🎯 Пошаговый разбор кода DAG-генератора 💡 Боевые рекомендации: тесты, логирование, алертинг 🚀 Ready-to-use решение для твоих проектов! 🗂️ GitHub репозиторий с кодом: https://github.com/k0rsakov/pet_proje... 📚 Мои статьи на Habr по теме: • Генерация DAG в Apache Airflow – https://habr.com/ru/articles/722688/ • Таблица-справочник – генератор DAG? – https://habr.com/ru/articles/756978/ ✉️ Заинтересован в обучении или есть вопросы? Пиши в личку – https://korsak0v.notion.site/Data-Eng... 💡 В конце ролика — рекомендации как правильно внедрить фабрику DAG в production без боли и страданий! Таймкоды: 00:00 – Начало 00:13 – Типичная задача дата-инженера и что такое фабрика ДАГов 05:52 – Про проект.Создание ДАГов через ДАГ 06:18 – Про инфраструктуру 07:15 – Конфигурация фабрики ДАГов 07:43 – Разбор генерации ДАГов через .json-конфигурацию 14:41 – Разбор генерации ДАГов через .yaml-конфигурацию 19:25 – Рекомендации #airflow #dag #iac #infrastructureascode #dataengineering #etl #elt #python #json #yaml #docker #dataengineer #apacheairflow #dagfactory #automation