Управляемый Apache Airflow с помощью Astro! Прощай, MWAA и GCC! скачать в хорошем качестве

Управляемый Apache Airflow с помощью Astro! Прощай, MWAA и GCC!

Управляйте Airflow с помощью Astro! Прощайте, MWAA и GCC! Astro — это новый способ управления Apache Airflow в облаке! Он расширяет возможности Airflow, предоставляя всё необходимое для разработки, запуска, управления и мониторинга конвейеров данных в любом масштабе без обычных сложностей, таких как отсутствие локальных сред разработки, автоматического масштабирования или обновлений на месте, ограниченный опыт CI/CD, зависимость от проприетарной экосистемы и т. д. После просмотра этого видео вы сможете: 1️⃣ Создавать развёртывания Airflow для сред разработки и производства; 2️⃣ Настраивать локальную среду разработки с помощью Astro CLI; 3️⃣ Легко и быстро создавать конвейеры данных и задачи с помощью Cloud IDE; 4️⃣ Задавать конвейер CI/CD для автоматического развёртывания в средах разработки и производства; 5️⃣ Мониторинг конвейеров и получение оповещений в случае возникновения проблем. Попробуйте Astro БЕСПЛАТНО: https://bit.ly/43YD1tS 00:00 — Введение 00:37 — Почему Astro? 00:55 — Регистрация 01:17 — Добро пожаловать в Astro 01:19 — Создание развёртывания DEV Airflow 02:48 — Функции развёртывания Astro 03:25 — Конвейер данных, который вы создадите 03:52 — Предварительные условия 04:15 — Настройка локальной среды разработки с помощью Astro CLI 05:52 — Создание ветки DEV 06:03 — Создание конвейера данных в Cloud IDE 06:45 — Задание 1: Извлечение данных API 07:14 — Создание переменной Airflow 07:29 — Установка зависимостей Python 07:47 — Выполнение глобального импорта 07:57 — Тестирование задачи 08:10 — Задание 2: Вывод случайного действия 08:59 — Зафиксируйте DAG в Cloud IDE 10:03 — Создание и настройка конвейера CI/CD 10:30 — Создание ключа API DEV 11:26 – Создание развёртывания PROD Airflow 11:59 – Создание ключа API PROD 12:31 – Развёртывание на DEV с помощью конвейера CICD 13:17 – Развёртывание на PROD с помощью конвейера CICD 13:54 – Создание переменной API в развёртываниях 14:18 – Запуск DAG 14:26 – Мониторинг развёртываний и конвейеров 14:50 – Получение оповещений в случае сбоя запуска DAG 15:19 – Поздравляем! 15:47 – Управление пользователями и многое другое Приятного просмотра ❤️ #инжинирингданных #данные #airflow