Настройка Cloud Composer с использованием лучших практик (Apache Airflow на GCP) [Полное руководс... скачать в хорошем качестве

Настройка Cloud Composer с использованием лучших практик (Apache Airflow на GCP) [Полное руководс...

Узнайте, как начать работу с Google Cloud Composer — полностью управляемым сервисом оркестровки рабочих процессов обработки данных, созданным на основе Apache Airflow. В этом руководстве рассматриваются: • Настройка среды Cloud Composer • Рекомендации по разработке и производству • Создание вашего первого рабочего процесса Airflow (DAG) • Оптимизация производительности и затрат • Советы по созданию DAG и идемпотентность Идеально подходит для инженеров по обработке данных и аналитиков, стремящихся автоматизировать и управлять сложными конвейерами данных в Google Cloud. Включает практические примеры и советы экспертов, которые помогут вам эффективно использовать Cloud Composer. Демонстрационный код и диаграмма: https://github.com/nodematiclabs/comp... Бесплатная пробная версия — наш новый инструмент для построения диаграмм: https://softwaresim.com/pricing/ (скидка 25% на YOUTUBE24) Если вы работаете в сфере облачных технологий, DevOps или разработки программного обеспечения, вам наверняка пригодятся наши многочисленные обучающие видео, демонстрации и пошаговые руководства на YouTube. Подпишитесь на канал, чтобы поддержать нас. 0:00 Концептуальный обзор 0:19 Сервис Cloud Composer 0:48 Настройка кластера Airflow 2:49 Среды Composer 3:35 Мониторинг и оповещения 5:45 Журналирование и наблюдение 6:42 Автопилот Kubernetes 8:01 Основы DAG (Python) 11:55 Учётные записи служб 12:59 Настройка ЦП и памяти 14:16 Идемпотентные задачи