Настройка Airflow 101 — Google Cloud Composer против Astronomer против MWAA скачать в хорошем качестве

Настройка Airflow 101 — Google Cloud Composer против Astronomer против MWAA

За последние 3 месяца я осуществил два разных проекта миграции, в ходе которых компании переходили от ручного управления виртуальными машинами Airflow к использованию Cloud Composer и MWAA (Managed Workflows For Apache Airflow). Это два отличных варианта для запуска вашего первого проекта Airflow. Они помогают решить множество проблем, таких как масштабирование рабочей нагрузки между рабочими узлами и управление всеми другими компонентами, необходимыми для масштабирования Airflow. Конечно, и Cloud Composer, и MWAA — это сервисы, предоставляемые двумя крупными облачными провайдерами. Но есть и третий вариант — Astronomer. В этой статье я хочу обсудить некоторые преимущества и ограничения Cloud Composer и MWAA, а также объяснить, почему Astronomer может быть более подходящим решением для многих компаний. Если вам понравилось это видео, посмотрите другие мои лучшие видео. Какие навыки нужны инженерам данных?    • What Skills Do Data Engineers Need To Know   Идеи для проектов по инженерии данных    • 5 Data Sources for Your Data Engineering P...   Если вы хотите узнать больше о машинном обучении, посетите курс DataCamps Machine Learning https://bit.ly/3BeLEml Если вы хотите быть в курсе моих новостей о сфере данных, подпишитесь на нашу рассылку здесь. https://seattledataguy.substack.com/​​ Или посетите мой блог https://www.theseattledataguy.com/ Теги: Проекты по обработке данных, Идеи для проектов по обработке данных, Источники данных для проектов по аналитике данных, Портфолио проектов по обработке данных _____________________________________________________________ Подпишитесь:    / @seattledataguy   _____________________________________________________________ Обо мне: Всю свою карьеру я посвятил всем формам данных. Я занимался разработкой алгоритмов для выявления мошенничества, снижения повторных госпитализаций пациентов и пересмотром полисов страховых компаний с целью снижения общих расходов на здравоохранение. Я также участвовал в разработке аналитики для маркетинга и ИТ-операций с целью оптимизации ограниченных ресурсов, таких как сотрудники и бюджет. Я предоставляю частные консультации по вопросам науки о данных и инженерии как самостоятельно, так и в составе компании Acheron Analytics. У меня есть опыт как практического решения технических проблем, так и помощи руководству в разработке стратегий для максимизации эффективности данных. *Я участвую в партнёрских программах. Если ссылка отмечена звездочкой (*), я могу получить небольшую часть дохода без каких-либо дополнительных затрат для вас.