Часть проекта портфолио по инжинирингу данных (2/5) — Настройка задач Airflow для подключения Pos... скачать в хорошем качестве

Часть проекта портфолио по инжинирингу данных (2/5) — Настройка задач Airflow для подключения Pos...

Проекты по инжинирингу данных могут стать отличным способом продемонстрировать свои навыки. Но их реализация может быть сложной. Цель этой серии — помочь вам создать проект по инжинирингу данных. Для этого видео вам потребуется настроенный экземпляр EC2, а также экземпляр RDS Postgres и S3 на AWS. Кроме того, мы будем использовать Airflow для управления задачами. Команды для настройки соединения между Postgres и S3. https://gist.github.com/bAcheron/e5de... Разбор видео 0:00 Введение 1:52 Настройка подключения Postgres к S3 5:20 Настройка Airflow 8:50 Airflow — написание вашего первого конвейера 13:26 Airflow — настройка подключения к Postgres Если вам понравилось это видео, посмотрите другие мои лучшие видео. Какие навыки нужны инженерам данных?    • What Skills Do Data Engineers Need To Know   Идеи для проектов по инженерии данных    • 5 Data Sources for Your Data Engineering P...   Если вы хотите узнать больше о машинном обучении, посетите курс DataCamps Machine Learning https://bit.ly/3BeLEml Если вы хотите быть в курсе моих новостей о сфере данных, подпишитесь на нашу рассылку здесь. https://seattledataguy.substack.com/​​ Или посетите мой блог https://www.theseattledataguy.com/ Теги: Проекты по обработке данных, Идеи для проектов по обработке данных, Источники данных для проектов по аналитике данных, Портфолио проектов по обработке данных _____________________________________________________________ Подпишитесь:    / @seattledataguy   _____________________________________________________________ Обо мне: Всю свою карьеру я посвятил всем формам данных. Я занимался разработкой алгоритмов для выявления мошенничества, снижения повторных госпитализаций пациентов и пересмотром полисов страховых компаний с целью снижения общих расходов на здравоохранение. Я также участвовал в разработке аналитики для маркетинга и ИТ-операций с целью оптимизации ограниченных ресурсов, таких как сотрудники и бюджет. Я предоставляю частные консультации по вопросам науки о данных и инженерии как самостоятельно, так и в составе компании Acheron Analytics. У меня есть опыт как практического решения технических проблем, так и помощи руководству в разработке стратегий для максимизации эффективности данных. *Я участвую в партнёрских программах. Если ссылка отмечена звездочкой (*), я могу получить небольшую часть дохода без каких-либо дополнительных затрат для вас.