数据科学家的新宠Airflow：如何用它实现 Data Pipeline？（第600期） скачать в хорошем качестве

数据科学家的新宠Airflow：如何用它实现 Data Pipeline？（第600期）

2014 年 10 月在 Airbnb 正式创建，并在2016年成为一个开源的工作流管理平台，成为 Apache Incubator 的顶级项目。Airflow 是一个开源的workflow automation框架，能让开发人员高效的创作、调度和监控数据管道（Data Pipeline）。 成功的data pipeline可以有效地移动数据，最大限度地减少任务之间的暂停和阻塞，使每个流程都能正常运行。Airflow相关经验是数据工程和数据科学家最需要的技术技能之一，在许多数据职位招聘信息中都被列为要求的技能。 10月23日，我们邀请到了资深数据工程师，给大家全面讲解什么Airflow，它运用到了什么技术，是如何简化和自动化数据管道、减少运营开销的。 获得课件资料，请填写表格：https://share.hsforms.com/1WicPKcr6Qg... 00:37 本期公开课介绍 02:03 What is Data Pipeline？ 11:00 What is ETL？ 15:15 Apache Airflow 19:29 What is Airflow? 21:21 Why Airflow? 24:57 Why Not Airflow? 27:39 Airflow Alternatives 31:41 Architecture Overview 35:54 What is DAGs? 43:30 What is a Task? 44:59 Task States Graph 48:38 Task Dependencies 49:54 What is Operators? 50:58 What is Executor? 52:07 User Interface 欢迎关注我们的频道并在评论区与我们互动你的建议和意见！有任何其他想学习的topic也欢迎给我们留言！ 数据应用学院是北美首家集培训、项目实习和内推于一体的机构，我们的项目导向课程专注学员成果，并提供职业发展指导。感兴趣的小伙伴可以点击下面的链接，解锁更多专业技能： Learn center主页：https://study.dataapplab.com/pages/home 数据科学家求职训练营精华课： https://study.dataapplab.com/course?c... 商业分析师求职训练营精华课：https://study.dataapplab.com/course?c... 另外，我们的AI聘项目面向北美数据类、软件开发类求职者提供了一站式求职解决方案，专注Business Analyst/Data Analyst/Data Scientist/Data Engineer/Software Engineer等相关岗位的求职服务。服务内容涵盖全方位背景评估、求职方案设计、背景和能力提升、全程面试辅导、强大岗位内推支持。有需求的小伙伴可登录AI聘官网进行了解： AI聘官网:https://aipin.io/