Обеспечение качества данных в конвейерах ETL с помощью AWS Glue Data Quality скачать в хорошем качестве

Обеспечение качества данных в конвейерах ETL с помощью AWS Glue Data Quality

Объем данных растет экспоненциально, и для обеспечения гибкости бизнесу необходимы надежные данные, причем в ускоренном темпе. В то же время, качество данных критически важно для эффективной работы бизнеса, иначе на исправление данных будет тратиться много времени, а потребители данных потеряют к ним доверие. Приложения используют машинное обучение для принятия решений на основе данных. Однако успех во многом зависит от качества данных. Учитывая темпы роста данных, нам необходимы проверки качества данных в конвейере ETL, чтобы они были доступны немедленно. В этой демонстрации показано, как можно добиться качества данных в конвейере ETL с помощью AWS Glue. Ресурсы: 👉 https://aws.amazon.com/glue/features/... 🌐 https://aws.amazon.com/blogs/big-data... ⚡️ https://aws.amazon.com/blogs/big-data... Подпишитесь на разработчиков AWS! 🐦 Twitter:   / awsdevelopers   💼 LinkedIn:   / aws-developers   👾 Twitch:   / aws   📺 Instagram: https://www.instagram.com/awsdevelope... 0:00 — Введение 00:24 — Предварительный просмотр данных 00:37 — Оценка качества данных 00:52 — Добавление правил качества данных 01:35 — Использование правила ссылочной целостности 02:01 — Перенаправление вывода результатов качества данных 02:23 — Действия с выводом результатов качества данных 02:38 — Интеграция правил качества данных в скрипты Glue для непрерывной интеграции и непрерывной доставки (CI/CD) 03:00 — Разделение выводов качества данных 03:21 — Оценка показателя качества данных #data #ETL #МашинноеОбучение