AWS Data Lakes 101 | Урок 3: Использование Athena для запросов к данным в Data Lake скачать в хорошем качестве

AWS Data Lakes 101 | Урок 3: Использование Athena для запросов к данным в Data Lake

☕ https://www.buymeacoffee.com/johnnych... ℹ️ https://johnnychivers.co.uk/ ℹ️ https://github.com/johnny-chivers/dat... ℹ️ https://aws.amazon.com/lake-formation 00:00 — Введение 00:10 — Теория 00:52 — Практическое руководство В этой серии видеороликов мы рассмотрим AWS Data Lakes с помощью Lake Formation. Мы сочетаем теорию с практикой, создавая AWS Data Lake с помощью AWS Lake Formation, The Glue Data Catalog, Glue Crawlers, Glue ETL, PySpark и Athena. На третьем уроке мы используем AWS Athena для доступа к данным, полученным на втором уроке. AWS Lake Formation управляет доступом к этим данным. AWS Lake Formation — это сервис, который позволяет легко настроить безопасное озеро данных всего за несколько дней. Озеро данных — это централизованное, контролируемое и защищенное хранилище, в котором хранятся все ваши данные, как в исходном виде, так и в подготовленном для анализа виде. Озеро данных позволяет разбить хранилища данных на части и объединить различные виды аналитики для получения аналитической информации и принятия более обоснованных бизнес-решений. Однако сегодня настройка и управление озерами данных требует множества ручных, сложных и трудоемких задач. Эта работа включает в себя загрузку данных из различных источников, мониторинг этих потоков данных, настройку разделов, включение шифрования и управление ключами, определение задач преобразования и мониторинг их работы, реорганизацию данных в столбчатый формат, настройку параметров управления доступом, дедупликацию избыточных данных, сопоставление связанных записей, предоставление доступа к наборам данных и аудит доступа с течением времени. Создание озера данных с помощью Lake Formation так же просто, как определение источников данных и политик доступа к ним и безопасности, которые вы хотите применить. Lake Formation поможет вам собирать и каталогизировать данные из баз данных и объектных хранилищ, переносить их в новое озеро данных Amazon S3, очищать и классифицировать данные с помощью алгоритмов машинного обучения и обеспечивать безопасный доступ к конфиденциальным данным. Ваши пользователи получат доступ к централизованному каталогу данных, в котором описаны доступные наборы данных и их применение. Затем они будут использовать эти наборы данных с помощью выбранных ими сервисов аналитики и машинного обучения, таких как Amazon Redshift, Amazon Athena и (в бета-версии) Amazon EMR для Apache Spark. Lake Formation использует возможности AWS Glue. 😎 Обо мне Последние десять лет я посвятил миру больших данных, работая консультантом в крупнейших мировых компаниях. Мой путь в мир данных был не совсем обычным. Я начал свою карьеру с должности аналитика эффективности в профессиональном спорте на высшем уровне, как в регби, так и в футболе. Затем я перешёл в сферу данных и вычислений. Этот путь увенчался получением степени магистра в области разработки программного обеспечения. А также множество профессиональных сертификаций по AWS и MS SQL Server.