Управление таблицами Iceberg в IRC-канале Unity Catalog с помощью OSS Spark. скачать в хорошем качестве

Управление таблицами Iceberg в IRC-канале Unity Catalog с помощью OSS Spark.

Райан Цикак, архитектор решений из Databricks, демонстрирует, как использовать REST-каталог Apache Iceberg (IRC), встроенный в Unity Catalog (UC). Он показывает, что любой движок Apache Spark может легко подключиться к IRC для чтения и записи таблиц Spark, управляемых Unity Catalog. В демонстрации используется Spark SQL, запущенный локально на MacBook, и подключение к каталогу осуществляется с помощью токена OAUTH 2. 🎯 Что вы узнаете: Как REST-каталог Apache Iceberg (IRC) в Unity Catalog позволяет любому движку читать и записывать управляемые таблицы Spark. Как настроить Spark SQL с помощью строки подключения и токена OAUTH 2 для подключения к REST-каталогу UC Iceberg. Как использовать локальный экземпляр Spark SQL с открытым исходным кодом для запросов к таблицам, управляемым в Databricks Unity Catalog. Как создавать новые таблицы и вставлять данные в Unity Catalog с помощью стороннего движка Spark с открытым исходным кодом. ⏱️ РАЗДЕЛЫ: 00:00 – Введение в Apache Iceberg REST Catalog (IRC) и Unity Catalog 01:08 – Архитектура и строка подключения для IRC с использованием токена OAUTH 2 02:40 – Подготовка локальной демонстрационной среды и просмотр существующих таблиц в Databricks 03:46 – Подключение локального Spark SQL к Unity Catalog и запросы к существующим таблицам 05:14 – Создание новой таблицы в Unity Catalog с помощью OSS Spark SQL 06:17 – Вставка данных в новую таблицу и окончательная проверка