Программируемое качество данных с помощью Dataplex и генеративного ИИ скачать в хорошем качестве

Программируемое качество данных с помощью Dataplex и генеративного ИИ

Практикум → https://goo.gle/4nInEzb GitHub → https://goo.gle/3W6TKJc Запись в блоге → https://goo.gle/46GkqFK Ручное создание правил качества данных часто занимает много времени и является непоследовательным. В этом видео мы продемонстрируем практичный программный рабочий процесс в Google Cloud для автоматизации создания и развертывания правил качества данных с помощью Dataplex и генеративного ИИ. Сократите ручной труд и создайте более надежные конвейеры данных. В этом видео представлен надежный шаблон для создания масштабируемых систем качества данных, позволяющий управлять политиками управления данными с помощью кода. Вот что мы рассмотрим: 1️⃣ Сглаживание сложных данных: узнайте, как использовать материализованные представления в BigQuery для подготовки вложенных данных для комплексного профилирования Dataplex. 2️⃣ Автоматизированное профилирование: научитесь программно запускать и управлять сканированием профилей данных Dataplex с помощью клиента Python. 3️⃣ Предложение правил на основе ИИ: узнайте, как экспортировать результаты профилей и использовать интерфейс командной строки Gemini для интеллектуального предложения правил качества данных, совместимых с Dataplex, в формате YAML. 4️⃣ Валидация с участием человека: ознакомьтесь с критической важностью человеческой проверки для проверки и уточнения конфигураций, созданных с помощью ИИ, перед развертыванием. 5️⃣ Развертывание сканирований качества: мы рассмотрим развертывание этих проверенных правил в виде автоматизированных сканирований качества данных Dataplex. 🔔 Подпишитесь на Google Cloud Tech → https://goo.gle/GoogleCloudTech Докладчик: Хёнук Лим Упоминаемые продукты: Dataplex Universal Catalog, BigQuery,