Нильс Клейс: Используйте dbt и DuckDB вместо Databricks для обработки данных. скачать в хорошем качестве

Нильс Клейс: Используйте dbt и DuckDB вместо Databricks для обработки данных.

Название сессии: Используйте dbt и DuckDB вместо Databricks для обработки данных Докладчик: Нильс Клейс Описание сессии: В мире инженерии данных мы часто используем мощные инструменты, такие как Apache Spark. Хотя эти инструменты созданы для решения крупномасштабных задач обработки данных, всегда ли нам нужен такой масштаб? Слишком часто мы используем пушку для уничтожения комара — применяем тяжеловесные распределенные системы к средним по размеру рабочим нагрузкам, которые в них не нуждаются. Это вносит ненужную сложность, увеличивает накладные расходы и часто завышает стоимость облачных услуг. В этой сессии мы обоснуем необходимость использования правильного инструмента для решения конкретной задачи. В качестве альтернативы Apache Spark мы рассмотрим возможности сочетания простоты SQL с помощью dbt со скоростью и эффективностью DuckDB. Узнайте, как этот легкий, но мощный дуэт может эффективно решать распространенные задачи обработки данных. Мы выйдем за рамки теории и продемонстрируем на практике, как dbt и DuckDB могут выполнять преобразования непосредственно в хранилище BLOB-объектов, оптимизируя архитектуру и значительно сокращая затраты по сравнению с распределенными системами. Вы также узнаете, как интеграция DuckDB с каталогами данных, такими как Iceberg и Unity Catalog, позволяет ей интеллектуально сосуществовать с существующими рабочими нагрузками Spark. Это позволяет стратегически выбирать наиболее эффективный механизм обработки, сохраняя при этом большие данные там, где им положено быть. Основываясь на широко известной статье Нильса в блоге (  / use-dbt-and-duckdb-instead-of-spark-in-dat...  , этот доклад посвящен прагматическим деталям реализации и ощутимым преимуществам, особенно в экосистеме Azure. 🚀 О конференции Big Data Conference Europe 🚀 Big Data Conference Europe — это четырехдневное мероприятие, посвященное техническим дискуссиям в областях больших данных, высоконагруженных систем, науки о данных, машинного обучения и искусственного интеллекта. Конференция включает в себя серию мастер-классов и сессий, призванных объединить разработчиков, ИТ-специалистов и пользователей для обмена опытом, обсуждения лучших практик, описания примеров использования и бизнес-приложений, связанных с их успехами. Мероприятие призвано обучать, информировать и вдохновлять — организовано людьми, увлеченными большими данными и исследованием данных. Мы с нетерпением ждем встречи с вами! 📅 Ежегодные конференции: Интересуетесь другими темами? Ознакомьтесь с нашим архивом прошедших сессий Digital Marketing Europe. Следите за развитием стратегий и технологий в наших видео! 🚀 🔗 Найдите видео других лет: 2024    • Big Data Europe || RPA Europe 2024 | Confe...   2023    • Big Data Conference Europe 2023 | Conferen...   2022    • BigData Europe 2022 | Conference Talks   2021    • Big Data Europe Conference 2021 | Conferen...   2020    • Big Data Conference 2020 | Conference Talks   💡 Оставайтесь на связи и будьте в курсе событий 💡 Не пропустите ни одного обновления или информации о предстоящих мероприятиях Big Data Conference Europe. Подписывайтесь на наши страницы в социальных сетях и посетите наш веб-сайт, чтобы быть в курсе! 🌐 Веб-сайт: https://bigdataconference.eu/ 👤 Facebook:   / bigdataconf   🐦 X: https://x.com/bigdataconfEU 🔗 LinkedIn:   / big-data-conference-europe-2021   🎥 YouTube: / @dataminerlt 💌 Ваши отзывы ценны 💌 Вам понравилась эта сессия? Мы будем рады узнать ваше мнение! Пожалуйста, оставьте комментарий ниже, чтобы поделиться своими выводами, вопросами или отзывами для спикеров и команды. Для получения дополнительной информации и обновлений о конференции Big Data Conference Europe, следите за нашими страницами в социальных сетях и посетите наш веб-сайт. До встречи на следующей конференции!