Комплексная аналитическая платформа на базе Databricks, готовая к использованию ИИ — бесплатно. скачать в хорошем качестве

Комплексная аналитическая платформа на базе Databricks, готовая к использованию ИИ — бесплатно.

В этом видео я покажу вам полный проект по обработке данных в Databricks (бесплатная версия), который охватывает все этапы — от получения и преобразования исходных данных из API до развертывания приложения Databricks и создания готового к использованию ИИ пространства Genie с помощью данных о землетрясениях в реальном времени из API USGS. 💻🛠️ Технологический стек: Databricks Free Edition, Databricks Asset Bundles, PySpark, PySpark Custom Data Sources, Python, Unity Catalog, Streamlit, AI/BI Genie Space 🔗 Репозиторий GitHub: https://github.com/pathfinder-analyti... 💼 LinkedIn:   / malvik-vaghadia   📚 Курсы Udemy: CI/CD с Databricks Asset Bundles: https://www.udemy.com/course/cicd-wit... Azure Databricks и Spark SQL Python: https://www.udemy.com/course/azure-da... dbt на Databricks: https://www.udemy.com/course/dbt-on-d... 📖 Документация: Установка UV: https://docs.astral.sh/uv/getting-sta... Установка Python: https://www.python.org/downloads/ Установка Databricks CLI: https://learn.microsoft.com/en-us/azu... Документация Streamlit: https://docs.streamlit.io/ Документация PyDeck: https://deckgl.readthedocs.io/ Приложения Databricks: https://docs.databricks.com/en/dev-to... API USGS для отслеживания землетрясений: https://earthquake.usgs.gov/fdsnws/ev... ⌚ Временные метки 00:00 Введение, предварительные условия и обзор решения 04:36 Обзор репозитория проекта 11:47 Развертывание проекта 16:51 Запуск заданий Databricks 21:19 Запуск приложения Streamlit 25:20 Создание пространства AI/BI Genie 30:04 Подробный анализ подхода к приему данных через API 43:02 Подробный анализ логики преобразования 49:46 Подробный анализ кода приложения Streamlit 52:31 Заключение