Databricks - Ingesta de datos capa Bronze, Autoloader + Streaming скачать в хорошем качестве

Databricks - Ingesta de datos capa Bronze, Autoloader + Streaming

En este video muestro paso a paso cómo implementé una ingesta de datos hacia la capa Bronze en Databricks usando un enfoque moderno y productivo basado en: • Databricks Asset Bundles para versionar y desplegar el proyecto • Auto Loader para la ingesta incremental y escalable de archivos • Spark Structured Streaming para procesar datos de forma continua y confiable Parto desde la estructura del proyecto, explico cómo se configuran los bundles para separar ambientes (dev/prod), cómo se define el stream de ingesta y cómo se escriben los datos en formato Delta Lake en la capa Bronze, respetando principios de arquitectura Medallion. Además, explico: • Cómo funciona Auto Loader internamente (file discovery, checkpoints, schema inference) • Por qué usar streaming incluso para fuentes batch • Buenas prácticas para organizar código, configuración y despliegues Este es un ejemplo real basado en un proyecto de ingeniería de datos en Databricks, pensado para quienes quieren diseñar pipelines más robustos, gobernables y listos para producción.