У нас вы можете посмотреть бесплатно Microsoft Fabric for Beginners | Pipeline + PySpark + Delta Table + Lakehouse или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
Git Repo: https://raw.githubusercontent.com/Mic... Notebook pyspark transformation code: from pyspark.sql.functions import * Read the new sales data df = spark.read.format("csv").option("header","true").load("Files/new_data/*.csv") Add month and year columns df = df.withColumn("Year", year(col("OrderDate"))).withColumn("Month", month(col("OrderDate"))) Derive FirstName and LastName columns df = df.withColumn("FirstName", split(col("CustomerName"), " ").getItem(0)).withColumn("LastName", split(col("CustomerName"), " ").getItem(1)) Filter and reorder columns df = df["SalesOrderNumber", "SalesOrderLineNumber", "OrderDate", "Year", "Month", "FirstName", "LastName", "EmailAddress", "Item", "Quantity", "UnitPrice", "TaxAmount"] Load the data into a table df.write.format("delta").mode("append").saveAsTable(table_name)