23. Функция join в PySpark | внутренние, левые, правые, полные, анти- и полусоединения в PySpark скачать в хорошем качестве

23. Функция join в PySpark | внутренние, левые, правые, полные, анти- и полусоединения в PySpark

Azure Databricks #spark #pyspark #azuredatabricks #azure В этом видео я рассказал, как использовать функции объединения в pyspark. 1. Внутренняя функция в PySpark 2. Левая функция в PySpark 3. Правая функция в PySpark 4. Полная функция в PySpark 5. Полуфункция в PySpark 6. Антифункция в PySpark Создание датафрейма: ============================================================ #создание сотрудника data = [(1,"Сушиль","10","М",4000), (2,"Бхаллар","20","М",3000), (3,"Прабху","10","М",4000), (4,"Сандхья","10","Ж",2000), (5,"Вайбхав","40","М",3500), (6,"Амрита","50","Ж",2500)] схема = ["id сотрудника","имя сотрудника","id отдела","пол","зарплата"] empDF = spark.createDataFrame(data, schema) #создать отдел dept = [("Финансы",10), ("Маркетинг",20), ("Продажи",30), ("ИТ",40) ] схема отдела = ["имя отдела","id отдела"] deptDF = spark.createDataFrame(dept, deptschema) display(empDF) display(deptDF) ================================================================== Узнать больше PySpark — интерфейс для Apache Spark на Python. PySpark часто используется для обработки больших объёмов данных и машинного обучения. 1. Введение в pySpark | Руководство по pySpark для начинающих | Руководство по pySpark для специалистов по данным:    • 1. pyspark introduction | pyspark tutorial...   2. Что такое dataframe в pySpark | Dataframe в Azure Databricks | Руководство по pySpark для специалистов по данным:    • 2. what is dataframe in pyspark | datafram...   3. Как читать и записывать CSV-файлы в PySpark | Руководство по Databricks | Руководство по pySpark для специалистов по данным:    • 3. How to read write csv file in PySpark |...   4. Различные режимы записи в Dataframe с использованием PySpark | Учебное пособие по PySpark для специалистов по данным:    • 4. Different types of write modes in Dataf...   5. Чтение данных из файла Parquet в PySpark | Запись данных в файл Parquet в PySpark:    • 5. read data from parquet file in pyspark ...   6. Типы данных в PySpark | Типы данных PySpark | Учебное пособие по PySpark для начинающих:    • 6. datatypes in PySpark | pyspark data typ...   7. Как определить схему в PySpark | Типы и поля структур в PySpark | Учебное пособие по PySpark:    • 7. how to define the schema in pyspark | s...   8. Как читать CSV-файл с помощью PySpark | Как читать CSV-файл с опцией схемы в PySpark:    • 8. how to read CSV file using PySpark | Ho...   9. Чтение JSON-файла в PySpark | чтение вложенного JSON-файла в PySpark | чтение многострочного JSON-файла:    • 9. read json file in pyspark | read nested...   10. Добавление, изменение, переименование и удаление столбцов в dataframe | withcolumn и withcolumnrename в PySpark:    • 10. add, modify, rename and drop columns i...   11. Фильтрация в PySpark | Как фильтровать dataframe с помощью оператора like | like в PySpark:    • 11. filter in pyspark | how to filter data...   12. Startswith в PySpark | Endswith в PySpark | Содержит в PySpark | Учебник по PySpark:    • 12. startswith in pyspark | endswith in py...   13. Isin в PySpark и Not Isin в PySpark | In и Not In в PySpark | Руководство по pyspark:    • 13. isin in pyspark and not isin in pyspar...   14. select в PySpark | alias в pyspark | Azure Databricks #spark #pyspark #azuredatabricks #azure    • 14. select in PySpark | alias in pyspark |...   15. when в pyspark | otherwise в pyspark | alias в pyspark | case в pyspark:    • 15. when in pyspark | otherwise in pyspark...   16. Обработка значений NULL в pySpark DataFrame | Функция isNull в pyspark | Функция isNotNull в pyspark:    • 16. Null handling in pySpark DataFrame | i...   17. Функции fill() и fillna() в PySpark | как заменить значения NULL в pyspark | Azure Databrick:    • 17. fill() & fillna() functions in PySpark...   18. Функция GroupBy в PySpark | Функция agg в PySpark | Агрегатная функция в PySpark:    • 18. GroupBy function in PySpark | agg func...   19. Функция count в PySpark | Функция countDistinct в PySpark | Учебное пособие по PySpark для начинающих:    • 19. count function in pyspark | countDisti...   20. OrderBy в PySpark | Сортировка в PySpark | Разница между OrderBy и Сортировкой в ​​PySpark:    • 20. orderBy in pyspark | sort in pyspark |...   21. Different и DropDuplicates в PySpark | Как удалить дубликаты в PySpark | Учебное пособие по pyspark:    • 21. distinct and dropduplicates in pyspark...   Платлист с учебными пособиями по Azure Databricks:    • Azure Databricks Tutorial   Плейлист с учебными пособиями по Azure Data Factory:    • Azure Data factory (adf)   Вопросы и ответы на собеседовании по ADF:    • adf interview questions and answers for ex...