У нас вы можете посмотреть бесплатно Apache Spark. SparkSession и работа с партициями # 4 или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
Почему дефолтные 200 партиций могут убить производительность в продакшене? Разбираем на живом демо: 8 партиций vs 2000. Покажу, как неправильная конфигурация shuffle.partitions замедляет джобы, и почему адаптивный режим (AQE) может быть полезен. Телеграмм: https://t.me/marat_notes Презентация, как и все материалы доступны в : https://github.com/MaratNotes/marat_n... Таймкоды: 00:00 Приветствие 00:14 Spark Session 01:10 Архитектура Spark: драйве и исполнители 04:42 Общий вид кода запуска 04:31 Архитектурная схема Spark 08:01 Практика и подбор количества партиций 14:25 Что такое партиция и как подобрать количество 19:55 Заключительное слово В следующей лекции: Почему формат хранения важнее вашего кода: CSV vs Parquet. #spark #pyspark #bigdata #dataengineering #обучение #maratnotes