Apache Spark был сложным, пока я не изучил эти 30 концепций! скачать в хорошем качестве

Apache Spark был сложным, пока я не изучил эти 30 концепций!

Развивайте свою карьеру с Educative (скидка 55%): https://www.educative.io/explore?aff=... Дополнительная скидка 10%: https://www.educative.io/unlimited?af... Обратите внимание, что я могу получать небольшую комиссию за любые покупки по этим ссылкам — спасибо за поддержку канала! :) ____________________________________________ Spark всё ещё кажется вам чем-то вроде чёрной магии? Эти концепции Apache Spark изменят ваше мнение! В этом видео я разбираю 30 основных концепций Apache Spark, которые помогли мне пройти собеседования в крупных технологических компаниях и наконец понять Spark изнутри — чтобы ваши задачи выполнялись быстрее! Что вы узнаете: • Почему Spark превосходит MapReduce благодаря выполнению в памяти + DAG • Преобразования против действий, перемешивания, разделов и DAG Spark • Архитектура Spark; Как работают задания, этапы, задачи, драйверы/исполнители/YARN • Память Spark (в куче, вне кучи, унифицированная) для оптимизации Если Spark когда-либо казался вам сложным, это ваша модель мышления. Смотрите до конца. Подписывайтесь на канал, чтобы получать больше видео о Spark, углубленном изучении инженерии данных и подготовке к собеседованиям! Разделы 0:00 Почему эти 30 концепций Apache Spark важны для собеседований и реальной работы 0:29 Почему MapReduce работает медленно — основное узкое место производительности 0:51 Пример подсчета слов в MapReduce (шаг Map) 1:52 Перемешивание/сортировка MapReduce + шаг Reduce (проблемы с дисковым вводом-выводом) 2:53 Краткий обзор ограничений MapReduce — запись на диск + жесткая двухэтапная модель 3:23 Как Spark исправил MapReduce — обработка в памяти 4:13 Модель DAG Spark — преобразования, действия, задания, этапы, задачи 5:06 Перерыв для спонсора: познавательно 6:09 Подробная архитектура Spark — драйвер, исполнители, менеджер кластера 15:39 Режимы развертывания — кластерный режим против клиентского режима 17:04 Преобразования против действий — упрощенное ленивое выполнение 19:18 Узкие против широких преобразований — когда происходит перемешивание 22:30 Планы Spark — решены, нерешенные, логические, физические 27:06 Задания, этапы, задачи с реальным примером кода Spark 35:39 Начало углубленного изучения памяти исполнителя Spark 40:07 Пример расчета размера памяти — spark.executor.memory и доли 41:49 Итоговый обзор 30 концепций Свяжитесь со мной здесь: LinkedIn:   / afaque-ahmad-5a5847129   Канал YouTube:    / @afaqueahmad7117   Плейлисты: Подготовка к собеседованию:    • Data Engineering Interview Preparation   Оптимизация производительности Spark:    • Ultimate Guide To Apache Spark Performance...   Дорожная карта инженерии данных:    • The $500k+ Data Engineering Roadmap: Exact...   Как я освоил моделирование данных:    • How I Mastered Data Modeling Interviews   Прохождение собеседований в Apple, Uber, Atlassian, Databricks:    • How I Cracked Interviews at Apple, Uber & ...   Github: https://github.com/afaqueahmad7117 Коды для оптимизации производительности Spark: https://github.com/afaqueahmad7117/sp... #databricks #databrickstutorial #deltalake #dataengineering #bigdata #ApacheSpark #DataEngineering #SparkPerformance