ETL com Apache Spark: Tratando Dados com Pandas API | Live#91 скачать в хорошем качестве

ETL com Apache Spark: Tratando Dados com Pandas API | Live#91

Trabalhar com análise de dados pode ser muito mais fácil se feito com a biblioteca de Python mais utilizada do mercado. Entretanto, quando se é necessário escalar, na maioria das vezes, o código escrito em Pandas deve ser refatorado e reescrito para PySpark para que o mesmo possa utilizar a força computacional do Apache Spark. Esse processo é doloroso e muita das vezes pode impactar diretamente a evolução do seu pipeline de dados. Foi pensando nisso que a Databricks agora trouxe para processos em batch o Pandas API para Apache Spark. Agora você pode de forma "transparente" trazer seu código em Pandas para rodar no Apache Spark sem nenhuma alteração do seu código de ETL ou ELT. Nesta Live, iremos navegar nos detalhes de como utilizar esse recurso e como você pode se beneficiar grandemente do mesmo. Pandas API no Apache Spark: https://spark.apache.org/docs/latest/... WORKSHOP: Construindo na Prática um Data Lakehouse com Delta e Iceberg, utilizando Apache Spark. Inscreva-se no link abaixo: ➡ Acompanhe o trabalho da nossa equipe de perto, acesse o link abaixo para mais conteúdos e cursos: ➡ http://theplumbers.com.br/links/