Sobre

Sobre o Blog PySpark Descomplicado

Este é um Blog destinado ao compartilhamento de diversos tutoriais e materiais práticos de forma simples, com exemplos didáticos e úteis às tarefas de engenharia e análise de dados.

Meu intuito é trazer um pouco da minha experiência de anos atuando com engenharia e análise de dados, utilizando o PySpark, para um contexto simples, com material em português e com códigos bem estruturados e construídos para utilizar o máximo potencial de sistemas distribuídos para resolver problemas de diversas naturezas no cotidiano de um profissional de dados.

E quem sou eu?

Eu sou Genicleito Gonçalves, Engenheiro de Dados a mais de 6 anos com vasta experiência em PySpark, Airflow, Python, Google Cloud, BigQuery, SQL, Hubspot (CRM), DataStudio, Metabase, dentre várias outras ferramentas de engenharia e análise de dados. Possuo experiência como líder técnico e com diversos times, como: pesquisadores da área de saúde, serviços financeiros e de investimento, times de consultoria, marketing, produto, desenvolvedores, dentre outros.


Comentários

Postar um comentário

Postagens mais visitadas deste blog

Como ler dados em formato CSV com o PySpark

Nesta postagem vamos aprender como baixar e ler dados em formato CSV utilizando o Python e PySpark Olá, entusiastas de dados! Hoje construiremos um dos primeiros códigos funcionais no PySpark. Aprenderemos nessa publicação a baixar, ler e ver informações de nossos primeiros dados em formato CSV com o PySpark. Para isso, utilizaremos uma base de dados de casos de Covid, disponibilizados no GitHub citado abaixo nas referências. No Colab você pode baixar dados diretamente para o ambiente criado e, após efetuar o download, realizar a leitura dos dados utilizando o PySpark. Ambas as etapas estão descritas no trecho de código de exemplo abaixo:
Leia mais »

Como instalar o PySpark e Jupyter Notebook

Imagem
Instalando e configurando o PySpark com Anaconda e Jupyter Notebook em seu computador com Linux e ao final apresento uma opção para executar o PySpark direto do navegador em máquinas com outros sistemas operacionais   Apache Spark Jupyter + Anaconda   Olá, entusiastas de dados! Hoje, iniciaremos nossa jornada para desvendar o poderoso framework PySpark para processamento e análise de grandes volumes de dados utilizando a linguagem de programação Python. Você já se perguntou como grandes volumes de dados podem ser processados e analisados de maneira eficiente? Bem-vindo ao fascinante universo do PySpark, uma poderosa ferramenta de computação distribuída. Prepare-se para uma jornada que transformará a maneira como você lida com dados, proporcionando insights instantâneos e impulsionando suas análises para o próximo nível. Este post é seu bilhete de entrada para o mundo do PySpark, guiando-o através de um processo descomplicado de instalação e configuração em sua máquina local.
Leia mais »

Como utilizar o PySpark no Google Colab

Imagem
Você irá descobrir neste post como rodar seus primeiros códigos PySpark direito no navegador, de maneira gratuita, sem precisar instalar nada e utilizando apenas sua conta do Google Na publicação anterior [ Como instalar o PySpark e Jupyter Notebook ] descobrimos como o PySpark pode ser instalado e configurado em seu computador pessoal com sistema operacional Linux. Embora este processo de instalação seja relativamente simples, você pode encontrar impeditivos pelo caminho, como, por exemplo, ter um sistema operacional com Windows. Diante disso, nesta publicação, vamos aprender como o PySpark pode ser utilizado direito no navegador de seu computador, tablet ou até mesmo celular, utilizando apenas sua conta do Google, tudo isso no ambiente amigável e acessível do Google Colab.
Leia mais »