Como criar um DataFrame com o PySpark

Nesta postagem vamos aprender de maneira simples como criar um DataFrame PySpark a partir de dados estáticos ou a partir de um DataFrame Pandas

Olá entusiastas de dados! Na postagem anterior [Como utilizar o PySpark no Google Colab], vimos de maneira breve um exemplo de como podemos criar um DataFrame PySpark a partir de dados inseridos de forma manual, conforme trecho de código abaixo:

Porém, caso você já esteja familiarizado com o Pandas ou deseja converter este DataFrame para o contexto do PySpark, pode fazer isso de uma maneira muito fácil, como veremos nesta postagem.
 
Isso será muito útil caso você utilizada o Pandas, porém seus dados cresceram muito e os recursos computacionais disponíveis (como memória e processador) já não conseguem dar conta de carregar todos os dados e transformações do Pandas na memória da máquina, tornando necessário utilizar os recursos de sistemas distribuídos do PySpark como solução.
 

Criando um DataFrame PySpark a partir de dados do Pandas

Inicialmente vamos criar um DataFrame Pandas utilizando os mesmos dados fictícios apresentados no exemplo anterior, conforme trecho de código abaixo:

A partir dos exemplos de código acima você pode converter um DataFrame Pandas para um DataFrame PySpark e utilizar todos os recursos deste poderoso framework de sistemas distribuídos.

Não perca as próximas postagens, pois traremos muitos outros tutoriais e materiais assim bem diretos e objetivos que ajudarão a entender conceitos do PySpark ou até mesmo ajudarão a resolver problemas do dia-a-dia do seu trabalho ou de suas análises em projetos pessoais.

Até breve!


Comentários

Postar um comentário

Postagens mais visitadas deste blog

Como ler dados em formato CSV com o PySpark

Nesta postagem vamos aprender como baixar e ler dados em formato CSV utilizando o Python e PySpark Olá, entusiastas de dados! Hoje construiremos um dos primeiros códigos funcionais no PySpark. Aprenderemos nessa publicação a baixar, ler e ver informações de nossos primeiros dados em formato CSV com o PySpark. Para isso, utilizaremos uma base de dados de casos de Covid, disponibilizados no GitHub citado abaixo nas referências. No Colab você pode baixar dados diretamente para o ambiente criado e, após efetuar o download, realizar a leitura dos dados utilizando o PySpark. Ambas as etapas estão descritas no trecho de código de exemplo abaixo:
Leia mais »

Como instalar o PySpark e Jupyter Notebook

Imagem
Instalando e configurando o PySpark com Anaconda e Jupyter Notebook em seu computador com Linux e ao final apresento uma opção para executar o PySpark direto do navegador em máquinas com outros sistemas operacionais   Apache Spark Jupyter + Anaconda   Olá, entusiastas de dados! Hoje, iniciaremos nossa jornada para desvendar o poderoso framework PySpark para processamento e análise de grandes volumes de dados utilizando a linguagem de programação Python. Você já se perguntou como grandes volumes de dados podem ser processados e analisados de maneira eficiente? Bem-vindo ao fascinante universo do PySpark, uma poderosa ferramenta de computação distribuída. Prepare-se para uma jornada que transformará a maneira como você lida com dados, proporcionando insights instantâneos e impulsionando suas análises para o próximo nível. Este post é seu bilhete de entrada para o mundo do PySpark, guiando-o através de um processo descomplicado de instalação e configuração em sua máquina local.
Leia mais »

Como utilizar o PySpark no Google Colab

Imagem
Você irá descobrir neste post como rodar seus primeiros códigos PySpark direito no navegador, de maneira gratuita, sem precisar instalar nada e utilizando apenas sua conta do Google Na publicação anterior [ Como instalar o PySpark e Jupyter Notebook ] descobrimos como o PySpark pode ser instalado e configurado em seu computador pessoal com sistema operacional Linux. Embora este processo de instalação seja relativamente simples, você pode encontrar impeditivos pelo caminho, como, por exemplo, ter um sistema operacional com Windows. Diante disso, nesta publicação, vamos aprender como o PySpark pode ser utilizado direito no navegador de seu computador, tablet ou até mesmo celular, utilizando apenas sua conta do Google, tudo isso no ambiente amigável e acessível do Google Colab.
Leia mais »