Aulas e o jogo de aprendizado

Análise de dados com Python puro

Faça à mão o que o pandas faz, no registro de uma bóia oceânica: carregue, limpe, descreva, agrupe, faça gráficos e calcule correlações usando só a biblioteca padrão do Python.

O curso

Análise de dados com Python puro é um curso intermediário de Programação em sete aulas num Raspberry Pi 4. Os dados são da Bóia K7, uma bóia meteorológica na costa: um mês de temperatura diária do mar, altura das ondas e vento numa aba buoy.csv ao lado do main.py, e depois um ano inteiro de leituras semanais em year.csv. Cada passo é conferido com o que o Pi imprime, e todo número das aulas é um número que o programa realmente imprime.

  1. Carregando dados: linhas, depois linhas com csv.reader, números com int() e float(), o ValueError que uma célula vazia causa e como sobreviver a ele, linhas por nome de coluna com csv.DictReader, e min e max pegando o valor sentinela 999.0 da bóia.
  2. Limpeza: espaços sobrando e minúsculas, vazios virando None, checagens de intervalo que pegam sentinelas, um dia repetido descartado, um arquivo limpo escrito com csv.writer, e o limpador movido para seu próprio módulo buoy.py.
  3. statistics: média contra mediana e por que uma tempestade as separa, stdev contra pstdev (n - 1 e amostras), escores z que marcam o dia 17, e uma tabela de resumo alinhada com larguras de f-string.
  4. Agrupando com Counter: collections.Counter e most_common, participações impressas como porcentagens, ondas classificadas na escala Douglas de mar, uma média de ondas por direção do vento, e dias de vento por semana.
  5. Gráficos de texto: gráficos de barras com "#" * n, barras escaladas para uma largura, um histograma de alturas de onda, uma série temporal girada de lado, e sparklines que cabem um mês numa linha.
  6. Correlação: um gráfico de dispersão em texto, covariância, o r de Pearson escrito a partir de sua definição, a ressurgência que faz um dia de vento esfriar o mar no dia seguinte, e o que uma leitura ruim faz com o r.
  7. Projeto: um ano de clima no oceano: o grand finale.

O gran final

O projeto roda o curso inteiro em 52 semanas da Bóia K7. Ele carrega e limpa o ano (três lacunas, uma delas uma sentinela), compara as quatro estações (a primavera é a mais ventosa e tem o mar mais frio, a 10.9 C), traça gráficos da temperatura do mar em blocos de quatro semanas, correlaciona vento, ondas, mar e chuva, e acha os recordes, até um período seco de 20 semanas no verão.

Depois os dados ficam ao vivo. O botão no GPIO2 é um pluviômetro de báscula, do tipo que bóias reais carregam: uma balançinha que tomba a cada 0.2 mm de chuva e fecha um interruptor. Um Button do gpiozero com bounce_time conta os toques, e o LED no GPIO17 é uma lâmpada de tempestade que acende quando a chuva do dia passa um dia chuvoso médio de semana, um limiar calculado a partir dos próprios dados do ano (3.31 mm, então a lâmpada acende no toque 17).

O que o motor do Pi faz de diferente

O Pi roda MicroPython 1.29, não CPython, com uma biblioteca padrão no estilo do CPython. Neste curso isso aparece em alguns pontos:

  • Não há numpy nem pandas, e é essa a ideia: csv, statistics e collections estão todos aqui.
  • statistics tem mean, fmean, median, mode, variance, stdev e pstdev, mas não tem correlation (o CPython o adicionou na 3.10), então o curso escreve o r de Pearson por conta própria.
  • Um dict não guarda a ordem em que as chaves entraram, então toda tabela imprime numa ordem que o programa escolhe (uma tupla de nomes, sorted, ou um range).
  • str.ljust e str.rjust não existem; larguras de f-string como {name:<6} e {value:>7.2f} alinham colunas nos dois motores.
  • int("") para com ValueError: invalid syntax for integer with base 10, com texto diferente do CPython mas a mesma exceção.
  • Um arquivo que o programa escreve, como clean.csv, dura enquanto o programa roda, já que o Pi do canvas não tem cartão SD.