Aulas e o jogo de aprendizado

Construa um banco de dados do zero

Escreva o SolDB, o histórico de uma estação meteorológica de Marte, em Python puro num Raspberry Pi, e rode-o num sensor ao vivo.

O curso

Build a database from scratch is an advanced Coding course in seven lessons. The first six run on a Raspberry Pi 4 and the boss on a Raspberry Pi 5 with an MCP3008, whose knob is the station's thermometer. Each step is checked against what the Pi prints.

  1. Registros no disco: leituras codificadas como linhas de texto e decodificadas de volta, registros de tamanho fixo que você alcança com um único seek, registros binários com struct, e o que este Pi faz com os arquivos entre uma execução e outra.
  2. Log somente de acréscimo: um armazenamento chave-valor cuja única escrita é uma linha no final. Atualizações são novos registros, exclusões são lápides, toda leitura varre o arquivo, e o log guarda todos os valores que uma chave já teve.
  3. Um índice: um dicionário de cada chave para o deslocamento em bytes do seu registro mais recente (o design do Bitcask), reconstruído a partir do log na inicialização, e os registros mortos que as atualizações deixam para trás.
  4. Queries: a full scan with a filter, range queries with sorted keys and bisect, why zero padding makes text sort like numbers, aggregates, and a tiny query language over the Serial Monitor.
  5. Compactação: copiar os registros vivos para um novo arquivo e trocá-lo com os.replace, provar que uma queda no meio não perde nada, e compactar automaticamente quando o log dobra.
  6. Segurança contra quedas: um último registro rasgado que quebra o armazenamento, recuperação que confia apenas em registros terminados em nova linha, checksums CRC-32 que pegam um bit invertido, marcadores de commit que tornam um lote tudo ou nada, e o que o fsync adiciona em um disco real.
  7. Chefe: um armazenamento de histórico de sensores: SolDB com dados ao vivo.

O gran final

A chefe registra oito leituras do botão giratório, com meio segundo de intervalo, no SolDB com checksums. Gire o botão para baixo durante o registro (uma frente fria sobre a cratera Jezero), depois converse com o armazenamento pelo Monitor Serial:

store> stats
8 readings: min -76.5, max -39.9, mean -53.6
store> crash
power cut mid-write! rebooting...
recovery: dropped 9 bytes
8 readings still here
store> keep 5
kept 5 readings, 105 bytes

crash rasga um registro no meio da escrita e reabre o armazenamento, e keep é uma política de retenção construída sobre compactação. O último passo adiciona um recurso seu: um comando de intervalo, um segundo canal, lotes ou registros binários.

O que o motor do Pi faz de diferente

O Pi roda MicroPython 1.29, não CPython, e seus arquivos ficam no navegador. Neste curso isso aparece em alguns pontos:

  • Um arquivo que o programa escreve dura apenas enquanto ele roda: toda execução começa com as abas do projeto e nada mais. Então uma queda e um reinício são encenados dentro de uma única execução, escrevendo parte de um registro e reabrindo.
  • Não há sqlite3, e esse é o ponto: você constrói o motor.
  • Os arquivos não têm truncate() e os não tem fsync. A recuperação escreve a parte boa em um novo arquivo e o renomeia sobre o antigo.
  • Um dicionário não mantém a ordem em que as chaves entraram, então toda consulta que precisa de uma ordem faz ordenação.
  • Floats imprimem com todos os dígitos: float("-65.4") aparece como -65.40000000000001, então o armazenamento formata as temperaturas com :.1f.

Todo o resto (os.replace, binascii.crc32, struct, bisect, seek binário) funciona como em um Pi de verdade, então o SolDB roda lá sem mudanças e mantém seu arquivo no cartão SD.