O curso
Build a database from scratch is an advanced Coding course in seven lessons. The first six run on a Raspberry Pi 4 and the boss on a Raspberry Pi 5 with an MCP3008, whose knob is the station's thermometer. Each step is checked against what the Pi prints.
- Registros no disco: leituras codificadas como linhas de texto e decodificadas de volta, registros de tamanho fixo que você alcança com um único
seek, registros binários comstruct, e o que este Pi faz com os arquivos entre uma execução e outra. - Log somente de acréscimo: um armazenamento chave-valor cuja única escrita é uma linha no final. Atualizações são novos registros, exclusões são lápides, toda leitura varre o arquivo, e o log guarda todos os valores que uma chave já teve.
- Um índice: um dicionário de cada chave para o deslocamento em bytes do seu registro mais recente (o design do Bitcask), reconstruído a partir do log na inicialização, e os registros mortos que as atualizações deixam para trás.
- Queries: a full scan with a filter, range queries with sorted keys
and
bisect, why zero padding makes text sort like numbers, aggregates, and a tiny query language over the Serial Monitor. - Compactação: copiar os registros vivos para um novo arquivo e trocá-lo com
os.replace, provar que uma queda no meio não perde nada, e compactar automaticamente quando o log dobra. - Segurança contra quedas: um último registro rasgado que quebra o armazenamento, recuperação que confia apenas em registros terminados em nova linha, checksums CRC-32 que pegam um bit invertido, marcadores de commit que tornam um lote tudo ou nada, e o que o fsync adiciona em um disco real.
- Chefe: um armazenamento de histórico de sensores: SolDB com dados ao vivo.
O gran final
A chefe registra oito leituras do botão giratório, com meio segundo de intervalo, no SolDB com checksums. Gire o botão para baixo durante o registro (uma frente fria sobre a cratera Jezero), depois converse com o armazenamento pelo Monitor Serial:
store> stats
8 readings: min -76.5, max -39.9, mean -53.6
store> crash
power cut mid-write! rebooting...
recovery: dropped 9 bytes
8 readings still here
store> keep 5
kept 5 readings, 105 bytes
crash rasga um registro no meio da escrita e reabre o armazenamento, e keep é uma política de retenção construída sobre compactação. O último passo adiciona um recurso seu: um comando de intervalo, um segundo canal, lotes ou registros binários.
O que o motor do Pi faz de diferente
O Pi roda MicroPython 1.29, não CPython, e seus arquivos ficam no navegador. Neste curso isso aparece em alguns pontos:
- Um arquivo que o programa escreve dura apenas enquanto ele roda: toda execução começa com as abas do projeto e nada mais. Então uma queda e um reinício são encenados dentro de uma única execução, escrevendo parte de um registro e reabrindo.
- Não há
sqlite3, e esse é o ponto: você constrói o motor. - Os arquivos não têm
truncate()eosnão temfsync. A recuperação escreve a parte boa em um novo arquivo e o renomeia sobre o antigo. - Um dicionário não mantém a ordem em que as chaves entraram, então toda consulta que precisa de uma ordem faz ordenação.
- Floats imprimem com todos os dígitos:
float("-65.4")aparece como -65.40000000000001, então o armazenamento formata as temperaturas com:.1f.
Todo o resto (os.replace, binascii.crc32, struct, bisect, seek binário) funciona como em um Pi de verdade, então o SolDB roda lá sem mudanças e mantém seu arquivo no cartão SD.