Lecciones y el juego de aprendizaje

Construye una base de datos desde cero

Escribe SolDB, el almacén de historial de una estación meteorológica de Marte, en Python puro en una Raspberry Pi, y ejecútalo con un sensor en vivo.

El curso

Build a database from scratch is an advanced Coding course in seven lessons. The first six run on a Raspberry Pi 4 and the boss on a Raspberry Pi 5 with an MCP3008, whose knob is the station's thermometer. Each step is checked against what the Pi prints.

  1. Registros en disco: lecturas codificadas como líneas de texto y decodificadas de vuelta, registros de tamaño fijo a los que llegas con un solo seek, registros binarios con struct, y qué hace esta Pi con los archivos entre ejecuciones.
  2. Registro de solo agregado: un almacén clave-valor cuya única escritura es una línea al final. Las actualizaciones son registros nuevos, los borrados son lápidas, cada lectura recorre todo el archivo, y el registro conserva cada valor que una clave tuvo alguna vez.
  3. Un índice: un diccionario de cada clave al desplazamiento en bytes de su registro más reciente (el diseño Bitcask), reconstruido desde el registro al iniciar, y los registros muertos que dejan atrás las actualizaciones.
  4. Queries: a full scan with a filter, range queries with sorted keys and bisect, why zero padding makes text sort like numbers, aggregates, and a tiny query language over the Serial Monitor.
  5. Compactación: copiar los registros vivos a un archivo nuevo y reemplazarlo con os.replace, demostrar que un fallo a la mitad no pierde nada, y compactar automáticamente cuando el registro se duplica.
  6. Seguridad ante fallos: un último registro dañado que rompe el almacén, una recuperación que solo confía en registros que terminan en salto de línea, sumas de verificación CRC-32 que detectan un bit invertido, marcadores de confirmación que hacen que un lote sea todo o nada, y lo que agrega fsync en un disco real.
  7. Jefe: un almacén de historial de sensores: SolDB con datos en vivo.

El gran final

El jefe registra ocho lecturas de la perilla, con medio segundo entre cada una, en SolDB con sumas de verificación. Baja la perilla mientras registra (un frente frío sobre el cráter Jezero) y luego habla con el almacén por el monitor serie:

store> stats
8 readings: min -76.5, max -39.9, mean -53.6
store> crash
power cut mid-write! rebooting...
recovery: dropped 9 bytes
8 readings still here
store> keep 5
kept 5 readings, 105 bytes

crash rompe un registro a mitad de escritura y reabre el almacén, y keep es una política de retención construida sobre compactación. El último paso agrega una función propia: un comando de rango, un segundo canal, lotes o registros binarios.

Qué hace distinto el motor de la Pi

La Pi ejecuta MicroPython 1.29, no CPython, y sus archivos viven en el navegador. Para este curso eso se nota en algunos puntos:

  • Un archivo que el programa escribe dura solo mientras se ejecuta: cada ejecución comienza con las pestañas del proyecto y nada más. Así que un fallo y un reinicio se representan dentro de una sola ejecución, escribiendo parte de un registro y reabriendo.
  • No hay sqlite3, que es la idea: tú construyes el motor.
  • Los archivos no tienen truncate() y os no tiene fsync. La recuperación escribe la parte buena en un archivo nuevo y lo renombra sobre el viejo.
  • Un diccionario no conserva el orden en que entraron las claves, así que cada consulta que necesita un orden ordena.
  • Los flotantes se imprimen con todos los dígitos: float("-65.4") se muestra como -65.40000000000001, así que el almacén formatea las temperaturas con :.1f.

Todo lo demás (os.replace, binascii.crc32, struct, bisect, seek binario) funciona como en una Pi real, así que SolDB corre ahí sin cambios y guarda su archivo en la tarjeta SD.