Pelajaran dan game belajarnya

Membuat database dari nol

Tulis SolDB, penyimpan riwayat dari stasiun cuaca Mars, dengan Python murni di Raspberry Pi, dan jalankan di sensor live.

Kursusnya

Build a database from scratch is an advanced Coding course in seven lessons. The first six run on a Raspberry Pi 4 and the boss on a Raspberry Pi 5 with an MCP3008, whose knob is the station's thermometer. Each step is checked against what the Pi prints.

  1. Record di disk: pembacaan yang dienkode sebagai baris teks dan didekode kembali, record berukuran tetap yang bisa kamu jangkau dengan satu seek, record biner dengan struct, dan apa yang Pi ini lakukan pada file di antara Run.
  2. Log append-only: key-value store yang satu-satunya operasi tulisnya adalah satu baris di akhir. Update adalah record baru, hapus adalah tombstone, setiap baca memindai seluruh file, dan log menyimpan semua nilai yang pernah dimiliki sebuah key.
  3. Sebuah indeks: dict dari setiap key ke byte offset record terbarunya (desain Bitcask), dibangun ulang dari log saat mulai, dan record mati yang ditinggalkan oleh update.
  4. Queries: a full scan with a filter, range queries with sorted keys and bisect, why zero padding makes text sort like numbers, aggregates, and a tiny query language over the Serial Monitor.
  5. Compaction: salin record hidup ke file baru dan tukar dengan os.replace, buktikan bahwa crash di tengah jalan tidak kehilangan apa pun, dan lakukan compaction otomatis saat log terlipat dua.
  6. Keamanan crash: record terakhir yang terputus dan merusak store, pemulihan yang hanya percaya record yang diakhiri newline, checksum CRC-32 yang menangkap satu bit berubah, commit marker yang membuat batch jadi all or nothing, dan apa yang ditambahkan fsync di disk sungguhan.
  7. Boss: penyimpan riwayat sensor: SolDB di data langsung.

Babak final

Boss mencatat delapan pembacaan dari knob, setiap setengah detik, ke SolDB dengan checksum. Putar knob turun saat mencatat (front dingin di kawah Jezero), lalu bicara dengan store lewat Serial Monitor:

store> stats
8 readings: min -76.5, max -39.9, mean -53.6
store> crash
power cut mid-write! rebooting...
recovery: dropped 9 bytes
8 readings still here
store> keep 5
kept 5 readings, 105 bytes

crash merobek record di tengah penulisan dan membuka kembali store, dan keep adalah kebijakan retensi yang dibangun di atas compaction. Langkah terakhir menambahkan fiturmu sendiri: perintah rentang, channel kedua, batch atau record biner.

Apa yang berbeda di engine Pi

Pi menjalankan MicroPython 1.29, bukan CPython, dan file-filenya hidup di browser. Untuk kursus ini hal itu terlihat di beberapa tempat:

  • File yang ditulis program hanya bertahan selama program berjalan: setiap Run dimulai dengan tab proyek dan tidak ada yang lain. Jadi crash dan reboot diperankan di dalam satu Run, dengan menulis sebagian record lalu membuka kembali.
  • Tidak ada sqlite3, dan justru itu intinya: kamulah yang membangun engine-nya.
  • File tidak punya truncate() dan os tidak punya fsync. Pemulihan menulis bagian yang baik ke file baru lalu mengganti nama file lama dengannya.
  • Dict tidak menyimpan urutan masuknya key, jadi setiap query yang butuh urutan melakukan sortir.
  • Float dicetak dengan semua digitnya: float("-65.4") tampil sebagai -65.40000000000001, jadi store memformat suhu dengan :.1f.

Semua yang lain (os.replace, binascii.crc32, struct, bisect, binary seek) bekerja seperti di Pi sungguhan, jadi SolDB berjalan di sana tanpa perubahan dan menyimpan file-nya di kartu SD.