Kursusnya
Build a database from scratch is an advanced Coding course in seven lessons. The first six run on a Raspberry Pi 4 and the boss on a Raspberry Pi 5 with an MCP3008, whose knob is the station's thermometer. Each step is checked against what the Pi prints.
- Record di disk: pembacaan yang dienkode sebagai baris teks dan didekode kembali, record berukuran tetap yang bisa kamu jangkau dengan satu
seek, record biner denganstruct, dan apa yang Pi ini lakukan pada file di antara Run. - Log append-only: key-value store yang satu-satunya operasi tulisnya adalah satu baris di akhir. Update adalah record baru, hapus adalah tombstone, setiap baca memindai seluruh file, dan log menyimpan semua nilai yang pernah dimiliki sebuah key.
- Sebuah indeks: dict dari setiap key ke byte offset record terbarunya (desain Bitcask), dibangun ulang dari log saat mulai, dan record mati yang ditinggalkan oleh update.
- Queries: a full scan with a filter, range queries with sorted keys
and
bisect, why zero padding makes text sort like numbers, aggregates, and a tiny query language over the Serial Monitor. - Compaction: salin record hidup ke file baru dan tukar dengan
os.replace, buktikan bahwa crash di tengah jalan tidak kehilangan apa pun, dan lakukan compaction otomatis saat log terlipat dua. - Keamanan crash: record terakhir yang terputus dan merusak store, pemulihan yang hanya percaya record yang diakhiri newline, checksum CRC-32 yang menangkap satu bit berubah, commit marker yang membuat batch jadi all or nothing, dan apa yang ditambahkan fsync di disk sungguhan.
- Boss: penyimpan riwayat sensor: SolDB di data langsung.
Babak final
Boss mencatat delapan pembacaan dari knob, setiap setengah detik, ke SolDB dengan checksum. Putar knob turun saat mencatat (front dingin di kawah Jezero), lalu bicara dengan store lewat Serial Monitor:
store> stats
8 readings: min -76.5, max -39.9, mean -53.6
store> crash
power cut mid-write! rebooting...
recovery: dropped 9 bytes
8 readings still here
store> keep 5
kept 5 readings, 105 bytes
crash merobek record di tengah penulisan dan membuka kembali store, dan keep adalah kebijakan retensi yang dibangun di atas compaction. Langkah terakhir menambahkan fiturmu sendiri: perintah rentang, channel kedua, batch atau record biner.
Apa yang berbeda di engine Pi
Pi menjalankan MicroPython 1.29, bukan CPython, dan file-filenya hidup di browser. Untuk kursus ini hal itu terlihat di beberapa tempat:
- File yang ditulis program hanya bertahan selama program berjalan: setiap Run dimulai dengan tab proyek dan tidak ada yang lain. Jadi crash dan reboot diperankan di dalam satu Run, dengan menulis sebagian record lalu membuka kembali.
- Tidak ada
sqlite3, dan justru itu intinya: kamulah yang membangun engine-nya. - File tidak punya
truncate()danostidak punyafsync. Pemulihan menulis bagian yang baik ke file baru lalu mengganti nama file lama dengannya. - Dict tidak menyimpan urutan masuknya key, jadi setiap query yang butuh urutan melakukan sortir.
- Float dicetak dengan semua digitnya:
float("-65.4")tampil sebagai -65.40000000000001, jadi store memformat suhu dengan:.1f.
Semua yang lain (os.replace, binascii.crc32, struct, bisect, binary seek) bekerja seperti di Pi sungguhan, jadi SolDB berjalan di sana tanpa perubahan dan menyimpan file-nya di kartu SD.