Dersler ve öğrenme oyunu

Sıfırdan bir veritabanı oluştur

Bir Mars hava istasyonunun geçmiş deposu olan SolDB'yi Raspberry Pi üzerinde saf Python ile yaz ve canlı bir sensörde çalıştır.

Kurs

Build a database from scratch is an advanced Coding course in seven lessons. The first six run on a Raspberry Pi 4 and the boss on a Raspberry Pi 5 with an MCP3008, whose knob is the station's thermometer. Each step is checked against what the Pi prints.

  1. Diskte kayıtlar: metin satırları olarak kodlanan ve geri çözülen okumalar, tek bir seek ile erişebileceğin sabit boyutlu kayıtlar, struct ile ikili kayıtlar ve bu Pi'nin Çalıştırmalar arasında dosyalarla ne yaptığı.
  2. Yalnızca ekleme günlüğü: tek yazma işlemi sona bir satır eklemek olan bir anahtar-değer deposu. Güncellemeler yeni kayıtlardır, silmeler mezar taşlarıdır, her okuma dosyayı baştan tarar ve günlük bir anahtarın hiç sahip olduğu her değeri saklar.
  3. Bir dizin: her anahtardan en yeni kaydının bayt konumuna bir sözlük (Bitcask tasarımı), açılışta günlükten yeniden kurulur; güncellemelerin geride bıraktığı ölü kayıtlar da var.
  4. Queries: a full scan with a filter, range queries with sorted keys and bisect, why zero padding makes text sort like numbers, aggregates, and a tiny query language over the Serial Monitor.
  5. Sıkıştırma: canlı kayıtları yeni bir dosyaya kopyala ve os.replace ile yerine koy, yarısında kalınan bir çöküşün hiçbir şey kaybetmediğini kanıtla ve günlük iki katına çıktığında otomatik sıkıştır.
  6. Çöküş güvenliği: depoyu bozan yırtılmış son kayıt, yalnızca yeni satırla biten kayıtlara güvenen kurtarma, ters çevrilen bir biti yakalayan CRC-32 sağlama toplamları, bir grubu ya hep ya hiç yapan işleme işaretleri ve gerçek bir diskte fsync'in ne eklediği.
  7. Patron: bir sensör geçmişi deposu: canlı veriyle SolDB.

Final

Patron, düğme kumandasından sekiz okumayı, yarım saniye arayla, sağlama toplamlarıyla SolDB'ye kaydeder. Kaydederken kumandayı aşağı çevir (Jezero krateri üzerinde bir soğuk cephe), sonra depoyla Seri Monitör üzerinden konuş:

store> stats
8 readings: min -76.5, max -39.9, mean -53.6
store> crash
power cut mid-write! rebooting...
recovery: dropped 9 bytes
8 readings still here
store> keep 5
kept 5 readings, 105 bytes

crash bir kaydı yazım ortasında yırtar ve depoyu yeniden açar, keep ise sıkıştırmaya dayanan bir saklama ilkesidir. Son adım kendi özelliğini ekler: bir aralık komutu, ikinci bir kanal, gruplar veya ikili kayıtlar.

Pi'nin motoru neyi farklı yapar

Pi, CPython değil MicroPython 1.29 çalıştırır ve dosyaları tarayıcıda yaşar. Bu kurs için bu birkaç yerde kendini gösterir:

  • Programın yazdığı bir dosya yalnızca çalıştığı sürece kalır: her Çalıştır, projenin sekmeleriyle ve başka hiçbir şeyle başlar. Yani bir çöküş ve yeniden başlatma, tek bir Çalıştırın içinde canlandırılır: bir kaydın bir kısmını yazıp yeniden açarak.
  • sqlite3 yok, asıl mesele de bu: motoru sen inşa edersin.
  • Dosyalarda truncate() yoktur ve os içinde fsync yoktur. Kurtarma, iyi kısmı yeni bir dosyaya yazar ve eskinin üzerine yeniden adlandırır.
  • Bir sözlük anahtarların giriş sırasını tutmaz, bu yüzden sıraya ihtiyaç duyan her sorgu sıralar.
  • Float'lar her basamağıyla yazdırılır: float("-65.4") -65.40000000000001 olarak görünür, bu yüzden depo sıcaklıkları :.1f ile biçimlendirir.

Geri kalan her şey (os.replace, binascii.crc32, struct, bisect, ikili seek) gerçek bir Pi'deki gibi çalışır, yani SolDB orada değişmeden çalışır ve dosyasını SD kartta tutar.