Bài học và trò chơi học tập

Xây database từ đầu

Viết SolDB, nơi lưu lịch sử của một trạm thời tiết trên Sao Hỏa, bằng Python thuần trên Raspberry Pi, và chạy nó với một cảm biến thật.

Khóa học

Build a database from scratch is an advanced Coding course in seven lessons. The first six run on a Raspberry Pi 4 and the boss on a Raspberry Pi 5 with an MCP3008, whose knob is the station's thermometer. Each step is checked against what the Pi prints.

  1. Bản ghi trên đĩa: các số đo được mã hóa thành dòng văn bản rồi giải mã lại, bản ghi kích thước cố định mà bạn có thể nhảy tới bằng một seek, bản ghi nhị phân với struct, và Pi này xử lý tệp thế nào giữa các lần Chạy.
  2. Log chỉ thêm: một kho khóa-giá trị mà thao tác ghi duy nhất là một dòng thêm vào cuối. Cập nhật là bản ghi mới, xóa là bản ghi đánh dấu xóa, mọi lần đọc quét toàn bộ tệp, và log giữ mọi giá trị mà một khóa từng có.
  3. Chỉ mục: một dict từ mỗi khóa tới vị trí byte của bản ghi mới nhất của nó (thiết kế Bitcask), được dựng lại từ log lúc khởi động, cùng những bản ghi chết mà các lần cập nhật để lại.
  4. Queries: a full scan with a filter, range queries with sorted keys and bisect, why zero padding makes text sort like numbers, aggregates, and a tiny query language over the Serial Monitor.
  5. Nén log: sao chép các bản ghi còn sống sang tệp mới rồi hoán đổi bằng os.replace, chứng minh một lỗi sập giữa chừng không mất gì, và tự động nén khi log tăng gấp đôi.
  6. An toàn khi sập: một bản ghi cuối bị xé làm hỏng kho, khôi phục chỉ tin các bản ghi kết thúc bằng dấu xuống dòng, checksum CRC-32 bắt được bit bị lật, dấu hiệu commit giúp một nhóm thao tác được thực hiện trọn vẹn hoặc bỏ hết, và fsync thêm được gì trên đĩa thật.
  7. Bài cuối: kho lịch sử cảm biến: SolDB trên dữ liệu trực tiếp.

Hồi kết

Bài cuối ghi tám số đo từ núm, cách nhau nửa giây, vào SolDB kèm checksum. Vặn núm xuống trong lúc ghi (một đợt lạnh qua hố va chạm Jezero), rồi trò chuyện với kho qua Serial Monitor:

store> stats
8 readings: min -76.5, max -39.9, mean -53.6
store> crash
power cut mid-write! rebooting...
recovery: dropped 9 bytes
8 readings still here
store> keep 5
kept 5 readings, 105 bytes

crash xé một bản ghi giữa lúc ghi và mở lại kho, còn keep là chính sách giữ dữ liệu dựng trên nén log. Bước cuối thêm một tính năng do chính bạn chọn: lệnh truy vấn khoảng, một kênh thứ hai, nhóm thao tác hoặc bản ghi nhị phân.

Engine của Pi làm khác ở chỗ nào

Pi chạy MicroPython 1.29, không phải CPython, và các tệp của nó nằm trong trình duyệt. Với khóa học này, điều đó thể hiện ở vài chỗ:

  • Tệp mà chương trình ghi chỉ tồn tại trong lúc nó chạy: mỗi lần Chạy bắt đầu với các thẻ của dự án và không có gì khác. Vì vậy lỗi sập và khởi động lại được diễn trong một lần Chạy, bằng cách ghi một phần bản ghi rồi mở lại.
  • Không có sqlite3, và đó chính là ý tưởng: bạn tự xây dựng engine.
  • Tệp không có truncate() và os không có fsync. Khôi phục ghi phần tốt sang tệp mới rồi đổi tên đè lên tệp cũ.
  • Dict không giữ thứ tự các khóa được đưa vào, nên mọi truy vấn cần thứ tự đều phải sắp xếp.
  • Số thực in ra mọi chữ số: float("-65.4") hiển thị là -65.40000000000001, nên kho định dạng nhiệt độ bằng :.1f.

Mọi thứ khác (os.replace, binascii.crc32, struct, bisect, seek nhị phân) hoạt động như trên một Pi thật, nên SolDB chạy ở đó không cần sửa gì và giữ tệp trên thẻ SD.