Bài học và trò chơi học tập

Phân tích dữ liệu bằng Python thuần

Tự tay làm những gì pandas làm, trên nhật ký của một phao đo đại dương: nạp, làm sạch, mô tả, nhóm, vẽ biểu đồ và tính tương quan chỉ bằng thư viện chuẩn của Python.

Khóa học

Phân tích dữ liệu bằng Python thuần là một khóa Coding trình độ trung cấp gồm bảy bài học trên Raspberry Pi 4. Dữ liệu là Phao K7, một phao thời tiết ngoài khơi: một tháng nhiệt độ nước biển, độ cao sóng và gió hằng ngày trong tab buoy.csv bên cạnh main.py, sau đó là cả một năm số đo hằng tuần trong year.csv. Mỗi bước đều được kiểm tra với những gì Pi in ra, và mọi con số trong bài học đều là con số chương trình thực sự in ra.

  1. Tải dữ liệu: các dòng, rồi các hàng với csv.reader, các số với int() và float(), lỗi ValueError do ô trống gây ra và cách xử lý, các hàng theo tên cột với csv.DictReader, và min, max bắt giá trị sentinel 999.0 mà phao dùng làm mốc báo hiệu.
  2. Làm sạch dữ liệu: khoảng trắng thừa và chữ thường, ô trống đổi thành None, kiểm tra khoảng giá trị để bắt các giá trị sentinel, một ngày trùng lặp bị loại, ghi file sạch bằng csv.writer, và chuyển phần làm sạch vào module riêng buoy.py.
  3. statistics: trung bình so với trung vị và vì sao một cơn bão làm hai giá trị lệch nhau, stdev so với pstdev (n - 1 và mẫu), z-score đánh dấu ngày 17, và bảng tổng hợp thẳng hàng nhờ độ rộng f-string.
  4. Nhóm dữ liệu với Counter: collections.Counter và most_common, tỷ lệ in dưới dạng phần trăm, sóng chia thang biển Douglas, độ cao sóng trung bình theo hướng gió, và số ngày gió mỗi tuần.
  5. Biểu đồ bằng chữ: biểu đồ cột từ "#" * n, cột co giãn theo độ rộng, biểu đồ tần suất của độ cao sóng, chuỗi thời gian xoay ngang lại, và sparkline gói cả tháng trong một dòng.
  6. Tương quan: đồ thị phân tán bằng chữ, hiệp phương sai, hệ số r của Pearson viết ngay từ định nghĩa, hiện tượng nước trồi khiến ngày gió lớn làm biển mát vào ngày hôm sau, và một số đo sai ảnh hưởng thế nào tới r.
  7. Dự án: một năm thời tiết ngoài khơi: bài tổng kết.

Hồi kết

Dự án áp dụng cả khóa học vào 52 tuần dữ liệu của Phao K7. Nó tải và làm sạch dữ liệu cả năm (ba khoảng trống, một trong đó là giá trị sentinel), so sánh bốn mùa (mùa xuân nhiều gió nhất và có biển lạnh nhất, 10.9 độ C), vẽ biểu đồ nhiệt độ nước biển theo khối bốn tuần, tính tương quan giữa gió, sóng, biển và mưa, và tìm các kỷ lục, tới cả đợt hạn 20 tuần vào mùa hè.

Sau đó dữ liệu trở thành thời gian thực. Nút nhấn trên GPIO2 là một thùng đo mưa kiểu seesaw, loại mà phao thật vẫn dùng: một đòn bẩy nhỏ đổ mỗi khi mưa đủ 0.2 mm và đóng một công tắc. Một Button của gpiozero với bounce_time đếm số lần đổ, và LED trên GPIO17 là đèn báo bão, sáng khi lượng mưa hôm nay vượt mức của một ngày mưa trung bình trong tuần ướt, một ngưỡng tính từ chính dữ liệu cả năm (3.31 mm, nên đèn sáng ở lần đổ thứ 17).

Engine của Pi làm khác ở chỗ nào

Pi chạy MicroPython 1.29, không phải CPython, với thư viện chuẩn kiểu CPython. Với khóa học này, điều đó thể hiện ở vài chỗ:

  • Không có numpy hay pandas, và đó chính là ý tưởng: csv, statistics và collections đều có sẵn ở đây.
  • statistics có mean, fmean, median, mode, variance, stdev và pstdev, nhưng không có correlation (CPython thêm nó vào từ 3.10), nên khóa học tự viết hệ số r của Pearson.
  • Dict không giữ thứ tự các khóa khi thêm vào, nên mọi bảng in theo thứ tự chương trình tự chọn (một tuple tên, sorted, hoặc một range).
  • str.ljust và str.rjust bị thiếu; độ rộng f-string như {name:<6} và {value:>7.2f} căn cột được trên cả hai engine.
  • int("") dừng với ValueError: invalid syntax for integer with base 10, diễn đạt khác CPython nhưng cùng một loại ngoại lệ.
  • Tệp mà chương trình ghi ra, chẳng hạn clean.csv, chỉ tồn tại trong lúc chương trình chạy, vì Pi trên khung vẽ không có thẻ SD.