Khóa học
Phân tích dữ liệu bằng Python thuần là một khóa Coding trình độ trung cấp gồm bảy bài học trên Raspberry Pi 4. Dữ liệu là Phao K7, một phao thời tiết ngoài khơi: một tháng nhiệt độ nước biển, độ cao sóng và gió hằng ngày trong tab buoy.csv bên cạnh main.py, sau đó là cả một năm số đo hằng tuần trong year.csv. Mỗi bước đều được kiểm tra với những gì Pi in ra, và mọi con số trong bài học đều là con số chương trình thực sự in ra.
- Tải dữ liệu: các dòng, rồi các hàng với
csv.reader, các số vớiint()vàfloat(), lỗiValueErrordo ô trống gây ra và cách xử lý, các hàng theo tên cột vớicsv.DictReader, và min, max bắt giá trị sentinel 999.0 mà phao dùng làm mốc báo hiệu. - Làm sạch dữ liệu: khoảng trắng thừa và chữ thường, ô trống đổi thành
None, kiểm tra khoảng giá trị để bắt các giá trị sentinel, một ngày trùng lặp bị loại, ghi file sạch bằngcsv.writer, và chuyển phần làm sạch vào module riêngbuoy.py. - statistics: trung bình so với trung vị và vì sao một cơn bão làm hai giá trị lệch nhau,
stdevso vớipstdev(n - 1 và mẫu), z-score đánh dấu ngày 17, và bảng tổng hợp thẳng hàng nhờ độ rộng f-string. - Nhóm dữ liệu với Counter:
collections.Countervàmost_common, tỷ lệ in dưới dạng phần trăm, sóng chia thang biển Douglas, độ cao sóng trung bình theo hướng gió, và số ngày gió mỗi tuần. - Biểu đồ bằng chữ: biểu đồ cột từ
"#" * n, cột co giãn theo độ rộng, biểu đồ tần suất của độ cao sóng, chuỗi thời gian xoay ngang lại, và sparkline gói cả tháng trong một dòng. - Tương quan: đồ thị phân tán bằng chữ, hiệp phương sai, hệ số r của Pearson viết ngay từ định nghĩa, hiện tượng nước trồi khiến ngày gió lớn làm biển mát vào ngày hôm sau, và một số đo sai ảnh hưởng thế nào tới r.
- Dự án: một năm thời tiết ngoài khơi: bài tổng kết.
Hồi kết
Dự án áp dụng cả khóa học vào 52 tuần dữ liệu của Phao K7. Nó tải và làm sạch dữ liệu cả năm (ba khoảng trống, một trong đó là giá trị sentinel), so sánh bốn mùa (mùa xuân nhiều gió nhất và có biển lạnh nhất, 10.9 độ C), vẽ biểu đồ nhiệt độ nước biển theo khối bốn tuần, tính tương quan giữa gió, sóng, biển và mưa, và tìm các kỷ lục, tới cả đợt hạn 20 tuần vào mùa hè.
Sau đó dữ liệu trở thành thời gian thực. Nút nhấn trên GPIO2 là một thùng đo mưa kiểu seesaw, loại mà phao thật vẫn dùng: một đòn bẩy nhỏ đổ mỗi khi mưa đủ 0.2 mm và đóng một công tắc. Một Button của gpiozero với bounce_time đếm số lần đổ, và LED trên GPIO17 là đèn báo bão, sáng khi lượng mưa hôm nay vượt mức của một ngày mưa trung bình trong tuần ướt, một ngưỡng tính từ chính dữ liệu cả năm (3.31 mm, nên đèn sáng ở lần đổ thứ 17).
Engine của Pi làm khác ở chỗ nào
Pi chạy MicroPython 1.29, không phải CPython, với thư viện chuẩn kiểu CPython. Với khóa học này, điều đó thể hiện ở vài chỗ:
- Không có numpy hay pandas, và đó chính là ý tưởng:
csv,statisticsvàcollectionsđều có sẵn ở đây. statisticscómean,fmean,median,mode,variance,stdevvàpstdev, nhưng không cócorrelation(CPython thêm nó vào từ 3.10), nên khóa học tự viết hệ số r của Pearson.- Dict không giữ thứ tự các khóa khi thêm vào, nên mọi bảng in theo thứ tự chương trình tự chọn (một tuple tên,
sorted, hoặc mộtrange). str.ljustvàstr.rjustbị thiếu; độ rộng f-string như{name:<6}và{value:>7.2f}căn cột được trên cả hai engine.int("")dừng vớiValueError: invalid syntax for integer with base 10, diễn đạt khác CPython nhưng cùng một loại ngoại lệ.- Tệp mà chương trình ghi ra, chẳng hạn
clean.csv, chỉ tồn tại trong lúc chương trình chạy, vì Pi trên khung vẽ không có thẻ SD.