Dersler ve öğrenme oyunu

Saf Python ile veri analizi

Pandas'ın yaptığını bir okyanus şamandırasının kayıtları üzerinde elle yap: yükle, temizle, betimle, grupla, grafik çiz ve yalnızca Python'un standart kütüphanesiyle ilişkilendir.

Kurs

Saf Python ile veri analizi, Raspberry Pi 4 üzerinde yedi dersten oluşan orta seviye bir Kodlama kursudur. Veri, kıyı açığındaki bir hava şamandırası olan K7 Şamandırası'dır: bir aylık günlük deniz sıcaklığı, dalga yüksekliği ve rüzgâr verisi main.py'nin yanındaki buoy.csv sekmesinde, sonra bir yılın tamamına ait haftalık ölçümler year.csv dosyasındadır. Her adım Pi'nin yazdırdıklarıyla kontrol edilir ve derslerdeki her sayı, programın gerçekten yazdırdığı bir sayıdır.

  1. Veri yükleme: satırlar, sonra csv.reader ile satırlar, int() ve float() ile sayılar, boş bir hücrenin yol açtığı ValueError ve ondan kurtulmanın yolu, csv.DictReader ile sütun adına göre satırlar ve şamandıranın 999.0 sentinel değerini yakalayan min ve max.
  2. Temizleme: başıboş boşluklar ve küçük harfler, boşlukların None'a dönüştürülmesi, sentinel değerleri yakalayan aralık kontrolleri, atılan tekrarlanan bir gün, csv.writer ile yazılan temiz bir dosya ve temizleyicinin kendi buoy.py modülüne taşınması.
  3. statistics: ortalama karşı medyan ve tek bir fırtınanın onları neden ayırdığı, stdev karşı pstdev (n - 1 ve örnekler), 17. günü işaretleyen z puanları ve f-string genişlikleriyle hizalanan bir özet tablo.
  4. Counter ile gruplama: collections.Counter ve most_common, yüzde olarak yazdırılan paylar, Douglas deniz ölçeğine göre sınıflara ayrılan dalgalar, rüzgâr yönü başına ortalama dalga ve hafta başına rüzgârlı günler.
  5. Metin grafikler: "#" * n ile çubuk grafikler, bir genişliğe ölçeklenen çubuklar, dalga yüksekliklerinin histogramı, yan çevrilmiş bir zaman serisi ve bir ayı tek satıra sığdıran sparkline'lar.
  6. Korelasyon: metin olarak bir serpme grafiği, kovaryans, tanımından yazılan Pearson r'si, rüzgârlı bir günün ertesi gün denizi soğutan upwelling etkisi ve tek bir hatalı ölçümün r'ye yaptığı etki.
  7. Proje: bir yılın okyanus havası: final.

Final

Proje, kursun tamamını K7 Şamandırası'nın 52 haftası üzerinde çalıştırıyor. Yılı yükler ve temizler (üç boşluk, biri sentinel), dört mevsimi karşılaştırır (bahar en rüzgârlı ve en soğuk denize sahip, 10.9 C), deniz sıcaklığını dört haftalık bloklar halinde grafikler, rüzgâr, dalga, deniz ve yağmuru ilişkilendirir ve rekorları bulur, 20 haftalık yaz kuraklığına kadar.

Sonra veri canlıya geçiyor. GPIO2'deki buton bir devirme kovalı yağmur ölçeri, gerçek şamandıraların taşıdığı türden: her 0.2 mm yağmurda bir deviren ve bir anahtar kapatan küçük bir tahterevalli. bounce_time ile bir gpiozero Button devirmeleri sayar ve GPIO17'deki LED, günün yağışı ortalama ıslak bir hafta gününü geçtiğinde yanan bir fırtına lambasıdır; bu eşik, yılın kendi verisinden hesaplanır (3.31 mm, yani lamba 17. devirmede yanar).

Pi'nin motoru neyi farklı yapar

Pi, CPython değil MicroPython 1.29 çalıştırıyor, CPython tarzı bir standart kütüphane ile. Bu kurs için bu, birkaç yerde kendini gösteriyor:

  • numpy ya da pandas yok, ama mesele zaten bu: csv, statistics ve collections hepsi burada.
  • statistics modülünde mean, fmean, median, mode, variance, stdev ve pstdev var ama correlation yok (CPython bunu 3.10'da ekledi), bu yüzden kurs Pearson r değerini kendisi hesaplıyor.
  • Bir dict, anahtarların girme sırasını korumaz, bu yüzden her tablo programın seçtiği bir sırayla yazdırılır (bir isim demeti, sorted ya da bir range).
  • str.ljust ve str.rjust eksik; {name:<6} ve {value:>7.2f} gibi f-string genişlikleri sütunları iki motorda da hizalar.
  • int(""), ValueError: invalid syntax for integer with base 10 ile durur, CPython'dan farklı ifade edilmiş ama aynı istisna.
  • Programın yazdığı bir dosya, örneğin clean.csv, program çalışırken kalıcıdır, çünkü tuvaldeki Pi'nin SD kartı yok.