الدروس ولعبة التعلّم

تحليل البيانات بلغة Python الخالصة

نفّذ يدويًا ما تفعله pandas، على سجل عوّامة محيطية: حمّل، ونظّف، ووصّف، وصنّف، وارسم المخططات، واحسب الارتباطات بلا شيء سوى مكتبة Python القياسية.

الدورة

تحليل البيانات بلغة Python الخالصة دورة برمجة متوسطة المستوى في سبعة دروس على Raspberry Pi 4. البيانات هي من العوّامة K7، عوّامة طقس قبالة الساحل: شهر من قراءات يومية لدرجة حرارة البحر وارتفاع الأمواج والرياح في تبويب buoy.csv بجوار main.py، ثم سنة كاملة من القراءات الأسبوعية في year.csv. كل خطوة تُقارَن بما يطبعه Pi، وكل رقم في الدروس هو رقم يطبعه البرنامج فعلًا.

  1. تحميل البيانات: أسطر، ثم صفوف مع csv.reader، وأرقام مع int() وfloat()، وخطأ ValueError الذي تسببه الخلية الفارغة وكيف تتجاوزه، وصفوف حسب اسم العمود مع csv.DictReader، ودالتا min وmax تكشفان قيمة الحماية 999.0 الخاصة بالعوّامة.
  2. التنظيف: مسافات زائدة وحروف صغيرة، وفراغات تتحول إلى None، وفحوصات نطاق تكشف قيم الحماية، ويوم مكرر يُستبعد، وملف نظيف يُكتب باستخدام csv.writer، ثم نقل أدوات التنظيف إلى وحدة buoy.py مستقلة.
  3. statistics: المتوسط مقابل الوسيط ولماذا تفصل بينهما عاصفة واحدة، وstdev مقابل pstdev‏ (n - 1 والعينات)، ودرجات z التي تبرز اليوم 17، وجدول ملخّص محاذاً بعرض f-string.
  4. التجميع مع Counter: collections.Counter وmost_common، ونسب مطبوعة كنسب مئوية، وأمواج موزّعة على مقياس دوغلاس لحالة البحر، ومتوسط ارتفاع الموج حسب اتجاه الريح، وأيام الرياح لكل أسبوع.
  5. مخططات نصية: مخططات أعمدة من "#" * n، وأعمدة مضبوطة على عرض معين، ومدرّج تكراري لارتفاعات الأمواج، وسلسلة زمنية مستلقية على جانبها، وخطوط مصغّرة تُظهر شهرًا كاملًا في سطر واحد.
  6. الارتباط: مخطط انتشار نصي، والتباين المشترك، ومعامل بيرسون r مكتوبًا من تعريفه، والصعود البارد الذي يجعل اليوم العاصف يبرّد البحر في اليوم التالي، وأثر قراءة خاطئة واحدة على r.
  7. المشروع: سنة من طقس المحيط: الحلقة الختامية.

الخاتمة

يجمع المشروع الدورة كلها على 52 أسبوعًا من بيانات العوّامة K7. يحمّل السنة وينظفها (ثلاث فجوات، إحداها قيمة حماية)، ويقارن الفصول الأربعة (الربيع أكثرها ريحًا وأبردها بحرًا، عند 10.9 C)، ويرسم درجة حرارة البحر في مجموعات من أربعة أسابيع، ويربط الريح بالأمواج والبحر والمطر، ويجد الأرقام القياسية، وصولًا إلى صيف جاف مدته 20 أسبوعًا.

ثم تصبح البيانات حية. الزر على GPIO2 هو مقياس مطر من نوع الميزان المقلوب، النوع الذي تحمله العوّامات الحقيقية: أرجوحة صغيرة تنقلب مرة كل 0.2 mm من المطر وتغلق مفتاحًا. وكائن Button من gpiozero مع bounce_time يعدّ الانقلابات، وLED على GPIO17 هو مصباح عاصفة يضيء عندما يتجاوز مطر اليوم متوسط يوم من أسبوع ممطر، وهو حد يُحسب من بيانات السنة نفسها (3.31 mm، فيضيء المصباح عند الانقلاب 17).

ما يفعله محرك Pi بشكل مختلف

يشغّل Pi نظام MicroPython 1.29، وليس CPython، مع مكتبة قياسية على طريقة CPython. ولهذه الدورة يظهر ذلك في مواضع قليلة:

  • لا يوجد numpy أو pandas، وهذا هو المقصود: كل ما تحتاجه موجود في csv وstatistics وcollections.
  • تحتوي statistics على mean وfmean وmedian وmode وvariance وstdev وpstdev، لكنها لا تحتوي على correlation (أضافتها CPython في الإصدار 3.10)، لذا يكتب الدرس معامل ارتباط بيرسون بنفسه.
  • لا يحفظ dict ترتيب إدخال المفاتيح، لذا يُطبع كل جدول بالترتيب الذي يختاره البرنامج (سلسلة أسماء، أو sorted، أو range).
  • كلتا الدالتين str.ljust و str.rjust غير متوفرتين، لكن عروض f-string مثل {name:<6} و {value:>7.2f} تصفّ الأعمدة على كلا المحركين.
  • الدالة int("") توقف البرنامج مع ValueError: invalid syntax for integer with base 10، بصياغة مختلفة عن CPython لكنها الاستثناء نفسه.
  • الملف الذي يكتبه البرنامج، مثل clean.csv، يبقى موجودًا أثناء تشغيل البرنامج فقط، لأن Pi الموجودة على مساحة العمل لا تحتوي على بطاقة SD.