Dersler ve öğrenme oyunu

Bir termal kamerada görüntü işleme

Ham sensör verilerinden gerçek bilgisayarla görü, 2 KB RAM'li bir Uno üzerinde C ile, uzay gemisi hava kilidi için bir mürettebat sayacıyla biten.

Nasıl çalışır

Termal kamerada görüntü işleme her derste galerinin termal kamerasında çalışır: bir Arduino Uno, I2C üzerinde saniyede on kez 8x8'lik bir sıcaklık ızgarası gören bir AMG8833 Grid-EYE ve bir ST7735 renkli ekran. Kamera parçası sahnesini merceğin üzerinde gösterir: sıcak noktayı (bir mürettebat üyesini) taşımak için bir kareye tıkla, kaldırmak için tekrar tıkla, odanın ve kişinin sıcaklıkları için sürgüleri sürükle.

Her ders çalışan bir kodla açılır. Çalıştırırsın, seri monitörün yazdıklarını okursun (sayılar olarak kare, metin sanatı, maskeler ve etiketler), sonra bir satırı değiştirip yeniden çalıştırırsın. Kontroller seri çıktıyı okur, yani bir dersin verdiği her sayı kartın gerçekten yazdırdığı bir sayıdır.

Dersler

  1. Izgara olarak görüntüler: 128 baytta çeyrek derece olarak tutulan altmış dört sıcaklık, satır ve sütuna karşı indeks, kontrastı gerilmiş metin sanatı, mürettebat üyesini taşımak ve indeks aritmetiğiyle resmi aynalamak.
  2. Enterpolasyon: 8x8'den 29x29'a tam sayılarla çift doğrusal harmanlama, 1682 baytluk resim sığmayacağı için piksel piksel akıtma, boya süresi, kontrast için en yakın piksel ve ölçeği değiştirmek.
  3. Eşikler: mürettebat ve arka plan maskesi, hava kilidi ısındığında bozulan sabit bir eşik, odanın ortalamasını izleyen uyarlanabilir bir eşik ve soğuk giysi içindeki mürettebat üyesini de bulan bir fark testi.
  4. Bloblar: kendi 64 baytlık yığınını tutup özyineleme yapmayan bir flood fill ile bağlı bileşen etiketleme, cevabı bilinen bir test karesi, 4 ile 8 komşu karşılaştırması, noktacıklar için boyut filtresi ve görüş alanının kenarıyla kesilen bir blob.
  5. Kenarlar: Sobel filtresi, en sıcak pikselin neden kenarı olmadığı, kenarların oda sıcaklığını neden yok saydığı, bir kontur eşiği ve karekökün ucuz bir yerine geçen maksimum artı minimumun yarısı.
  6. İzleme: mesafeye göre izlere eşlenen blop merkezleri, hareketten bir yön, ışınlanmayı reddeden bir kapı ve görüşten çıkan biri için sabır.

Patron: bir hava kilidi mürettebat sayacı

Son ders tüm hattı bir araya getirir. Kamera hava kilidine yukarıdan bakar, solda uzay, sağda gemi ve ortadaki çizgiyi geçen her izi sayar: bir yönden girilir, diğerinden çıkılır. Çizgide duraksayan bir mürettebat üyesi üç kez sayılır, bu yüzden bir ölü bölge (histerezis) eklersin ve bir kez sayılır. Sonra sayaç, listedeki herkes gemideyken ve kapak kapanabilirken gemiye bildirir. Kendine göre yapmak için fikirlerle biter: bir koridor için iki çizgi, ekranda yön başına toplamlar ya da biri hava kilidinde fazla kaldığında bir uyarı.

Uno'nun farklı yaptığı şeyler

  • 2 KB RAM bütün bütçedir: değişkenler, kütüphane tamponları ve yığın. Bir 8x8'lik int16_t karesi 128 bayttır; 29x29'luk enterpolasyonlu resim 1682 olur, bu yüzden kurs onu depolamak yerine akıtır.
  • Float donanımı yoktur, yani sıcaklıklar sensörün kendi biriminde (çeyrek derece), konumlar ise pikselin yüzde biriminde kalır. Floatlar yalnızca insanların okuması için metin olarak görünür.
  • 2 KB'lık yığında özyineleme tehlikelidir, bu yüzden dolgu boyama algoritması ziyaret edilecek pikseller için kendi küçük yığınını tutar.
  • Ekran yavaş kısımdır: tam bir 29x29 boya yaklaşık bir saniye sürer, bu yüzden kodlar yalnızca değişen kısmı yeniden boyar.
  • Galeri devresi ST7735'lü bir Uno'dur. Daha çok RAM'i daha hızlı çipler (örneğin bir ESP32 ve daha büyük bir ILI9341 ekran) aynı hattı rahatça çalıştırır; fikirler değişmez.
  • Simüle edilmiş kamerada kareler arası gürültü yoktur. Gerçek bir AMG8833 yaklaşık bir derece salınır; boyut filtresi, kapı ve ölü bölge tam bunun içindir.

Bu kurstan sonra

Next is Mikrodenetleyicide makine öğrenmesi, blop boyutu ve konum gibi özelliklerin bir modele girdi olduğu yerde, ya da Fixed-point and integer math for the number tricks this course leans on.