Pelajaran dan game belajarnya

Pemrosesan citra di kamera termal

Computer vision sungguhan dari kata sensor mentah, dengan C di Uno ber-RAM 2 KB, berakhir pada penghitung kru untuk pintu kedap udara pesawat luar angkasa.

Cara kerjanya

Pemrosesan citra di kamera termal menggunakan kamera termal galeri di setiap pelajaran: sebuah Arduino Uno, AMG8833 Grid-EYE lewat I2C yang melihat grid suhu 8x8 sepuluh kali per detik, dan layar warna ST7735. Komponen kamera menampilkan pemandangannya di atas lensa: klik sebuah kotak untuk memindahkan titik hangat (seorang awak), klik lagi untuk menghilangkannya, dan geser slider untuk suhu ruangan dan orangnya.

Setiap pelajaran membuka sketch yang sudah jalan. Kamu menjalankannya, membaca apa yang dicetak Serial Monitor (frame sebagai angka, teks art, mask dan label), lalu mengubah satu baris dan menjalankan lagi. Pemeriksaan membaca keluaran serial, jadi setiap angka yang dikutip pelajaran benar-benar dicetak oleh board.

Pelajarannya

  1. Citra sebagai grid: enam puluh empat suhu disimpan sebagai seperempat derajat dalam 128 byte, indeks terhadap baris dan kolom, teks art dengan peregangan kontras, memindahkan awak, dan mencerminkan gambar dengan aritmetika indeks.
  2. Interpolasi: penggabungan bilinear dalam bilangan bulat dari 8x8 hingga 29x29, dialirkan satu piksel sekali karena gambar 1682 byte tidak akan muat, waktu menggambar, piksel terdekat untuk kontras, dan mengubah skala.
  3. Ambang batas: mask awak dan latar, ambang tetap yang rusak saat airlock menghangat, ambang adaptif yang mengikuti rata-rata ruangan, dan uji selisih yang juga menemukan awak bersuhu dingin.
  4. Blob: pelabelan connected-component dengan flood fill yang memakai tumpukan 64 byte miliknya sendiri alih-alih rekursi, frame uji dengan jawaban yang diketahui, 4 lawan 8 tetangga, filter ukuran untuk bintik kecil, dan blob yang terpotong tepi pandangan.
  5. Tepi: filter Sobel, kenapa piksel terpanas tidak punya tepi, kenapa tepi mengabaikan suhu ruangan, ambang garis luar, dan maksimum ditambah setengah minimum sebagai pengganti murah akar kuadrat.
  6. Pelacakan: pusat blob dipasangkan dengan track berdasarkan jarak, arah dari gerakan, gerbang yang menolak teleportasi, dan kesabaran untuk seseorang yang keluar dari pandangan.

Tantangan akhir: penghitung awak airlock

Pelajaran terakhir menyatukan seluruh pipeline. Kamera menghadap ke bawah ke airlock, luar angkasa di kiri dan kapal di kanan, dan menghitung setiap track yang melewati garis di tengah: masuk dari satu sisi, keluar dari sisi lain. Awak yang ragu di garis bisa terhitung tiga kali, jadi kamu menambah pita mati (histeresis) dan mereka terhitung sekali. Lalu penghitung memberi tahu kapal saat semua orang dalam daftar sudah naik dan palka bisa ditutup. Ditutup dengan ide untuk membuatnya milikmu: dua garis untuk koridor, total per arah di layar, atau peringatan saat seseorang terlalu lama di airlock.

Apa yang dilakukan Uno secara berbeda

  • 2 KB RAM adalah seluruh anggaran: variabel, buffer library dan stack. Satu frame 8x8 int16_t berukuran 128 byte; gambar terinterpolasi 29x29 akan 1682, jadi kursus ini mengalirkannya alih-alih menyimpannya.
  • Tidak ada hardware float, jadi suhu tetap dalam satuan sensor itu sendiri, seperempat derajat, dan posisi dalam seperseratus piksel. Float hanya muncul sebagai teks untuk dibaca orang.
  • Rekursi berbahaya pada stack 2 KB, jadi flood fill memakai tumpukan kecil piksel sendiri untuk dikunjungi.
  • Layar adalah bagian yang lambat: menggambar penuh 29x29 memakan sekitar satu detik, jadi sketch hanya menggambar ulang yang berubah.
  • Rangkaian galeri adalah Uno dengan ST7735. Chip lebih cepat dengan RAM lebih besar (misalnya ESP32 dan layar ILI9341 lebih besar) menjalankan pipeline yang sama dengan ruang tersisa; idenya tidak berubah.
  • Kamera simulasi tidak punya derau antar-frame. AMG8833 asli bergoyang sekitar satu derajat, dan itulah gunanya filter ukuran, gerbang dan pita mati.

Setelah kursus ini

Next is Machine learning di microcontroller, di mana fitur seperti ukuran dan posisi blob menjadi masukan sebuah model, atau Fixed-point and integer math for the number tricks this course leans on.