Cách hoạt động
Xử lý ảnh trên camera nhiệt chạy trong mỗi bài học trên camera nhiệt của thư viện: một bo mạch Arduino Uno, một cảm biến AMG8833 Grid-EYE qua I2C nhìn một lưới nhiệt độ 8x8 mười lần mỗi giây, và một màn hình màu ST7735. Linh kiện camera hiển thị cảnh quay phía trên ống kính: bấm vào một ô để di chuyển điểm nóng (một thành viên phi hành đoàn), bấm lại để đưa họ đi khỏi khung hình, và kéo các thanh trượt để chỉnh nhiệt độ của phòng và của người đó.
Mỗi bài học mở ra một sketch chạy được. Bạn chạy sketch, đọc những gì Serial Monitor in ra (khung hình dạng số, hình vẽ từ chữ, mặt nạ và nhãn), rồi đổi một dòng và chạy lại. Các bài kiểm tra đọc đầu ra serial, nên mọi con số mà bài học nêu ra đều là con số bo mạch thực sự in ra.
Các bài học
- Ảnh là các lưới: sáu mươi tư giá trị nhiệt độ lưu ở đơn vị phần tư độ trong 128 byte, đánh chỉ số theo hàng và cột, hình vẽ từ chữ được giãn tương phản, di chuyển thành viên phi hành đoàn, và lật ảnh bằng phép tính chỉ số.
- Nội suy: trộn song tuyến bằng số nguyên từ 8x8 lên đến 29x29, truyền từng điểm ảnh một vì bức ảnh 1682 byte không thể chứa vừa, thời gian vẽ, lấy điểm ảnh gần nhất cho tương phản, và đổi tỷ lệ.
- Ngưỡng: một mặt nạ phân biệt phi hành đoàn với nền, một ngưỡng cố định sẽ sai khi khoang khí nóng lên, một ngưỡng thích ứng bám theo nhiệt độ trung bình của phòng, và một phép so hiệu cũng tìm ra thành viên mặc áo giữ nhiệt lạnh.
- Blob: gán nhãn thành phần liên thông bằng thuật toán tô lan có sẵn ngăn xếp 64 byte riêng thay vì đệ quy, một khung kiểm thử với đáp số đã biết, so sánh 4 với 8 láng giềng, một bộ lọc kích thước cho các vệt nhiễu, và một blob bị cắt bởi mép khung nhìn.
- Cạnh: bộ lọc Sobel, vì sao điểm ảnh nóng nhất không có cạnh, vì sao cạnh không phụ thuộc nhiệt độ phòng, một ngưỡng cho đường viền, và lấy max cộng nửa min làm cách thay rẻ cho căn bậc hai.
- Theo dõi: ghép tâm blob với các vết theo khoảng cách, hướng di chuyển từ chuyển động, một cổng từ chối phép dịch chuyển tức thời, và sự kiên nhẫn với người tạm thời ra khỏi khung nhìn.
Trùm cuối: bộ đếm phi hành đoàn ở khoang khí
Bài học cuối cùng ghép cả quy trình lại. Camera nhìn từ trên xuống khoang khí, phía bên trái là không gian và phía bên phải là tàu, và đếm mỗi vết đi qua đường kẻ ở giữa: vào một hướng, ra hướng còn lại. Một thành viên loanh quanh trên đường kẻ bị đếm ba lần, nên bạn thêm một dải chết (trễ) và họ chỉ được đếm một lần. Sau đó bộ đếm báo cho tàu biết khi mọi người trong danh sách đã lên tàu và cửa khoang có thể đóng lại. Bài học kết thúc bằng các ý tưởng để làm cho nó thành của bạn: hai đường kẻ cho một hành lang, tổng số theo từng hướng trên màn hình, hoặc cảnh báo khi ai đó ở lại trong khoang khí quá lâu.
Những điều bo mạch Uno làm khác
- 2 KB RAM là toàn bộ ngân sách: biến, đệm của thư viện và ngăn xếp. Một khung 8x8 kiểu
int16_tlà 128 byte; một ảnh nội suy 29x29 sẽ là 1682 byte, nên khóa học truyền nó thay vì lưu trữ. - Không có phần cứng xử lý số thực, nên nhiệt độ giữ nguyên đơn vị của cảm biến, phần tư độ, và vị trí tính bằng phần trăm của một điểm ảnh. Số thực chỉ xuất hiện dạng chữ để người đọc.
- Đệ quy nguy hiểm trên ngăn xếp 2 KB, nên thuật toán tô lan tự giữ một ngăn xếp nhỏ các điểm ảnh cần thăm.
- Màn hình là phần chậm nhất: vẽ trọn một khung 29x29 mất khoảng một giây, nên các sketch chỉ vẽ lại phần thay đổi.
- Mạch trong thư viện dùng một Uno với màn hình ST7735. Các chip nhanh hơn với nhiều RAM hơn (chẳng hạn ESP32 và màn hình ILI9341 lớn hơn) chạy cùng quy trình mà vẫn dư sức; các ý tưởng không đổi.
- Camera mô phỏng không có nhiễu giữa các khung hình. Một AMG8833 thật dao động khoảng một độ, chính vì vậy cần có bộ lọc kích thước, cổng từ chối và dải chết.
Sau khóa học này
Next is Học máy trên vi điều khiển, nơi các tính năng như kích thước và vị trí của blob trở thành đầu vào cho một mô hình, hoặc Fixed-point and integer math for the number tricks this course leans on.