Cómo funciona
Procesamiento de imágenes en una cámara térmica se ejecuta en todas las lecciones con la cámara térmica de la galería: un Arduino Uno, un AMG8833 Grid-EYE por I2C que ve una cuadrícula de temperaturas de 8x8 diez veces por segundo, y una pantalla a color ST7735. El componente de la cámara muestra su escena encima de la lente: haz clic en un cuadrado para mover el punto caliente (un tripulante), haz clic de nuevo para quitarlo, y arrastra los controles deslizantes para las temperaturas del cuarto y de la persona.
Cada lección abre un sketch que funciona. Lo ejecutas, lees lo que imprime el monitor serie (la imagen como números, arte en texto, máscaras y etiquetas), luego cambias una línea y vuelves a ejecutar. Las verificaciones leen la salida serie, así que cada número que cita una lección es uno que la placa realmente imprimió.
Las lecciones
- Imágenes como cuadrículas: sesenta y cuatro temperaturas guardadas como cuartos de grado en 128 bytes, índice contra fila y columna, arte en texto con contraste estirado, mover al tripulante y reflejar la imagen con aritmética de índices.
- Interpolación: mezcla bilineal con números enteros de 8x8 hasta 29x29, transmitida píxel por píxel porque la imagen de 1682 bytes no cabría, el tiempo de pintado, píxel más cercano para el contraste, y cambiar la escala.
- Umbrales: una máscara de tripulantes y fondo, un umbral fijo que falla cuando la esclusa se calienta, uno adaptativo que sigue la media del cuarto, y una prueba de diferencia que también encuentra a un tripulante con traje frío.
- Manchas (blobs): etiquetado de componentes conexas con un relleno por inundación que mantiene su propia pila de 64 bytes en lugar de usar recursión, una imagen de prueba con respuesta conocida, 4 contra 8 vecinos, un filtro de tamaño para motas, y una mancha cortada por el borde de la vista.
- Bordes: el filtro Sobel, por qué el píxel más caliente no tiene borde, por qué los bordes ignoran la temperatura del cuarto, un umbral de contorno, y el máximo más la mitad del mínimo como sustituto barato de una raíz cuadrada.
- Seguimiento: centros de manchas emparejados con trayectorias por distancia, una dirección a partir del movimiento, una compuerta que rechaza un teletransporte, y paciencia para alguien que sale de la vista.
El jefe final: un contador de tripulantes en la esclusa
La última lección une todo el procesamiento completo. La cámara mira la esclusa desde arriba, el espacio a la izquierda y la nave a la derecha, y cuenta cada trayectoria que cruza la línea del centro: entra por un lado, sale por el otro. Un tripulante que titubea en la línea se cuenta tres veces, así que agregas una banda muerta (histéresis) y se cuenta una sola vez. Luego el contador le avisa a la nave cuando todos los de la lista están a bordo y la escotilla puede cerrarse. Termina con ideas para hacerlo tuyo: dos líneas para un pasillo, totales por dirección en la pantalla, o una advertencia cuando alguien se queda demasiado tiempo en la esclusa.
Lo que el Uno hace distinto
- 2 KB de RAM es todo el presupuesto: variables, búferes de bibliotecas y la pila. Una imagen de 8x8 de
int16_tson 128 bytes; una imagen interpolada de 29x29 serían 1682, así que el curso la transmite en lugar de almacenarla. - No hay hardware de coma flotante, así que las temperaturas se quedan en la propia unidad del sensor, cuartos de grado, y las posiciones en centésimas de píxel. Los flotantes solo aparecen como texto para que las personas los lean.
- La recursión es peligrosa con una pila de 2 KB, así que el relleno por inundación mantiene su propia pila pequeña de píxeles por visitar.
- La pantalla es la parte lenta: pintar 29x29 completos toma alrededor de un segundo, así que los sketches solo repintan lo que cambió.
- El circuito de la galería es un Uno con un ST7735. Chips más rápidos con más RAM (un ESP32 y una pantalla ILI9341 más grande, por ejemplo) ejecutan el mismo procesamiento con espacio de sobra; las ideas no cambian.
- La cámara simulada no tiene ruido entre imágenes. Un AMG8833 real varía alrededor de un grado, y para eso están el filtro de tamaño, la compuerta y la banda muerta.
Después de este curso
Next is Aprendizaje automático en un microcontrolador, donde cosas como el tamaño y la posición de la mancha se convierten en entradas de un modelo, o Fixed-point and integer math for the number tricks this course leans on.