Como funciona
Processamento de imagem em uma câmera térmica acontece em todas as aulas na câmera térmica da galeria: um Arduino Uno, um AMG8833 Grid-EYE em I2C que enxerga uma grade de temperaturas de 8x8 dez vezes por segundo, e uma tela colorida ST7735. O componente da câmera mostra sua cena acima da lente: clique em um quadrado para mover o ponto quente (um tripulante), clique de novo para tirá-lo, e arraste os controles deslizantes para as temperaturas da sala e da pessoa.
Cada aula abre um sketch funcionando. Você roda, lê o que o monitor serial imprime (o quadro como números, arte em texto, máscaras e rótulos), depois muda uma linha e roda de novo. As verificações leem a saída serial, então todo número que uma aula cita é um número que a placa realmente imprimiu.
As aulas
- Imagens como grades: sessenta e quatro temperaturas guardadas como quartos de grau em 128 bytes, índice contra linha e coluna, arte em texto com contraste esticado, mover o tripulante e espelhar a imagem com aritmética de índices.
- Interpolação: mistura bilinear em números inteiros de 8x8 até 29x29, transmitida um pixel por vez porque a imagem de 1682 bytes não caberia, o tempo de pintura, vizinho mais próximo para contraste, e mudar a escala.
- Limiares: uma máscara de tripulantes e fundo, um limiar fixo que quebra quando a comporta esquenta, um adaptativo que segue a média da sala, e um teste de diferença que também encontra um tripulante de roupa fria.
- Blobs: rotulação de componentes conectados com um flood fill que mantém sua própria pilha de 64 bytes em vez de recursão, um quadro de teste com resposta conhecida, 4 contra 8 vizinhos, um filtro de tamanho para pontinhos, e um blob cortado pela borda do campo de visão.
- Bordas: o filtro de Sobel, por que o pixel mais quente não tem borda, por que as bordas ignoram a temperatura da sala, um limiar de contorno, e máximo mais metade do mínimo como substituto barato de uma raiz quadrada.
- Rastreamento: centros de blobs pareados com trilhas por distância, uma direção a partir do movimento, um portão que recusa um teletransporte, e paciência para quem sai do campo de visão.
O chefe: um contador de tripulantes na comporta
A última aula junta todo o pipeline. A câmera olha para baixo, para a comporta, com o espaço à esquerda e a nave à direita, e conta cada trilha que cruza a linha no meio: entra de um lado, sai do outro. Um tripulante que vacilar na linha é contado três vezes, então você adiciona uma banda morta (histerese) e ele conta uma vez só. Depois o contador avisa a nave quando todo mundo da lista está a bordo e a escotilha pode fechar. Termina com ideias para deixar do seu jeito: duas linhas para um corredor, totais por direção na tela, ou um aviso quando alguém fica demais na comporta.
O que o Uno faz de diferente
- 2 KB de RAM é todo o orçamento: variáveis, buffers de bibliotecas e a pilha. Um quadro de 8x8 de
int16_tsão 128 bytes; uma imagem interpolada de 29x29 seriam 1682, então o curso a transmite em vez de guardar. - Não há hardware de ponto flutuante, então as temperaturas ficam na própria unidade do sensor, quartos de grau, e as posições em centésimos de pixel. Números de ponto flutuante só aparecem como texto para as pessoas lerem.
- Recursão é perigosa em uma pilha de 2 KB, então o flood fill mantém sua própria pilha pequena de pixels a visitar.
- A tela é a parte lenta: uma pintura completa de 29x29 leva cerca de um segundo, então os sketches repintam só o que mudou.
- O circuito da galeria é um Uno com um ST7735. Chips mais rápidos com mais RAM (um ESP32 e uma tela ILI9341 maior, por exemplo) rodam o mesmo pipeline com folga; as ideias não mudam.
- A câmera simulada não tem ruído entre quadros. Um AMG8833 real oscila cerca de um grau, e é para isso que servem o filtro de tamanho, o gate e a banda morta.
Depois deste curso
Next is Machine learning em um microcontrolador, onde características como tamanho e posição de blobs viram entradas de um modelo, ou Fixed-point and integer math for the number tricks this course leans on.