Aulas e o jogo de aprendizado

Processamento de imagem em uma câmera térmica

Visão computacional de verdade a partir de palavras brutas do sensor, em C num Uno com 2 KB de RAM, terminando num contador de tripulação para uma comporta de nave espacial.

Como funciona

Processamento de imagem em uma câmera térmica acontece em todas as aulas na câmera térmica da galeria: um Arduino Uno, um AMG8833 Grid-EYE em I2C que enxerga uma grade de temperaturas de 8x8 dez vezes por segundo, e uma tela colorida ST7735. O componente da câmera mostra sua cena acima da lente: clique em um quadrado para mover o ponto quente (um tripulante), clique de novo para tirá-lo, e arraste os controles deslizantes para as temperaturas da sala e da pessoa.

Cada aula abre um sketch funcionando. Você roda, lê o que o monitor serial imprime (o quadro como números, arte em texto, máscaras e rótulos), depois muda uma linha e roda de novo. As verificações leem a saída serial, então todo número que uma aula cita é um número que a placa realmente imprimiu.

As aulas

  1. Imagens como grades: sessenta e quatro temperaturas guardadas como quartos de grau em 128 bytes, índice contra linha e coluna, arte em texto com contraste esticado, mover o tripulante e espelhar a imagem com aritmética de índices.
  2. Interpolação: mistura bilinear em números inteiros de 8x8 até 29x29, transmitida um pixel por vez porque a imagem de 1682 bytes não caberia, o tempo de pintura, vizinho mais próximo para contraste, e mudar a escala.
  3. Limiares: uma máscara de tripulantes e fundo, um limiar fixo que quebra quando a comporta esquenta, um adaptativo que segue a média da sala, e um teste de diferença que também encontra um tripulante de roupa fria.
  4. Blobs: rotulação de componentes conectados com um flood fill que mantém sua própria pilha de 64 bytes em vez de recursão, um quadro de teste com resposta conhecida, 4 contra 8 vizinhos, um filtro de tamanho para pontinhos, e um blob cortado pela borda do campo de visão.
  5. Bordas: o filtro de Sobel, por que o pixel mais quente não tem borda, por que as bordas ignoram a temperatura da sala, um limiar de contorno, e máximo mais metade do mínimo como substituto barato de uma raiz quadrada.
  6. Rastreamento: centros de blobs pareados com trilhas por distância, uma direção a partir do movimento, um portão que recusa um teletransporte, e paciência para quem sai do campo de visão.

O chefe: um contador de tripulantes na comporta

A última aula junta todo o pipeline. A câmera olha para baixo, para a comporta, com o espaço à esquerda e a nave à direita, e conta cada trilha que cruza a linha no meio: entra de um lado, sai do outro. Um tripulante que vacilar na linha é contado três vezes, então você adiciona uma banda morta (histerese) e ele conta uma vez só. Depois o contador avisa a nave quando todo mundo da lista está a bordo e a escotilha pode fechar. Termina com ideias para deixar do seu jeito: duas linhas para um corredor, totais por direção na tela, ou um aviso quando alguém fica demais na comporta.

O que o Uno faz de diferente

  • 2 KB de RAM é todo o orçamento: variáveis, buffers de bibliotecas e a pilha. Um quadro de 8x8 de int16_t são 128 bytes; uma imagem interpolada de 29x29 seriam 1682, então o curso a transmite em vez de guardar.
  • Não há hardware de ponto flutuante, então as temperaturas ficam na própria unidade do sensor, quartos de grau, e as posições em centésimos de pixel. Números de ponto flutuante só aparecem como texto para as pessoas lerem.
  • Recursão é perigosa em uma pilha de 2 KB, então o flood fill mantém sua própria pilha pequena de pixels a visitar.
  • A tela é a parte lenta: uma pintura completa de 29x29 leva cerca de um segundo, então os sketches repintam só o que mudou.
  • O circuito da galeria é um Uno com um ST7735. Chips mais rápidos com mais RAM (um ESP32 e uma tela ILI9341 maior, por exemplo) rodam o mesmo pipeline com folga; as ideias não mudam.
  • A câmera simulada não tem ruído entre quadros. Um AMG8833 real oscila cerca de um grau, e é para isso que servem o filtro de tamanho, o gate e a banda morta.

Depois deste curso

Next is Machine learning em um microcontrolador, onde características como tamanho e posição de blobs viram entradas de um modelo, ou Fixed-point and integer math for the number tricks this course leans on.