CNN Playground — convolução, pooling e classificação

Deslize um kernel sobre a imagem

Pinte na entrada, escolha ou edite o kernel e veja o mapa de características mudar. Clique em qualquer célula da saída para ver a conta.

Entrada

Arraste para pintar. Bordas hachuradas = padding.

∗

Kernel 3×3 (pesos)

Mapa de características

Clique numa célula para ver o cálculo

negativopositivoUse ← → no teclado para andar célula por célula.

O que está acontecendo

O kernel é uma pequena matriz de pesos. Em cada posição, multiplicamos seus valores pelos pixels sob ele e somamos tudo. Esse número vai para uma célula do mapa de características.

y[i,j] = Σₘ Σₙ x[i·S+m, j·S+n] · k[m,n] + b

O tamanho da saída depende do stride S e do padding P:

O = ⌊(N + 2P − K) / S⌋ + 1

Tecnicamente, CNNs calculam correlação cruzada (sem inverter o kernel), mas o nome “convolução” pegou.

Perguntas para a turma

Com Sobel x no quadrado, por que um lado da borda fica positivo e o outro negativo?
O que acontece com o mapa numa região uniforme? Por quê?
Calcule o tamanho da saída com stride 2 e padding 1 antes de clicar. Acertou?
Por que o mesmo kernel é usado em todas as posições? Quantos parâmetros isso economiza em relação a uma camada densa?
Numa CNN, ninguém escolhe esses números. Quem escolhe? (Veja a aba 3.)

Não linearidade e redução de resolução

O mapa abaixo vem da aba 1 (kernel: ). Passe o mouse ou toque no resultado do pooling para ver de onde veio cada valor.

Mapa da convolução

→

Após ReLU

→

Após pooling

Conjunto de dados: quatro formas desenhadas

Imagens 28×28 geradas no navegador, com posição, tamanho, rotação e espessura aleatórios. 80% vão para treino e 20% para teste.

Arquitetura

Uma CNN pequena, escrita do zero em JavaScript (forward e backpropagation), para você ver cada peso. Blocos destacados têm parâmetros treináveis.

Treinamento com gradiente descendente

perda (entropia cruzada, média móvel) acurácia no teste acurácia no treino

Filtros aprendidos (5×5)

Começam aleatórios. Observe como ganham estrutura durante o treino.

Matriz de confusão (teste)

Linhas: classe real. Colunas: classe prevista.

Aparece ao final da primeira época.

Como a rede aprende

Na aba 1 você escolheu os kernels. Aqui eles começam aleatórios e são ajustados para reduzir a perda de entropia cruzada:

L = −log p(classe correta)

O gradiente de L em relação a cada peso é calculado por backpropagation, atravessando a camada densa, o max pooling (só a posição vencedora recebe gradiente), a ReLU e a convolução. Depois:

w ← w − η · ∂L/∂w

(com momentum 0,9).

Experimentos sugeridos

Treine com taxa 0.3. O que acontece com a curva de perda?
Treine com só 2 filtros. Quais classes a rede passa a confundir?
Use 50 exemplos por classe e 10 épocas. A acurácia de treino e de teste se separam? Isso é overfitting.
Os filtros aprendidos lembram algum kernel da aba 1?
Aumente o ruído até a rede falhar. Onde está o limite?

Desenhe uma forma

Desenhe um círculo, quadrado, triângulo ou X. A previsão atualiza enquanto você desenha.

O que a rede vê 28×28

Mapa de oclusão Cobre partes da imagem e mede quanto a confiança cai.

Probabilidades (softmax)

Dentro da rede

Para cada filtro: os pesos aprendidos, o mapa de ativação após ReLU (24×24) e o resultado do max pooling (12×12). Barras mais longas indicam filtros mais ativos para esta imagem.