Cada neurônio da primeira camada oculta traça um hiperplano no plano de entrada. Aqui você vê cada um deles, época por época, e observa a fronteira final nascer da combinação desses cortes.
Um neurônio calcula z = w₁·x₁ + w₂·x₂ + b e depois aplica a ativação. O conjunto de pontos onde z = 0 é justamente um hiperplano: em duas dimensões, uma reta. De um lado da reta o neurônio satura para um valor positivo, do outro para um valor negativo, e a inclinação da tanh controla a suavidade dessa transição.
Treinar significa mover essas retas. Os pesos w₁, w₂ giram a reta (são o vetor normal a ela) e o viés b a desloca. O painel de neurônios mostra os valores mudando a cada época.
Um detalhe honesto e importante: só os neurônios da primeira camada oculta produzem retas no plano de entrada. Neurônios das camadas seguintes também definem hiperplanos, mas no espaço já deformado pela camada anterior. Projetados de volta no plano dos dados originais, eles aparecem como fronteiras curvas. É por isso que a ferramenta desenha retas apenas para a camada 1 e mostra o resultado das demais camadas como região colorida.
Compare os dois conjuntos: gato e cachorro é praticamente separável por uma única reta, então um neurônio já resolve. O conjunto de círculos exige cercar uma região, e nenhuma reta sozinha consegue: é preciso combinar vários cortes, o que é exatamente o trabalho da camada de saída.