O perceptron

1

Conceito

O perceptron é um modelo pequeno com grande pegada histórica. Ele recebe um vetor de features $x$, guarda um peso por feature em $w$, soma um bias $b$ e calcula $z=w\cdot x+b$. Um limiar converte a pontuação em uma de duas classes. Com labels $-1$ e $+1$, a previsão é o sinal de $z$.

Cada peso controla a contribuição de uma feature. Peso positivo eleva a pontuação quando a feature cresce; negativo reduz. A magnitude absoluta reflete sensibilidade nas unidades apresentadas. O bias funciona como intercepto: muda a pontuação-base quando todas as entradas valem zero. Escala importa, pois uma feature numericamente grande pode dominar sem ser conceitualmente mais informativa.

Em duas dimensões, $w_1x_1+w_2x_2+b=0$ descreve uma reta. Pontos de um lado produzem score positivo; do outro, negativo. O vetor $w$ é perpendicular à reta. Alterar a razão entre pesos rotaciona a fronteira; alterar $b$ a desloca sem rotação. Em mais dimensões, a mesma fronteira é um hiperplano.

A regra clássica de aprendizagem reage a erros. Para um exemplo mal classificado $(x,y)$, uma forma atualiza $w\leftarrow w+\eta yx$ e $b\leftarrow b+\eta y$, com learning rate $\eta>0$. Um positivo previsto como negativo puxa o vetor na direção da entrada; um negativo previsto como positivo empurra para longe. Exemplos corretos não exigem update na regra básica.

Se o dataset é linearmente separável, o teorema de convergência afirma que o procedimento chega a algum hiperplano separador depois de número finito de erros sob premissas usuais. Não promete maior margem, probabilidades calibradas ou boa generalização. O separador depende de ordem, escala, inicialização e updates. Separabilidade pertence à representação fornecida, não necessariamente ao mundo.

XOR expõe o limite. Rotule $(0,0)$ e $(1,1)$ com uma classe, e $(0,1)$ e $(1,0)$ com outra. Nenhuma reta divide os pares diagonais. Treinar por mais tempo não faz um perceptron representar fronteira não linear. Acrescentar features transformadas ou compor várias unidades com uma não linearidade muda a representação e resolve o caso. Esse passo leva às redes multicamadas.

O limiar duro também tem derivada zero quase sempre e descontinuidade na fronteira, tornando gradient descent comum inadequado. Classificadores modernos mantêm o score linear, mas usam sigmoid diferenciável durante o treino e uma loss probabilística. A decisão pode receber limiar depois. Separar score de treinamento, interpretação probabilística e threshold de política evita confusão.

Modelos de linguagem têm muito mais maquinaria, mas a lógica persiste. Um neurônio calcula soma ponderada e bias antes da activation. Heads lineares mapeiam vetores ocultos para logits. Produtos escalares pontuam compatibilidade. O perceptron ensina a geometria essencial: pesos aprendidos definem direção, bias define deslocamento e o modelo só separa padrões acessíveis na representação.

Ao inspecionar uma fronteira ajustada, plote exemplos e margens, não apenas accuracy. Um separador pode acertar toda a pequena amostra de treino e passar perigosamente perto de cada ponto, fazendo um ruído mínimo inverter decisões. Compare ainda com um baseline constante e avalie slices: uma média alta pode esconder que uma região do espaço sempre cai do lado errado.