O perceptron

01 · Conceito

Conceito

Comece por um problema que não tem nada a ver com redes neurais. Uma bolsa chega à entrada de um museu e você tem duas medições: o número de objetos metálicos detectados, e se o visitante carrega um crachá verificado de equipamento. Você precisa decidir, apenas a partir desses dois números, se inspeciona a bolsa. Você poderia escrever regras à mão. Em vez disso, suponha que lhe dão algumas centenas de bolsas passadas com a decisão correta anexada, e você quer que a máquina encontre a regra. Qual é o dispositivo mais simples capaz de aprender uma?

A resposta, de 1958, é o perceptron. Ele recebe um vetor de features $x$, guarda um número por feature num vetor de pesos $w$, soma um bias $b$, e computa um único score

Se $z$ é positivo ele prevê uma classe, se é negativo prevê a outra. Esse é o dispositivo inteiro: uma soma ponderada e um limiar.

Cada peso diz o quanto uma feature move o score. Um peso positivo aumenta o score conforme sua feature cresce; um peso negativo o diminui. A magnitude reflete sensibilidade nas unidades em que a feature chega, e é por isso que escalar as features importa — uma medição que varia na casa dos milhares vai dominar outra que varia de zero a um, seja ela mais informativa ou não. O bias é o intercepto, o score quando toda feature é zero. Ele desliza a política inteira rumo à leniência ou ao rigor.

Passe um exemplo à mão. Seja a contagem de metal $x_1$ e o crachá de equipamento $x_2\in\{0,1\}$, e suponha que o treinamento tenha chegado a $w=(0.6,-1.5)$ com $b=-1.2$. Uma bolsa com quatro objetos metálicos e sem crachá pontua $0.6\times4-1.5\times0-1.2=1.2$, que é positivo, então ela é inspecionada. Os mesmos quatro objetos carregados por um técnico com crachá pontuam $0.6\times4-1.5\times1-1.2=-0.3$, que é negativo, então a bolsa passa. O peso do crachá é grande o bastante para cancelar dois objetos e meio de metal. Em duas dimensões a fronteira $0.6x_1-1.5x_2-1.2=0$ é uma reta, o vetor $w$ aponta perpendicular a ela, mudar a razão entre os pesos a gira, e mudar $b$ a desliza sem girar. Em mais dimensões a mesma equação descreve um hiperplano.

O aprendizado é movido a erro. Para um exemplo mal classificado $(x,y)$ com rótulos codificados como $-1$ e $+1$, uma forma clássica atualiza $w\leftarrow w+\eta y x$ e $b\leftarrow b+\eta y$, com learning rate $\eta>0$. Um exemplo positivo previsto erroneamente como negativo puxa o vetor de pesos na direção daquela entrada; um exemplo negativo previsto erroneamente como positivo o empurra para longe. Exemplos classificados corretamente não disparam nada. Se os dados forem de fato linearmente separáveis, o teorema de convergência do perceptron garante que esse procedimento para de cometer erros após finitas atualizações. Ele não promete a margem mais larga, probabilidades calibradas, nem bom comportamento em bolsas novas.

Agora o erro clássico, no qual vale entrar de propósito. Tome o padrão XOR: rotule $(0,0)$ e $(1,1)$ como uma classe, $(0,1)$ e $(1,0)$ como a outra. Treine o perceptron; ele oscila. O diagnóstico instintivo é um problema de otimização — baixe o learning rate, rode mais épocas, tente outra inicialização. Tudo isso é esforço desperdiçado. Desenhe os quatro pontos e tente separar as diagonais com uma régua: não dá. A falha é representacional, não numérica. Não existem valores de $w$ e $b$ que classifiquem os quatro corretamente, então nenhum procedimento para encontrar valores pode ter sucesso. Consertar isso exige mudar a representação — acrescentar uma feature transformada como $x_1x_2$, ou compor várias unidades com uma não linearidade entre elas, que é exatamente o movimento que a lição 2.2 faz.

O limiar duro tem um segundo defeito que moldou tudo o que veio depois. Sua derivada é zero em quase todo ponto e indefinida na fronteira, então o aprendizado baseado em gradiente não tem com o que trabalhar. Classificadores modernos mantêm o score linear e substituem o degrau por algo diferenciável — uma sigmoide, ou o softmax da lição 0.3 — e depois aplicam um limiar de decisão, se uma decisão for necessária.

Então o perceptron não é apenas peça de museu. Ele ensina a geometria que sobrevive em toda escala: pesos aprendidos definem uma direção, o bias define um deslocamento, um produto escalar pontua compatibilidade, e um modelo só consegue separar o que sua representação torna separável. Ao inspecionar qualquer fronteira linear ajustada, plote os exemplos e a margem em vez de reportar apenas a acurácia — um separador pode classificar uma amostra pequena com perfeição e ainda assim estar tão colado em cada ponto que ruído de medição inverte a decisão.