Perceptrons multicamadas e não linearidade

1

Conceito

Um multilayer perceptron, ou MLP, compõe transformações afins aprendidas com funções de activation não lineares. Para uma matriz de batch $X$, uma rede com uma camada oculta pode calcular

Linhas são exemplos, colunas são features, e $\phi$ atua elemento a elemento. O treinamento escolhe pesos e biases para que a saída atenda à tarefa.

A activation não é decoração. Sem ela, $W_2(W_1x+b_1)+b_2$ pode ser reorganizado como uma transformação $Wx+b$. Dez camadas assim ainda definem um hiperplano para classificação binária. Uma não linearidade quebra o colapso algébrico. ReLU, por exemplo, preserva coordenadas positivas e zera negativas, criando comportamento linear diferente em diferentes regiões.

Essa estrutura por partes resolve XOR. Uma unidade oculta ativa num semiespaço relevante e outra num espaço diferente. A saída combina os sinais para isolar positivos diagonais. A construção exata importa menos que o princípio: camadas ocultas aprendem um sistema de coordenadas novo no qual as classes podem ficar linearmente separáveis. Representation learning substitui features transformadas manualmente.

Largura é o número de unidades numa camada; profundidade, a quantidade de transformações sucessivas. Mais largura permite mais features por estágio. Profundidade reutiliza features intermediárias por composição e pode representar certas funções com mais eficiência que uma camada enorme. Nenhuma garante aprendizagem: otimização pode falhar, os dados podem não identificar a função e capacidade excessiva pode memorizar ruído.

Teoremas de aproximação universal são exagerados com frequência. Sob condições declaradas, uma rede suficientemente larga com não linearidade adequada aproxima funções contínuas num domínio compacto com precisão arbitrária. O teorema não diz quantas unidades, se gradient descent as encontra, se dados finitos selecionam a função correta nem se há generalização fora do domínio. Expressividade é apenas parte do aprendizado.

MLPs são treinadas definindo loss, calculando gradientes por cada operação e atualizando parâmetros. Batches tornam matrizes eficientes e estimam com ruído o gradiente do dataset. Inicialização afeta escala do sinal; normalização estabiliza estados; residual connections oferecem caminhos curtos em redes profundas. Essas escolhas tornam-se essenciais com a profundidade.

Na classificação, a camada final costuma emitir logits, não decisões com threshold. Binary ou multiclass cross-entropy fornece objetivo diferenciável. Na avaliação, probabilidades ou logits viram decisões segundo a política de custo dos erros. Confundir objetivo de treino com limiar de produção gera sistemas mal calibrados.

Transformers contêm uma MLP em cada bloco, chamada feed-forward network. Ela atua separadamente por posição enquanto attention move informação entre posições. Suas matrizes expandem e contraem features, e sua activation fornece não linearidade e gating. A MLP não é apenas degrau histórico: representa metade do núcleo computacional repetido nos modelos de linguagem modernos.

O debug começa com um batch minúsculo que a rede deveria memorizar. Confira shapes, veja se a loss cai e inspecione activations ou gradientes inteiramente zerados ou não finitos. Isso não prova generalização, mas revela ligação, objetivo ou otimização quebrados antes que uma execução grande esconda o defeito. Depois compare com baseline linear: se a MLP não melhora held-out, a profundidade adicional talvez não seja necessária.