Por que computadores não sabem ler

1

Conceito

Computadores armazenam e transformam números. Um arquivo de texto é composto por bytes, e uma tela desenha formas segundo codificações e fontes acordadas. Nenhuma dessas camadas fornece conceitos, intenções ou conhecimento de mundo de uma leitora humana. Dizer que o computador “lê” é uma abreviação conveniente para um pipeline que preserva símbolos, escolhe unidades e calcula relações aprendidas entre elas.

A primeira fronteira é a codificação. Unicode atribui code points a um vasto repertório de elementos textuais; UTF-8 define como representá-los em um ou mais bytes. Um byte isolado é ambíguo sem a codificação. Até caracteres visíveis podem ter várias unidades: uma letra acentuada pode ser um code point precomposto ou uma letra-base seguida por sinal combinante. Um emoji pode reunir vários code points num único grapheme exibido.

Normalização torna representações canonicamente equivalentes consistentes, mas aplicá-la é uma escolha de política. Código-fonte, senhas, identificadores e linguagem natural podem pedir tratamentos diferentes. Espaços também carregam informação: espaço comum, quebra, tab e espaço inquebrável podem parecer iguais e gerar bytes distintos. Antes do modelo, o sistema decide quais diferenças preservar.

A fronteira seguinte é a tokenização. Um tokenizer mapeia texto para itens discretos do vocabulário e IDs inteiros. Esses inteiros são rótulos, não quantidades: o token 900 não é semanticamente “maior” que o 12. O tokenizer pode usar caracteres, palavras, subwords ou bytes como fallback. A segmentação determina o comprimento da sequência e quais padrões de superfície o modelo reutiliza diretamente.

Uma tabela de embedding mapeia cada ID para um vetor aprendido. Inicialmente, esses vetores não contêm definições de dicionário. O treinamento modifica-os e ajusta os demais pesos para produzir representações úteis à previsão. O mesmo embedding inicial participa de estados contextuais diferentes. “Manga” como fruta e como parte da camisa começa na mesma linha do vocabulário; os tokens vizinhos transformam sua representação dentro da rede.

Sintaxe e semântica, portanto, não são entregues por Unicode nem pelo tokenizer. Elas emergem de forma imperfeita dos padrões nos dados, dos vieses arquiteturais e dos objetivos. Um modelo aprende que aspas costumam fechar, que sujeitos restringem verbos ou que nomes aparecem com certas profissões. Essas regularidades apoiam comportamento útil sem virar necessariamente uma gramática simbólica explícita ou base verificada de conhecimento.

Essa separação explica falhas diferentes. Bytes corrompidos quebram o decoding antes de o modelo ver texto. Unicode visualmente confundível esconde um identificador alterado. Um tokenizer ineficiente fragmenta um idioma em muitas posições. Grafias raras recebem representações fracas. Um modelo fluente ainda associa o referente errado porque o objetivo recompensa continuação provável, não verificação fundamentada.

Assim, computadores processam texto com sofisticação extraordinária, mas cada camada tem contrato preciso. Bytes preservam dados. Codificações ligam bytes a símbolos. Tokenizers mapeiam texto a IDs. Embeddings e camadas neurais aprendem representações. Decoding converte pontuações em tokens, e a codificação os renderiza. Manter essas fronteiras separadas impede que a palavra vaga “ler” esconda onde a informação entra, muda ou se perde.

Um teste de round-trip ajuda a localizar a fronteira: codifique, tokenize, detokenize e decodifique exemplos com acentos, emoji, quebras e whitespace incomum. Toda diferença precisa ser explicada pela política, não descoberta depois que o modelo recebe uma sequência inesperada.