word2vec, GloVe e o truque da analogia

01 · Conceito

Conceito

Por volta de 2013 circulou uma demonstração que convenceu muita gente de que as máquinas tinham começado a entender linguagem. Pegue o vetor de king, subtraia o vetor de man, some o vetor de woman e busque no vocabulário o que estiver mais próximo do resultado. Sai queen. É um resultado genuinamente impressionante e vale entendê-lo com exatidão, porque a forma como ele costuma ser recontado omite o único detalhe que decide o quanto ele é impressionante.

Primeiro a maquinaria que produziu esses vetores. Antes dos modelos contextuais, os embeddings estáticos de palavra faziam uma afirmação concreta: padrões distribucionais podem virar geometria. Em vez de tratar cada palavra como um símbolo sem relação com as outras, esses métodos aprendiam um vetor denso por palavra a partir de como as palavras ocorrem umas em torno das outras, e as vizinhanças resultantes sustentavam busca por similaridade, classificação e transferência para sistemas seguintes.

word2vec nomeia uma família de objetivos preditivos e os truques que os tornaram rápidos. No continuous bag-of-words, o contexto ao redor prevê a palavra central. No skip-gram, a central prevê o contexto próximo. Computar um softmax completo sobre o vocabulário para cada par de treino seria ruinoso, então implementações práticas o aproximam com negative sampling ou softmax hierárquico. Vale notar para depois: o método mantém duas tabelas de embedding, uma de entrada e uma de saída, com papéis genuinamente diferentes, e qual tabela você exporta — ou se você faz a média das duas — muda os seus resultados.

A janela de contexto define o que a geometria captura. Uma janela estreita enfatiza similaridade sintática e funcional; uma larga deriva para associação temática. A subamostragem de palavras frequentes e a distribuição de negative sampling mudam ambas quais distinções recebem gradiente. O domínio do corpus move tudo: texto jurídico, médico, jornalístico e conversacional produzem vizinhanças diferentes para a mesma palavra. Não existe o embedding word2vec sem a configuração de treino anexada.

GloVe parte da outra ponta, de uma matriz global de coocorrência palavra-contexto. Sua observação central é que são as razões de probabilidades de coocorrência que carregam o sinal informativo: se duas palavras de sonda se relacionam de formas diferentes com uma palavra de contexto compartilhada, isso diz mais do que contagens cruas, que são dominadas pela frequência. O treino ajusta vetores cujos produtos escalares, mais termos de viés, aproximam uma função das contagens em log. Ele faz a ponte entre intuições de fatoração de matrizes e aprendizado por contexto local e, na prática, as duas famílias produzem geometrias amplamente comparáveis.

Agora volte à demonstração e rode-a como experimento, não como história. Você calcula o ponto $v_{king} - v_{man} + v_{woman}$ e busca seu vizinho mais próximo por similaridade de cosseno. Eis o detalhe omitido: o protocolo padrão de avaliação exclui as três palavras da consulta do conjunto de candidatos. Essa regra não é cosmética. A reavaliação de Linzen, de 2016, removeu a exclusão e encontrou quedas drásticas de acurácia, incluindo zero em várias categorias. Uma palavra de entrada pode continuar muito competitiva porque o offset talvez mova o ponto apenas modestamente em relação ao vocabulário ao redor. Excluí-la pode, portanto, mudar o vencedor. A alegação importante é o efeito medido do protocolo, não que uma palavra específica da consulta sempre precise ser a mais próxima.

Isso não torna o achado falso. Um deslocamento consistente ao longo de muitos pares é uma propriedade geométrica real e útil, e uma operação linear transferindo uma relação entre pares é genuinamente surpreendente dado que ninguém supervisionou isso. O que significa é que a demonstração mede uma tendência sob um protocolo de busca específico, não a execução de uma regra simbólica. A afirmação corrigida fica: sob similaridade de cosseno, com as palavras da consulta excluídas, o alvo da analogia é frequentemente o vizinho mais próximo para certos tipos de relação em certos corpora. Mais longa, mais sem graça e defensável no sentido que a lição 0.8 exigiu.

A sensibilidade não para por aí. Os resultados mudam com a normalização dos vetores, com a escolha da regra de vizinho mais próximo, com os limiares de frequência de vocabulário e com quais tipos de relação o benchmark por acaso contém. Algumas relações formam clusters em vez de uma direção única reutilizável. Morfologia e frequência crua explicam parte do desempenho. Um erro no primeiro lugar ainda pode colocar uma resposta sensata em segundo. Exemplos escolhidos a dedo superestimam sistematicamente a confiabilidade.

Transformers modernos usam estados contextuais em vez de um vetor fixo por palavra, mas a disciplina interpretativa se transfere intacta. Sondas lineares e operações vetoriais podem expor regularidades reais; o que elas significam depende da camada, da métrica, do corpus e da tarefa. Para uma comparação reprodutível, publique o snapshot do corpus, a definição da janela, o limiar de vocabulário, a política de negative sampling, qual tabela foi exportada, a métrica de similaridade e a regra exata de pontuação da analogia, incluindo se as palavras da consulta foram excluídas. Re-rodar uma equação famosa sem esse contrato é uma demonstração, e deveria ser rotulada como tal.