word2vec, GloVe e o truque das analogias

1

Conceito

Antes dos modelos contextuais, embeddings estáticos tornaram concreta uma ideia importante: padrões distribucionais podem virar geometria. Em vez de atribuir a cada palavra um símbolo sem relação, os métodos aprenderam vetores densos de acordo com as palavras ao redor. Vizinhanças e direções resultantes apoiaram similaridade, classificação e demonstrações memoráveis de analogia.

O nome word2vec cobre objetivos preditivos e técnicas de treinamento. Em continuous bag-of-words, o contexto ajuda a prever a palavra central. Em skip-gram, o centro ajuda a prever palavras próximas. Calcular softmax sobre todo o vocabulário para cada par é caro, então o treino usa aproximações como negative sampling ou hierarchical softmax. As tabelas de embedding de entrada e saída têm papéis distintos; a tabela exportada afeta resultados.

A janela de contexto define o sinal. Uma janela estreita tende a enfatizar semelhança sintática ou funcional; uma ampla pode destacar tópico. Subsampling de palavras muito frequentes e escolha de exemplos negativos mudam quais distinções recebem gradiente. O domínio do corpus importa: textos jurídicos, médicos, jornalísticos e conversacionais produzem vizinhanças diferentes. “O embedding word2vec” é descrição incompleta sem dados e decisões.

GloVe parte de uma matriz global de coocorrência entre palavras e contextos. Seu desenho usa razões de probabilidades de coocorrência para capturar distinções: a forma como duas palavras-alvo se relacionam diferentemente com dois contextos informa mesmo quando contagens brutas variam. O treinamento aprende vetores cujos produtos escalares, com biases, aproximam uma função das contagens. Isso conecta intuições de fatoração matricial ao contexto local.

A analogia famosa calcula algo como $v_{rei}-v_{homem}+v_{mulher}$ e procura a palavra vizinha, frequentemente rainha em demonstrações. Outros testes examinam capitais e países, comparativos ou flexões. Um offset consistente é propriedade compacta: uma operação linear transfere uma relação entre pares.

Mas o truque é sensível. Resultados mudam com normalização por cosseno, regra de vizinho, permissão de retornar palavras da pergunta, filtro de vocabulário e dataset. Algumas relações formam clusters, não uma direção. Frequência e morfologia explicam parte do desempenho. Exemplos escolhidos exageram a confiabilidade, e errar top-1 ainda pode deixar uma resposta sensata perto. Avaliações precisam declarar o protocolo e comparar baselines.

A geometria codifica regularidades prejudiciais com a mesma fidelidade das úteis. Associações entre ocupação e identidade podem reproduzir estereótipos. Uma analogia não vira fato neutro por ser aritmética vetorial. Remover uma direção pode deixar informação em outras, e suprimir associação mensurável pode prejudicar distinções legítimas. Proveniência de dados e comportamento downstream importam mais que uma projeção bonita.

Transformers usam representações contextuais em vez de um vetor final por palavra, mas a lição permanece. Objetivos de treinamento convertem evidência distribucional em estrutura contínua. Probes lineares e operações vetoriais expõem regularidades, mas sua interpretação depende de camada, métrica, corpus e tarefa. word2vec e GloVe são valiosos não por resolverem significado, e sim por mostrarem até onde a geometria aprendida chega — e por tornarem seus limites mensuráveis.

Para uma comparação reproduzível, publique snapshot do corpus, janela, threshold de vocabulário, negative sampling, tabela exportada, métrica e regra de analogia. Repetir uma equação famosa sem esse contrato é demonstração, não avaliação. Relate também o desempenho por tipo de relação: uma média mistura morfologia, geografia e associações culturais com dificuldades e riscos diferentes.