Embeddings – AnomIA

Computadores não entendem palavras, eles entendem números. Os embeddings (ou vetores de incorporação) são a solução matemática para esse problema. Eles traduzem conceitos humanos (palavras, frases, parágrafos ou até imagens) em listas de números reais de forma que o significado semântico seja preservado geometricamente.

O que é um Embedding?

Imagine que queremos explicar para um computador a relação entre diferentes frutas. Se usássemos apenas uma lista de identificadores simples (como Maçã = 1, Banana = 2, Melancia = 3), o computador não saberia dizer se uma maçã é mais parecida com uma banana ou com um carro.

Para resolver isso, criamos um espaço multidimensional onde cada dimensão representa uma característica (ou “atributo”) invisível do conceito.

Por exemplo, imagine um espaço simplificado de apenas 3 dimensões para classificar palavras:

Dimensão 1: Nível de “doçura” (de -1.0 a 1.0)
Dimensão 2: Nível de “acidez” (de -1.0 a 1.0)
Dimensão 3: Nível de “porte/tamanho” (de -1.0 a 1.0)

Nesse espaço hipotético:

A palavra Limão seria representada pelo vetor: [-0.2, 0.9, -0.8] (pouco doce, muito ácido, pequeno).
A palavra Laranja seria representada pelo vetor: [0.5, 0.6, -0.4] (doce, ácida, média).
A palavra Carro seria representada por algo completamente diferente: [-0.9, -0.9, 0.9].

Ao plotar esses pontos em um gráfico, Limão e Laranja ficariam espacialmente próximos um do outro, enquanto Carro ficaria isolado em outra região. Esse “endereço geométrico” é o embedding.

Por que não usar abordagens mais simples?

Antes dos embeddings modernos, usava-se uma técnica chamada One-Hot Encoding, onde cada palavra única do vocabulário recebia uma posição em um vetor gigante de zeros e um único número.

Se o seu vocabulário tivesse 50.000 palavras, a palavra “cachorro” seria um vetor de tamanho 50.000 cheio de zeros e apenas um número 1.

Problema 1 (Esparsidade): Desperdício massivo de memória computacional salvando bilhões de zeros.
Problema 2 (Falta de Semântica): Matematicamente, a distância entre qualquer par de palavras nesse formato é sempre a mesma. Para o sistema, “cachorro” e “cadela” eram tão distantes quanto “cachorro” e “microfísica quântica”.

Os embeddings resolvem ambos os problemas ao usar vetores densos (geralmente de 768, 1536 ou mais dimensões), onde cada posição do vetor guarda uma fração decimal de informação aprendida pela rede neural durante seu treinamento.

A Álgebra Semântica: O efeito “Rei – Homem + Mulher”

Como esses vetores são representações matemáticas puras, nós podemos aplicar operações aritméticas sobre eles. Um dos experimentos mais famosos da IA (popularizado pelo modelo Word2Vec) demonstrou que as relações conceituais se traduzem em distâncias vetoriais exatas.

Se você pegar o vetor da palavra “Rei”, subtrair o vetor da palavra “Homem” e somar o vetor da palavra “Mulher”, o vetor resultante estará geometricamente mais próximo da palavra “Rainha”:

\vec{v}_{\text{Rei}} – \vec{v}_{\text{Homem}} + \vec{v}_{\text{Mulher}} \approx \vec{v}_{\text{Rainha}}

Isso prova que o modelo capturou o conceito abstrato de “realeza” e “gênero” apenas analisando a forma como essas palavras coocorrem nos textos da internet.

Como medir a proximidade entre dois Embeddings?

Para determinar se duas palavras ou frases são semanticamente semelhantes, as LLMs e os bancos de dados vetoriais calculam a proximidade entre seus vetores. A métrica mais utilizada para isso é a Similaridade de Cosseno.

Em vez de medir a distância física em linha reta (Euclidiana), o algoritmo mede o ângulo $\theta$ entre os dois vetores no espaço multidimensional. Se os vetores apontam exatamente para a mesma direção, o cosseno é 1 (similaridade máxima). Se são ortogonais (perpendiculares), o cosseno é 0 (sem relação).

\text{Similaridade de Cosseno} = \cos(\theta) = \frac{\vec{A} \cdot \vec{B}}{\Vert{}\vec{A}\Vert{} \Vert{}\vec{B}\Vert{}}

Aplicações Práticas dos Embeddings

Os embeddings são a engrenagem oculta por trás de quase toda aplicação moderna de IA:

Busca Semântica: Em vez de buscar por palavras-chave exatas (como no Google antigo), o sistema busca pelo sentido da pergunta. Se você buscar por “animais domésticos que miam”, o sistema gera o embedding dessa frase e encontra documentos que contêm “gatos” ou “felinos domésticos”, mesmo que a palavra “mia” não apareça no texto.
Sistemas de Recomendação: Serviços de streaming (como Spotify e Netflix) transformam seu histórico de consumo e as mídias em embeddings. Músicas ou filmes espacialmente próximos aos seus gostos são recomendados a você.