Self-Attention

O Mecanismo de Atenção (especificamente o Self-Attention ou Autoatenção) é a inovação matemática que tornou as LLMs viáveis. Antes dele, as redes neurais processavam texto de forma sequencial, esquecendo o início da frase ao chegar no final.

O mecanismo de atenção resolveu isso permitindo que o modelo foque dinamicamente nas partes mais relevantes de todo o texto, não importa a distância entre as palavras.

Como nós lemos vs. Como a IA foca

Quando você lê a frase:

“O banco de dados salvou as informações, mas o banco da praça quebrou.”

Seu cérebro não lê apenas a palavra “banco”. Instantaneamente, você olha ao redor:

  • Na primeira ocorrência, seu cérebro conecta “banco” a “dados”, “informações” e isso com Instituição financeira ou estrutura computacional.
  • Na segunda ocorrência, seu cérebro conecta “banco” a “praça” e “quebrou” e correlaciona isso com o Assento físico.

O Mecanismo de Atenção faz exatamente isso matematicamente. Ele calcula o contexto de cada palavra olhando para todas as outras palavras ao mesmo tempo e atribuindo “pesos” de relevância.

Queries, Keys e Values (Q, K, V)

Para realizar esse cálculo, os criadores do Transformer usaram uma metáfora inspirada em sistemas de busca em bancos de dados. Cada token (palavra/subpalavra) projetado no modelo é transformado em três vetores diferentes através de matrizes de pesos que o modelo aprende durante o treino:

  1. Query (Consulta – Q): Representa “o que eu estou procurando”.
  2. Key (Chave – K): Representa “o que eu tenho a oferecer” (o rótulo/indexação de cada palavra no texto).
  3. Value (Valor – V): Representa “o conteúdo real” da palavra, que será extraído se houver uma correspondência entre a Query e a Key.

A analogia do YouTube:

Você digita uma busca (Query: “vídeo de receita de bolo”). O YouTube compara sua busca com os títulos e tags de todos os vídeos da plataforma (Keys: “receita de bolo de chocolate”, “tutorial de maquiagem”, etc.). O sistema calcula o quão parecida sua busca é com cada tag. Para os vídeos mais parecidos, ele entrega o conteúdo real do vídeo (Value).

A Equação da Atenção

Toda essa intuição é resumida na famosa equação do Scaled Dot-Product Attention (Atenção por Produto Escalar Escalonado):

Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

Vamos destrinchar o passo a passo dessa fórmula:

  1. QKTQK^T (Multiplicação de Matrizes): Multiplicamos a matriz de consultas (Q) pela transposta da matriz de chaves (K). Isso calcula um produto escalar entre cada palavra e todas as outras, gerando uma matriz de similaridade (pontuação bruta de atenção).
  2. Dividido por dk\sqrt{d_k} (Escalonamento): Dividimos o resultado pela raiz quadrada da dimensão dos vetores de chave (dkd_k). Isso evita que os valores fiquem gigantescos em dimensões altas, o que faria o gradiente sumir durante o treinamento.
  3. softmax(…)\text{softmax}(\dots) (Normalização): Aplicamos a função Softmax para transformar essas pontuações brutas em probabilidades (números entre 0 e 1). Isso define matematicamente quanto de atenção a palavra A deve dar para a palavra B.
  4. Multiplicado por V (Ponderação): Por fim, multiplicamos essas probabilidades pelos valores reais (V). Palavras com alta atenção mantêm seus valores intactos, enquanto palavras irrelevantes são silenciadas (multiplicadas por valores próximos de zero).

Para entender mais sobre o cálculo na Equação de Atenção, leia https://www.anom.ia.br/explicando-o-mecanismo-de-autoatencao-das-llms/

Multi-Head Attention (Atenção Multi-Cabeça)

Uma única “cabeça” de atenção só consegue focar em uma relação por vez (por exemplo, associar um pronome ao seu sujeito). No entanto, a linguagem humana possui múltiplas camadas de complexidade simultâneas (gênero, concordância verbal, semântica, tempo verbal).

Para capturar todas essas nuances, as LLMs usam a Multi-Head Attention.

Em vez de calcular a atenção apenas uma vez, o modelo divide os vetores Q, K, V em múltiplos pedaços e roda o cálculo de atenção várias vezes em paralelo (em diferentes “cabeças”).

  • A Cabeça 1 pode focar em relações sintáticas (quem é o sujeito do verbo).
  • A Cabeça 2 pode focar em referências de tempo (quando o evento aconteceu).
  • A Cabeça 3 pode focar na relação semântica de causa e efeito.

No final, as saídas de todas as cabeças são concatenadas e projetadas de volta para o tamanho original. É essa capacidade de “enxergar” o texto sob múltiplos pontos de vista matemáticos ao mesmo tempo que dá às LLMs a sua profunda capacidade de interpretação.

Uma explicação detalhada do funcionamento está disponível em https://www.anom.ia.br/explicando-a-multi-head-attention-mha/