Conheça o Laya: O modelo aberto de 420M para decisões ultrarrápidas sem alucinação

Por

Se você acompanhou nossos posts anteriores sobre o Jev e o Kev, já entendeu a proposta dos modelos de decisão (“System One”): substituir LLMs generativos gigantes por arquiteturas discriminativas que não geram texto, mas entregam decisões tipadas, com probabilidades calibradas e em milissegundos.

Embora o Kev seja uma alternativa completa baseada em decodificadores maiores (a partir de 0.8B até 27B), muitos cenários de produção exigem algo ainda mais enxuto para rodar em servidores simples de CPU ou contêineres Docker com menos de 1 GB de RAM.

É aqui que entra o Laya. Com aproximadamente 421 milhões de parâmetros, o Laya é uma arquitetura baseada em encoder bidirecional multilíngue projetada para ranqueamento e pontuação direta de opções com latência na faixa de 20 a 40 ms.

Abaixo, veja como instalar, instanciar e colocar o Laya para rodar em Python.

Por que escolher o Laya?

  • Footprint mínimo de memória: Com pesos em ponto flutuante de 16 bits (FP16), ele consome menos de 1 GB de VRAM/RAM.
  • Excelente performance em CPU: Não exige placas de vídeo dedicadas da NVIDIA para entregar respostas em tempo real.
  • Multilíngue nativo: Suporte a dezenas de idiomas (incluindo português) sem degradação perceptível na triagem de contexto.
  • Zero risco de alucinação sintática: Ele calcula a afinidade de log-probabilidade diretamente entre a entrada e as opções permitidas.

Instalação e Requisitos

O Laya pode ser executado diretamente via biblioteca transformers do ecossistema Hugging Face ou por meio do seu pacote utilitário de inferência leve.

Para configurar o ambiente inicial, é recomendo criar um ambiente virtual e depois instalar os pacotes.

# Crie e ative seu ambiente virtual
python -m venv .venv
source .venv/bin/activate  # No Windows: .venv\Scripts\activate

# Instale os pacotes necessários
pip install torch transformers laya-aiCode language: Bash (bash)

Como usar o Laya na prática

O Laya oferece primitivas idênticas às operações de decisão tradicionais: Choice (seleção categórica), Noul (booleano ponderado) e Score (regressão calibrada).

A. Roteamento de Chamados (Operação Choice)

Neste exemplo, passamos um texto não estruturado e uma lista de categorias. O modelo avalia a distribuição de probabilidade de cada uma em uma única passada de inferência:

from laya import LayaDecisionModel

# Inicializa o modelo (baixa automaticamente os pesos do Hugging Face)
model = LayaDecisionModel.from_pretrained("laya-ai/laya-421m", device="cpu")

texto_chamado = (
    "Fiz a contratação do plano anual corporativo ontem, mas a nota fiscal "
    "veio com o CNPJ incorreto. Preciso da correção para a contabilidade."
)

categorias = ["suporte_tecnico", "faturamento_e_notas", "comercial", "cancelamento"]

# Executa a decisão
resultado = model.choice(
    input_text=texto_chamado,
    choices=categorias
)

print(f"Decisão: {resultado.selected}")
print(f"Confiança: {resultado.confidence:.2%}")
print("Distribuição detalhada:")
for categoria, prob in resultado.probabilities.items():
    print(f"  - {categoria}: {prob:.4f}")
Code language: Python (python)

B. Decisões Booleanas com Calibração (Operação Noul)

Para decisão em pipelines automatizados (como triagem de fraude ou moderação), o Laya devolve a probabilidade exata da resposta ser verdadeira:

comentario = "Oferta imperdível! Ganhe 5.000 reais por dia trabalhando de casa clicando no link bit.ly/promo..."

avaliacao_spam = model.noul(
    input_text=comentario,
    question="Este comentário é spam ou golpe financeiro?"
)

print(f"É spam? {avaliacao_spam.value}")          # True
print(f"Probabilidade: {avaliacao_spam.probability:.2%}") # Ex: 98.4%
Code language: Python (python)

Subindo como um microsserviço REST

Se a sua arquitetura backend for em Go, Node.js, Java ou C#, você pode subir o Laya como um servidor HTTP dedicado via CLI ou Uvicorn/FastAPI:

# Inicializa o servidor HTTP na porta 8000
laya-serve --model laya-ai/laya-421m --port 8000 --workers 2
Code language: Bash (bash)

Consumindo via curl ou qualquer cliente HTTP:

curl -X POST http://localhost:8000/v1/choice \
  -H "Content-Type: application/json" \
  -d '{
    "input": "O sistema começou a retornar erro 504 Gateway Timeout nas rotas de checkout.",
    "choices": ["incidente_critico", "duvida", "melhoria"]
  }'
Code language: Bash (bash)

Kev vs. Laya: Qual escolher para o seu projeto?

  • Use o Kev se: Você precisa de compatibilidade estrita 1:1 com o SDK oficial da TypeSafe/Jev, já possui GPUs dedicadas disponíveis e lida com raciocínios que exigem modelos a partir de 4B a 9B parâmetros.
  • Use o Laya se: Seu foco principal é latência mínima em CPU, baixo consumo de infraestrutura (menos de 1 GB de RAM) e integração rápida em microsserviços de alto volume sem custo de nuvem.

Deixe um comentário