Se você acompanhou nossos posts anteriores sobre o Jev e o Kev, já entendeu a proposta dos modelos de decisão (“System One”): substituir LLMs generativos gigantes por arquiteturas discriminativas que não geram texto, mas entregam decisões tipadas, com probabilidades calibradas e em milissegundos.
Embora o Kev seja uma alternativa completa baseada em decodificadores maiores (a partir de 0.8B até 27B), muitos cenários de produção exigem algo ainda mais enxuto para rodar em servidores simples de CPU ou contêineres Docker com menos de 1 GB de RAM.
É aqui que entra o Laya. Com aproximadamente 421 milhões de parâmetros, o Laya é uma arquitetura baseada em encoder bidirecional multilíngue projetada para ranqueamento e pontuação direta de opções com latência na faixa de 20 a 40 ms.
Abaixo, veja como instalar, instanciar e colocar o Laya para rodar em Python.
Por que escolher o Laya?
- Footprint mínimo de memória: Com pesos em ponto flutuante de 16 bits (FP16), ele consome menos de 1 GB de VRAM/RAM.
- Excelente performance em CPU: Não exige placas de vídeo dedicadas da NVIDIA para entregar respostas em tempo real.
- Multilíngue nativo: Suporte a dezenas de idiomas (incluindo português) sem degradação perceptível na triagem de contexto.
- Zero risco de alucinação sintática: Ele calcula a afinidade de log-probabilidade diretamente entre a entrada e as opções permitidas.
Instalação e Requisitos
O Laya pode ser executado diretamente via biblioteca transformers do ecossistema Hugging Face ou por meio do seu pacote utilitário de inferência leve.
Para configurar o ambiente inicial, é recomendo criar um ambiente virtual e depois instalar os pacotes.
Como usar o Laya na prática
O Laya oferece primitivas idênticas às operações de decisão tradicionais: Choice (seleção categórica), Noul (booleano ponderado) e Score (regressão calibrada).
A. Roteamento de Chamados (Operação Choice)
Neste exemplo, passamos um texto não estruturado e uma lista de categorias. O modelo avalia a distribuição de probabilidade de cada uma em uma única passada de inferência:
B. Decisões Booleanas com Calibração (Operação Noul)
Para decisão em pipelines automatizados (como triagem de fraude ou moderação), o Laya devolve a probabilidade exata da resposta ser verdadeira:
Subindo como um microsserviço REST
Se a sua arquitetura backend for em Go, Node.js, Java ou C#, você pode subir o Laya como um servidor HTTP dedicado via CLI ou Uvicorn/FastAPI:
Consumindo via curl ou qualquer cliente HTTP:
Kev vs. Laya: Qual escolher para o seu projeto?
- Use o Kev se: Você precisa de compatibilidade estrita 1:1 com o SDK oficial da TypeSafe/Jev, já possui GPUs dedicadas disponíveis e lida com raciocínios que exigem modelos a partir de 4B a 9B parâmetros.
- Use o Laya se: Seu foco principal é latência mínima em CPU, baixo consumo de infraestrutura (menos de 1 GB de RAM) e integração rápida em microsserviços de alto volume sem custo de nuvem.