Pular para o conteúdo
NovidadesIA

Modelos e LLMs

StartLux Decision v1.1: engine de decisão de 0,8B a 27B com 1,4 mil estrelas

Ferramenta open source roda em vLLM, llama.cpp e MLX com scores acima de 73% em benchmarks

Edição: Anderson Gomes
· 3 min de leitura

Equipes que precisam de modelos para tomar decisões em tempo real ganharam uma ferramenta open source que entrega probabilidades calibradas para cada opção em uma única passagem. A StartLux Labs lançou o StartLux Decision v1.1 em 14 de outubro com modelos de 0,8B a 27B parâmetros e já soma 1.386 estrelas no GitHub em apenas 23 dias. A engine roda em vLLM, llama.cpp e MLX, e os modelos AutoThink geram um pensamento curto quando estão inseguros. Qualquer desenvolvedor pode rodar local ou usar o serviço gratuito sem limites no BambooNode.

A engine faz o trabalho pesado

O StartLux Decision recebe um estado — texto, JSON ou imagem — e um conjunto de perguntas tipadas. Para cada opção de cada pergunta, o modelo devolve uma probabilidade calibrada em uma única passagem com atenção bidirecional no prompt. Os modelos Instant respondem direto. Os AutoThink só geram um pensamento curto quando a probabilidade mais alta não atinge a gate padrão de 0,6 e relêem a resposta. A documentação lista exemplos de perguntas choice para múltipla escolha, noul para sim/não e score para escalas numéricas.

A engine startlux-decide opera em três back-ends: vLLM para GPUs NVIDIA, llama.cpp para CPU ou GPU genérica e MLX para Apple Silicon. Ela expõe a API System One no endpoint /v1/systemone, devolve a probabilidade de nenhuma opção ser válida junto com cada resposta e deixa o cliente ajustar a gate por request. A versão v1.1 trouxe suporte unificado para Instant e AutoThink na mesma engine.

Do download à primeira decisão

Quem não tem GPU pode testar agora no BambooNode, que hospeda o modelo 27B AutoThink gratuitamente e sem limites. Basta enviar requests POST para /v1/decisions com uma chave de API e o modelo responde com probabilidades ou pensamento curto se a confiança for baixa. Para rodar local com GPU NVIDIA, a StartLux mantém o StartLux-Prism, que serve os modelos AutoThink 4B, 9B e 27B diretamente dos arquivos GGUF pela mesma API /v1/systemone.

Instalar o StartLux-Prism exige Linux, Python 3.12 e driver CUDA 13. O passo a passo no README começa com clone do repositório e criação de ambiente virtual.

git clone https://github.com/StartLuxLabs/StartLux-Prism.git
cd StartLux-Prism
python3.12 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt  # PyTorch 2.14.1 para CUDA 13, Triton, nvcc 13.0
source scripts/cuda_env.sh        # nvcc do pip como CUDA_HOME (em cada novo shell)

O projeto tem 23 dias de vida, 1.386 estrelas e nove issues abertas no GitHub. O último commit é de hoje, mesmo dia da apuração, e a versão v1.1.0 chegou em 14 de outubro. No Decision Index 0.3, o modelo 27B AutoThink marca 73,37 pontos — primeiro lugar entre 174 entradas. Na métrica de acurácia por pares do DecisionPivot, ele acerta 86,9% das vezes na gate 0,9. O modelo Instant 27B também lidera a leaderboard com 69,12 pontos.

A licença Apache 2.0 permite uso comercial, modificação e distribuição, inclusive em produtos proprietários. Não serve, porém, para quem quer um modelo treinado para tarefa específica sem ajustes, já que o foco é decisão genérica com calibração de probabilidades.

  • Python
  • Apache-2.0
  • Modelos e LLMs
  • GitHub

Fonte: Repositório no GitHub · Como produzimos as matérias

Mais em Modelos e LLMs

Ver a editoria