rasbt ensina a criar LLM em PyTorch e chega a 101.422 estrelas
Repositório criado em 2023 mostra, passo a passo, como desenvolver, pré-treinar e ajustar um modelo parecido com o ChatGPT.
Edição: Anderson Gomes
· 3 min de leitura
Quem quer construir um modelo de linguagem por dentro encontra no rasbt/LLMs-from-scratch código para criar um LLM parecido com o ChatGPT em PyTorch. Sebastian Raschka publicou o repositório em 2023-07-23, com etapas de desenvolvimento, pré-treinamento e finetuning. O projeto soma 101.422 estrelas, 15.560 forks e 3 issues abertas. Ele serve para estudantes, pesquisadores e desenvolvedores que aceitam montar um modelo pequeno para fins educacionais, não para quem busca um chatbot pronto.
O projeto cobre treinamento, atenção e ajuste fino
O README organiza o aprendizado em torno da construção de um modelo GPT-like a partir do zero. O código acompanha cada etapa e usa texto, diagramas e exemplos para explicar como os grandes modelos de linguagem funcionam internamente. A descrição oficial resume o objetivo como “Implement a ChatGPT-like LLM in PyTorch from scratch, step by step”.
A implementação reproduz, em escala educacional, o caminho usado para desenvolver modelos fundamentais de grande porte. O README deixa claro que o resultado esperado é um modelo pequeno, mas funcional. Essa escolha reduz a promessa do projeto: ele ensina os mecanismos do treinamento, mas não oferece a capacidade de um serviço como o ChatGPT.
O repositório inclui código para pré-treinar o modelo e fazer finetuning. Também permite carregar pesos de modelos maiores já pré-treinados para ajuste fino. O README não informa quais modelos fornecem esses pesos, quais formatos o código aceita ou quais limites de memória aparecem durante o processo.
Os tópicos do projeto incluem attention-mechanism, deep-learning, instruction-tuning, generative-ai e language-model. A lista também cita ai, artificial-intelligence, finetuning, from-scratch e gpt. Esses termos mostram o escopo declarado, mas o material disponível não detalha o número de camadas, o tamanho do modelo ou a arquitetura exata usada em cada etapa.
A instalação começa com o download do repositório pelo botão Download ZIP ou pelo comando indicado no README. O arquivo setup/README.md orienta a instalação do Python e dos pacotes necessários. O texto disponível não informa a versão do Python, a versão do PyTorch, o comando completo nem o hardware exigido.
O primeiro uso exige configurar o ambiente antes de executar os notebooks. A documentação não informa quanto tempo o treinamento leva, quanta memória ele consome ou se uma GPU é necessária. Também não descreve nenhum serviço externo obrigatório, API, endpoint ou conta de nuvem; portanto, não há base para atribuir ao projeto uma dependência externa específica.
O repositório tem 1112 dias de idade e recebeu o último commit em 2026-08-08. O GitHub registra 3 issues abertas, dado que sugere pouca pendência pública no momento, mas não substitui suporte formal. A página não informa uma versão mais recente, então equipes não conseguem usar um número de versão declarado para fixar o ambiente.
O campo de licença aparece como não declarada. Isso impede afirmar, com base nos dados disponíveis, quais permissões o projeto concede para copiar, modificar ou distribuir o código. Empresas que precisam de autorização jurídica clara não devem incorporar o repositório sem revisar a licença e os arquivos do projeto.
A ferramenta também não serve para quem precisa de desempenho garantido, compatibilidade definida ou um modelo pronto para produção. O repositório entrega código educacional, notebooks e instruções de montagem, mas não declara métricas, requisitos de hardware, versão estável ou acordo de suporte.
- Jupyter Notebook
- Modelos e LLMs
- Trendshift
OpenAI lança Astra e Sol: modelos que custam até 95% menos em benchmarks
A OpenAI lançou hoje os modelos GPT‑6.2 Astra e GPT‑6.2 Sol, que entregam até três vezes mais performance por dólar em benchmarks de tarefas complexas.
· 3 min de leitura

Proton lança Lumo Desktop para Windows, macOS e Linux
· 3 min de leitura

Gemini faz tarefas por você em 6 países sem pagar nada
· 3 min de leitura

RunanywhereAI lança TrnRT: inferência de LLM em Trainium2 com 1M tokens
· 2 min de leitura