Desvio no chip Apple M3 eleva taxa do Llama de 10 para 24 tokens/s

Queda de vazão atinge pesos alinhados em múltiplos de 1 MiB

O estrangulamento surge quando o volume de pesos da rede neural coincide com múltiplos inteiros de 1 MiB. Durante testes com decodificação de token único na dimensão N em 4096, Yoon notou que a dimensão D em 1536 operava quase três vezes mais rápido do que D em 2048, padrão original do Llama 3.2. Em medições estáticas no MacBook Air M3, o tempo de execução mediano saltou de 316,5 para 995,4 microssegundos. O silício perdeu fôlego.

Uma varredura fina ao redor do ponto crítico revelou que a taxa atinge 44,5 GB/s em D igual a 2016 e despenca para 16,93 GB/s em 2048. Essa diferença representa uma perda direta de 27,57 GB/s na largura de banda, ou 61,96% a menos de rendimento na DRAM. A análise com transformada de Fourier expôs uma oscilação harmônica no controlador de memória com vales periódicos a cada 2048 linhas que castigam 7 dos 15 modelos da biblioteca ANEMLL. A vazão normaliza 256 linhas depois.

A discussão técnica com 36 comentários destacou surpresa com a falha e debateu a terminologia do problema. O leitor bee_rider questionou o termo empregado na publicação: "Bela investigação. É sempre surpreendente para mim quando um número redondo agradável como 1MiB resulta na configuração de 'mau desempenho' (embora isso aconteça). Você tem certeza de que erratum é a palavra certa neste contexto? Costumo vê-la usada para descrever o aviso de que um documento contém um erro". O participante nelsonfigueroa comentou a pesquisa: "Isso passa muito por cima da minha cabeça e eu não entendo a maior parte disso lol. Notei que você ainda está no meio da graduação e já está escrevendo coisas como essa... incrível". A autora mapeou dezenas de registradores.

Desenvolvedores divergem sobre esperar a Apple ou alterar software

A comunidade diverge sobre a responsabilidade de contornar a limitação física do circuito. O leitor imnotr0b0t expôs a dúvida central: "Isso é meio insano. Isso pode ser corrigido principalmente em software, ou os usuários do M3 estão basicamente presos a menos que os próprios aplicativos criem contornos? Ir de 10 para 24 tok/s apenas com uma solução alternativa é um salto bem louco". Todos os analistas concordam que o ganho prático existe, pois evitar o anel de pré-busca especulativa do DMA elevou o uso de DRAM de 24,7 para 60,0 GB/s no Llama 3.2 1B e acelerou o Qwen3-8B de 1,36 para 2,97 tokens por segundo com consumo de 48,7 GB/s. O ganho prático comprovou a tese.

O teste repetiu 40 execuções sob mesma temperatura e comprovou que o barramento LPDDR-6400 de 128 bits a 6,4 GT/s entrega 102,4 GB/s teóricos, mas sofre com falta de créditos nas filas de emissão. A Apple ainda não declarou se atualizará os drivers oficiais do macOS ou se deixará a tarefa para os mantenedores de código aberto. Para quem toma decisões técnicas em IA local, a escolha imediata fica entre reconfigurar tensores para fugir do alinhamento de 1 MiB ou aceitar a lentidão nos modelos padrão. A decisão cabe a cada equipe.