Análise aprofundada · Cerca de 4 min de leitura
Apple explica como MLX e RDMA distribuem inferência por vários Macs
O relato de 15 de outubro separa capacidade, prefill e decodificação; o resultado com quatro Macs não garante velocidade ou energia universais.
- Data da fonte
- Publicado aqui
- Fonte verificada
Apple combina memória unificada e RDMA por Thunderbolt para inferência distribuída. Muse Spark Open chega a 36,73 tokens por segundo em quatro M5 Ultra com contexto de 8.192 tokens. É um teste local específico, não lançamento dos modelos usados, assinatura de nuvem ou garantia para qualquer agente.
Ouça as notícias
Ouça este artigo ou continue ouvindo as notícias.
Preparando a leitura…
Voz do dispositivo
O navegador ou dispositivo processa a voz. O AISubHub não envia o texto a uma API de áudio. As vozes e a reprodução com a tela bloqueada variam conforme o dispositivo.
Ao continuar, uma frase curta pode se repetir.
Resumo
- Muse tem 816B parâmetros totais e 42B ativos; NVFP4 reduz a ocupação a cerca de 493GB, mas intermediários impedem caber num único Mac de 512GB.
- Pipeline divide camadas em profundidade; paralelismo tensorial divide cada camada e exige comunicação frequente de baixa latência.
- Até 4,6× em TTFT refere-se a M5 versus M3 individuais com Qwen e Mistral, não Muse contra uma máquina única inviável.
Capacidade não é velocidade
Apple usa mlx_lm.benchmark com lote um e geração de 128 tokens após contextos de 8.192 ou 65.536. Mede primeiro token, decodificação e pico de potência separadamente. Muse é avaliado em NVFP4, Mistral Medium 3.5 em FP8 e Qwen 3.8 em BF16. Parâmetros ativos menores reduzem cálculo, não significam carregar somente os pesos ativos. Apenas os pesos BF16 de Muse excederiam 1,6TB; mesmo 493GB quantizados mais intermediários não cabem em 512GB. Distribuir resolve primeiro a capacidade e não garante geração mais rápida.
O que cada divisão muda
Pipeline armazena camadas iniciais num Mac e finais em outro. A decodificação permanece principalmente sequencial e parecida com uma máquina para modelos que cabem. O prefill longo pode sobrepor blocos entre estágios. A divisão tensorial calcula frações de cada camada simultaneamente, mas requer muitas pequenas comunicações. O ambiente usa macOS 26.2, RDMA sobre Thunderbolt 5, jaccl no MLX 0.30.1 ou posterior e dois cabos por ligação. A sincronização rápida CPU–GPU dos exemplos é experimental, não padrão universal.
Resultados exigem a referência correta
No contexto visível de 8.192 tokens, Muse produz 15,74 tokens/s com pipeline de duas máquinas, 24,99 com duas tensoriais e 36,73 com quatro. Não existe aqui uma comparação Muse de máquina única. Até 4,6× em TTFT e cerca de 1,6× em decodificação comparam Qwen e Mistral em M5 e M3 individuais. Com 65.536 tokens, o prefill tensorial de Muse em duas máquinas perde para pipeline pela comunicação da normalização dos especialistas; quatro melhoram a troca. Noutro teste de quatro máquinas e contexto longo, duplicar cabos baixa TTFT de cerca de 50,5 para 40,6 segundos. Contexto e topologia são condições essenciais.
Agentes locais ainda precisam de avaliação completa
Há exemplos de lançamento e servidor que conectam MLX a cliente de programação com agentes. Isso oferece uma configuração, não testes de todo fluxo, concorrência ou qualidade. Picos de aproximadamente 200W no M3 e 300W no M5 pertencem aos testes de uma máquina, não ao total de quatro. Nossa análise separa caber na memória, processar prompt, gerar saída e comunicar. Mais máquinas podem viabilizar um modelo sem ganho proporcional de velocidade. Custo, energia do sistema e confiabilidade concorrente continuam questões próprias.
Por que importa
O avanço útil é um caminho documentado para ir além da memória de uma máquina, explicitando capacidade e latência. Pode orientar experimentos privados. AISubHub não rodou testes, não comprou nem configurou o conjunto, não iniciou servidor e não mediu agentes em produção.
Limites e disponibilidade
Lemos o artigo completo e as tabelas padrão visíveis, não uma reprodução independente. Formato, contexto, extensão da geração, software e cabos condicionam os resultados. Não são lançamento de modelo, ranking de qualidade, assinatura ou consumo total do conjunto.
Fontes e evidências
Data da fonte: 15 de out. de 2026 · Fonte verificada: 20 de out. de 2026
Conteúdo editorial com apoio de IA, verificado em fontes primárias. Alegações dos fornecedores são atribuídas; inclusão não é recomendação.