Analyse approfondie · Environ 4 min de lecture
Apple détaille l'inférence répartie entre Mac avec MLX et RDMA
Le rapport du 15 octobre sépare capacité mémoire, préremplissage et décodage ; quatre Mac ne garantissent pas un gain universel.
- Date de la source
- Publié ici
- Source vérifiée
Apple combine mémoire unifiée et RDMA sur Thunderbolt pour répartir l'inférence. Muse Spark Open atteint 36,73 tokens par seconde sur quatre M5 Ultra avec 8 192 tokens de contexte. C'est un benchmark local précis, pas le lancement des modèles utilisés, un abonnement ni une garantie pour tous les agents.
Écouter les actualités
Écoutez cet article ou poursuivez la lecture des actualités.
Préparation de la lecture…
Voix de l’appareil
La voix est traitée par votre navigateur ou appareil. AISubHub n’envoie pas le texte à une API audio. Les voix et la lecture écran verrouillé dépendent de l’appareil.
La reprise peut répéter une courte phrase.
En bref
- Muse compte 816B paramètres au total et 42B actifs ; son format NVFP4 occupe environ 493Go, mais les calculs intermédiaires empêchent de tenir sur un seul Mac de 512Go.
- Le pipeline répartit les couches en profondeur ; le parallélisme tensoriel divise chaque couche et réclame de fréquents échanges à faible latence.
- Le gain TTFT maximal de 4,6× compare un M5 et un M3 avec Qwen et Mistral, pas Muse à une machine unique impossible.
Capacité et vitesse sont deux questions
Apple utilise mlx_lm.benchmark, un lot de taille un et 128 tokens générés après 8 192 ou 65 536 tokens de contexte. Le délai du premier token, le débit de décodage et la puissance maximale sont distincts. Muse est évalué en NVFP4, Mistral Medium 3.5 en FP8 et Qwen 3.8 en BF16. Moins de paramètres actifs réduit les calculs, pas les poids à charger d'un modèle à experts. Les seuls poids BF16 de Muse dépasseraient 1,6To ; environ 493Go quantifiés et les intermédiaires ne tiennent pas dans 512Go. Répartir résout d'abord la capacité, sans accélération automatique.
Ce que changent les deux répartitions
Le pipeline place les premières couches sur un Mac et les suivantes sur un autre. Le décodage reste surtout séquentiel, donc proche d'une seule machine pour les modèles qui y tiennent. Le préremplissage long peut chevaucher les blocs entre étapes. Le parallélisme tensoriel calcule des fractions de chaque couche simultanément mais multiplie les petites communications. Apple utilise macOS 26.2, RDMA sur Thunderbolt 5, jaccl dans MLX 0.30.1 ou ultérieur et deux câbles par liaison. La synchronisation rapide CPU–GPU de l'exemple est expérimentale, pas universellement activée.
Garder la bonne référence de comparaison
À 8 192 tokens, Muse passe de 15,74 tokens/s en pipeline sur deux machines à 24,99 en tensoriel sur deux, puis 36,73 sur quatre. Ce n'est pas une comparaison à un seul Mac. Les gains jusqu'à 4,6× en TTFT et environ 1,6× en décodage concernent Qwen et Mistral, M5 contre M3 individuels. À 65 536 tokens, le préremplissage tensoriel de Muse sur deux machines est moins rapide que le pipeline à cause des échanges de normalisation des experts ; quatre améliorent le compromis. Une autre expérience sur quatre machines et contexte long réduit TTFT d'environ 50,5 à 40,6 secondes avec deux câbles. Ces conditions restent attachées aux chiffres.
L'agent local reste une affaire de système
Des exemples de lancement et de serveur relient MLX à un client de programmation agentique. Ils montrent une configuration, pas tous les outils, niveaux de concurrence ou critères de qualité. Les pics d'environ 200W sur M3 et 300W sur M5 concernent une machine, pas le total du groupe de quatre. Notre analyse sépare capacité mémoire, traitement du prompt, génération et réseau. Plus de machines peuvent rendre un modèle utilisable sans accélération proportionnelle lorsque les échanges dominent. Coût, énergie complète et fiabilité concurrente demandent encore une évaluation.
Pourquoi cela compte
L'intérêt est une route documentée au-delà de la mémoire d'un Mac, avec compromis capacité–latence. Elle peut aider à préparer des expériences privées. AISubHub n'a ni exécuté les benchmarks, acheté ou configuré le groupe, démarré le serveur, ni mesuré un agent en production.
Limites et disponibilité
Nous avons lu l'article complet et ses tableaux visibles par défaut, sans réplication indépendante. Format, contexte, longueur générée, logiciel et câbles conditionnent les résultats. Ils ne constituent ni lancement de modèle, classement de qualité, droits d'abonnement ou bilan énergétique du groupe entier.
Sources et preuves
Date de la source: 15 oct. 2026 · Source vérifiée: 20 oct. 2026
Articles assistés par IA, vérifiés avec les sources primaires citées. Les affirmations des fournisseurs sont attribuées ; la présence ne vaut pas recommandation.