Vertiefende Analyse · Etwa 3 Min. Lesezeit
Apple erklärt verteilte Modellinferenz mit MLX und RDMA auf mehreren Macs
Der Bericht vom 15. Oktober trennt Speicherbedarf, Prefill und Decodierung; vier Macs liefern keine allgemeine Geschwindigkeits- oder Energiegarantie.
- Datum der Quelle
- Hier veröffentlicht
- Quelle geprüft
Apple verbindet gemeinsamen Speicher mit Thunderbolt-RDMA für verteilte Inferenz. Muse Spark Open erreicht auf vier M5 Ultra bei 8.192 Kontexttokens 36,73 Ausgabetokens pro Sekunde. Das ist ein konkreter lokaler Benchmark, keine neue Veröffentlichung der Beispielmodelle, kein Cloudabo und keine Garantie für jeden Agenten.
Nachrichten anhören
Diesen Artikel vorlesen oder mit den Nachrichten fortfahren.
Vorlesen wird vorbereitet…
Gerätestimme
Browser oder Gerät verarbeiten die Sprache. AISubHub sendet den Text nicht an eine Audio-API. Stimmen und Wiedergabe bei gesperrtem Bildschirm hängen vom Gerät ab.
Beim Fortsetzen kann sich ein kurzer Satzteil wiederholen.
Auf einen Blick
- Muse besitzt insgesamt 816B und aktiv 42B Parameter. NVFP4 reduziert den Modellbedarf auf etwa 493GB, doch Zwischenberechnungen verhindern das Laden auf einem einzelnen 512GB-Mac.
- Pipeline verteilt Schichten in der Tiefe, Tensorparallelisierung teilt jede Schicht und braucht häufige Kommunikation mit geringer Latenz.
- Bis zu 4,6× besserer TTFT vergleicht einzelne M5 und M3 für Qwen und Mistral, nicht Muse mit einer unmöglichen Einzel-Mac-Basis.
Kapazität ist nicht Geschwindigkeit
Apple nutzt mlx_lm.benchmark, Batchgröße eins und 128 generierte Tokens nach 8.192 oder 65.536 Kontexttokens. Gemessen werden erster Token, Decodierungsdurchsatz und Spitzenleistung getrennt. Muse läuft in NVFP4, Mistral Medium 3.5 in FP8 und Qwen 3.8 in BF16. Weniger aktive Parameter verringern Berechnung, nicht sämtliche zu ladenden Expertengewichte. Allein Muses BF16-Gewichte bräuchten über 1,6TB; selbst rund 493GB quantisiert plus Zwischenwerte passen nicht in 512GB. Verteilung löst zuerst das Kapazitätsproblem und beschleunigt Ausgabe nicht automatisch.
Was Pipeline und Tensoraufteilung verändern
Bei zwei Pipeline-Macs hält einer frühe, der andere spätere Schichten. Decodierung bleibt weitgehend sequenziell und ähnelt für passende Modelle einem Einzelrechner. Langer Prefill kann Blöcke über Stufen überlappen. Tensorparallelisierung berechnet Teile jeder Schicht gleichzeitig, erfordert aber viele kleine Übertragungen. Der Aufbau verwendet macOS 26.2 mit Thunderbolt-5-RDMA, jaccl ab MLX 0.30.1 und zwei Kabel pro Verbindung. Die schnelle CPU–GPU-Synchronisierung im Beispiel ist experimentell und kein allgemeiner Standard.
Nur mit passender Basis vergleichen
Bei sichtbaren 8.192 Tokens steigt Muses Decodierung von 15,74 Tokens/s mit zwei Pipeline-Macs auf 24,99 mit zwei Tensor-Macs und 36,73 mit vier. Das ist kein Einzelrechnervergleich. Bis zu 4,6× TTFT und etwa 1,6× Decodierung betreffen Qwen und Mistral auf einzelnen M5 versus M3. Bei 65.536 Tokens ist Muses Zwei-Mac-Tensor-Prefill wegen Expertennormalisierungskommunikation langsamer als die Pipeline; vier Maschinen verbessern den Kompromiss. In einem weiteren Vier-Mac-Langkontextversuch senken zwei Kabel TTFT von etwa 50,5 auf 40,6 Sekunden. Kontext und Topologie dürfen nicht vom Messwert getrennt werden.
Lokale Agenten brauchen Systembewertung
Start- und Serverbeispiele verbinden MLX mit einem agentischen Programmierclient. Sie zeigen Konfiguration, nicht Tests sämtlicher Werkzeuge, Parallelzugriffe oder Qualitätsanforderungen. Rund 200W M3 und 300W M5 Spitzenverbrauch stammen aus Einzelrechnertests, nicht vom Vierercluster. Unsere Einordnung trennt Speicherplatz, Promptverarbeitung, Ausgabetempo und Netzwerk. Mehr Rechner können ein Modell ermöglichen, ohne proportional schneller zu werden, besonders bei dominanter Kommunikation. Kosten, Gesamtenergie und Zuverlässigkeit unter paralleler Last bleiben eigene Fragen.
Warum es wichtig ist
Nützlich ist der dokumentierte Weg über die Speichergrenze eines Macs hinaus samt Kapazitäts-Latenz-Abwägungen. Er kann private Experimente planen helfen. AISubHub hat weder Benchmarks ausgeführt noch Hardware gekauft noch den Cluster eingerichtet noch einen Server gestartet noch produktive Agentenleistung gemessen.
Grenzen und Verfügbarkeit
Wir lasen den vollständigen Technikartikel und seine standardmäßig sichtbaren Tabellen, ohne unabhängige Replikation. Format, Kontext, Ausgabelänge, Software und Kabel bestimmen Ergebnisse. Daraus werden weder Modellneuvorstellung, Qualitätsrang, Aboanspruch noch Gesamtenergie des Clusters abgeleitet.
Quellen und Belege
Datum der Quelle: 15.10.2026 · Quelle geprüft: 20.10.2026
KI-gestützte redaktionelle Beiträge, anhand der genannten Primärquellen geprüft. Anbieterangaben werden zugeordnet; eine Aufnahme ist keine Empfehlung.