Vertiefende Analyse · Etwa 4 Min. Lesezeit
llm-d 1.0 adressiert den Betrieb großer Inferenzsysteme
Der offene Stack ergänzt Mandantenfairness, Upgrade-Steuerung und Sitzungsbezug; Kosten- und Durchsatzbeispiele bleiben lastabhängig.
- Datum der Quelle
- Hier veröffentlicht
- Quelle geprüft
Laut IBMs offizieller Mitteilung veröffentlichten die Mitwirkenden llm-d 1.0 am 20. Oktober. Es ist Infrastruktur für Modelle, kein neues Modell. Im Mittelpunkt steht die Zeit nach dem ersten Einsatz: Kapazität teilen, verteilte Komponenten aktualisieren und Kontext über Agentenschritte wiederverwenden. Leistungsbeispiele sind von diesen Funktionen getrennt zu lesen.
Nachrichten anhören
Diesen Artikel vorlesen oder mit den Nachrichten fortfahren.
Vorlesen wird vorbereitet…
Gerätestimme
Browser oder Gerät verarbeiten die Sprache. AISubHub sendet den Text nicht an eine Audio-API. Stimmen und Wiedergabe bei gesperrtem Bildschirm hängen vom Gerät ab.
Beim Fortsetzen kann sich ein kurzer Satzteil wiederholen.
Auf einen Blick
- Neu sind prioritäts- und fairnessbewusste Flusssteuerung, hochverfügbare Router, koordinierte Replica-Upgrades, eine v1-Konfigurations-API und sitzungsbezogenes Serving.
- Fünf- bis zehnfach niedrigere Tokenkosten vergleichen einen bestimmten Agenteneinsatz mit kommerziellen APIs bei aktuellen Cloudmieten, nicht sämtliche Lasten.
- Ein Quantenhardware-Beispiel kombiniert offene Modelle mit llm-d; 0,11 Dollar je Million Token gemischte Servingkosten sind kein öffentlicher API-Tarif.
Ein Serving-Meilenstein, kein Modellstart
Das Projekt begann 2025 mit Red Hat, IBM, Google Cloud, CoreWeave und NVIDIA und wird laut Mitteilung inzwischen von der Cloud Native Computing Foundation getragen. Über 500 Mitwirkende aus mehr als 25 Organisationen beteiligen sich. Es koordiniert verteilte Inferenz auf heterogener Infrastruktur, statt das beste Modell auszuwählen oder Zugangsrechte zu vergeben. Genannt werden Modellserver wie vLLM und SGLang. Ein gemeinsamer offener Unterbau kann doppelte Entwicklungsarbeit reduzieren, liefert aber nicht automatisch Hardware, einen verwalteten Endpunkt oder die Lizenz für jedes genannte Modell.
Neues von vorhandenen Grundlagen trennen
Cache- und lastbewusstes Routing, KV-Auslagerung, Prefill/Decode-Trennung, Expertenparallelität und Batch- oder asynchrone Inferenz beschreibt die Mitteilung als vorhandene Grundlagen. Version 1.0 ergänzt Betriebsstruktur. Priorität und Fairness teilen Kapazität zwischen latenzkritischen und schubweisen Anfragen. Hot-Standby-Router und rollende Updates unterstützen Kontinuität; Prefill/Decode-Replikate werden gemeinsam logisch verwaltet und aktualisiert. Die v1-API stabilisiert Konfiguration. Sitzungsrouting nahe am Cache, Turn-Priorität und Responses-API-Zustand zielen auf Agenten. Das sind ergänzende Mechanismen, kein Schalter für garantierte Ausfallfreiheit bei jedem Fehler.
Benchmarkzahlen im jeweiligen Versuch belassen
IBM beschreibt einen GLM-5.2-Test mit ungefähr 753 Milliarden Parametern auf NVIDIA-Hardware. Agentenlasten erreichten über 6,6 Millionen Ausgabetoken je Minute in der Spitze, bis zu 3.000 parallele Coding-Agenten und null Verdrängungen in diesem Einsatz. Bei aktuellen Cloudmieten lagen geschätzte Tokenkosten fünf- bis zehnfach unter entsprechenden kommerziellen APIs, besonders bei eingabelastigem Verkehr. Das sind berichtete Testbedingungen, kein neues GLM und kein allgemeiner Preis. Der Titel nennt zudem dreifachen Ausgabedurchsatz aus einer anderen Demonstration. Alle Verbesserungen sind nicht gemeinsam für eine Konfiguration belegt; AISubHub hat die verlinkten Studien nicht gelesen oder reproduziert.
Das Quantenbeispiel misst ein Gesamtsystem
Ein weiterer Fall verwendet offene Modelle und llm-d zur Erforschung von Hardware für Quantenfehlerkorrektur. IBM nennt 11,5-fach geringere Inferenzkosten als bei einer vollständig proprietären Konfiguration, etwa 98% Präfix-Cachetreffer und rund 0,11 Dollar je Million Token gemischte Servingkosten. Gleichzeitiger Modell- und Infrastrukturwechsel erlaubt keine vollständige Zuordnung zu llm-d. Die Zahl ist auch kein kaufbares Angebot. Kontextreiche Agenten nutzen Präfixe wieder; andere Prompts, Trefferquoten, Mieten und Auslastungen verändern die Wirtschaftlichkeit. Teams brauchen eigene Lastabrechnungen, bevor sie ein attraktives Beispiel in ein Budget verwandeln.
Betriebsreife ist die eigentliche Nachricht
Die Mitteilung zitiert Cloud-, Modell- und Unternehmensexperten mit verschiedenen Einsätzen. Manche beschreiben bestehende Nutzung, andere Integration oder künftige Hardwareunterstützung; daraus folgt keine gleichzeitige Verfügbarkeit überall. Übertragbar ist, Mandantenisolation, Planung, Cache und Upgrades als System statt isolierten Durchsatztest zu betrachten. Unsere Einordnung: 1.0 macht diese Verantwortung ausdrücklicher. Einsatzwahl, Ressourcen, Modelllizenzen und Validierung bleiben bei Anwendern. Eine Funktion ohne Ausfallzeit ist keine unabhängig geprüfte SLA-Garantie, und Durchsatz misst keine Antwortqualität.
Warum es wichtig ist
Für Agenteninfrastruktur und offene Alternativen verbindet die Veröffentlichung Kosten mit Kontext und Betrieb, nicht mit billigeren Modellabonnements. AISubHub hat den Stack nicht installiert, Demonstrationen nicht ausgeführt und Zuverlässigkeit nicht gemessen. Anwendungen müssen eigene Bedingungen prüfen.
Grenzen und Verfügbarkeit
Die Evidenz ist IBMs Mitteilung samt Beschreibungen getrennter Tests. Vollständige Methodik und Hardwarebudgets fehlen im Text; verlinkte Studien wurden hier nicht unabhängig geprüft. Einsparungen, Spitzenwerte und Cachezahlen sind zugeschriebene Beispiele, keine allgemeinen Garantien oder verbindlichen Abopreise.
Quellen und Belege
Datum der Quelle: 20.10.2026 · Quelle geprüft: 20.10.2026
KI-gestützte redaktionelle Beiträge, anhand der genannten Primärquellen geprüft. Anbieterangaben werden zugeordnet; eine Aufnahme ist keine Empfehlung.