Vertiefende Analyse · Etwa 3 Min. Lesezeit
StaGPO untersucht Agenten bei unvollständigen simulierten Antworten
Gruppierung nach Bedarf und Informationslücken hilft bestimmten Trainingsrezepten, beweist aber keine gute Interaktion mit Menschen.
- Hier veröffentlicht
- Datum der Quelle
- Quelle geprüft
Der Notre-Dame-Preprint vom 16. Oktober schlägt StaGPO zum Lernen mit ausgeblendeten Sätzen vor und berichtet begrenzte Verbesserungen bei Qwen3.5.
Nachrichten anhören
Diesen Artikel vorlesen oder mit den Nachrichten fortfahren.
Vorlesen wird vorbereitet…
Gerätestimme
Browser oder Gerät verarbeiten die Sprache. AISubHub sendet den Text nicht an eine Audio-API. Stimmen und Wiedergabe bei gesperrtem Bildschirm hängen vom Gerät ab.
Beim Fortsetzen kann sich ein kurzer Satzteil wiederholen.
Auf einen Blick
- Bei ToolWOZ und Maske 0.4 erreicht das 2B-Rezept 76.8%, gegenüber GRPO ab Basismodell 72.0% und InfoPO 74.0%.
- Zum Rezept gehören 33 eigene Dialoge als überwachter Start; ohne ihn erreicht StaGPO 67.1%, unter GRPO 72.0%.
Was schwacher Nutzer hier bedeutet
Es werden keine Fähigkeiten realer Kunden bewertet. Aufgabe, Wissen und Ziele des Simulators bleiben gleich; Sätze werden durch eine explizite Unhörbar-Markierung ersetzt. Die erste Nachricht bleibt unverändert, der Simulator sieht seine vollständige Historie. Verwendet wird gpt-oss-120b mit nominalen Raten 0, 0.2 und 0.4.
Das isoliert Kanalverlust, nicht jede menschliche Unklarheit, Falschaussage oder Widersprüchlichkeit. Stille Auslassungen ohne Marker sind ungetestet. Trainiert werden nichtdenkende Qwen3.5-2B und 4B mit LoRA auf ToolWOZ-Buchungen und tau2-Einzelhandel, keine allgemeinen Chat-Abos.
Mehr Übung und Fragen reichen nicht
Unter Standard-GRPO schlagen feste und gemischte Masken sowie Curriculum das Training mit vollständigen Antworten nicht zuverlässig jenseits des Rauschens. Ein kleinerer Rückgang kann von einem schlechteren Ausgangsniveau kommen. Dieses Niveau und das maskierte Ergebnis müssen gemeinsam verglichen werden.
Auch mehr Fragen per Prompt liefern hier keinen zuverlässigen Erfolg. Klärung ist damit nicht nutzlos: Eine gezielte Rückfrage hilft teilweise in geprüften kontrafaktischen Präfixen. Frühere falsch ausgerichtete Labels dieser Diagnose werden korrigiert. Entscheidend ist die geschlossene Aufgabenlücke statt der Fragenzahl.
Zustand als Gruppenschlüssel
Vor jeder Aktion schreibt StaGPO einen verborgenen Zustand zu Bedarf, Lücken und Werkzeugergebnissen. Ein domänenspezifischer Schlüssel gruppiert vergleichbare Züge verschiedener Verläufe derselben Aufgabe anhand bekannter Felder und Ergebnistypen, ohne identischen Text oder identische Werte.
Ein schrittweiser Vorteil aus diskontierten Ergebnissen relativ zur Gruppe ergänzt GRPOs Episodenkredit; ohne Gruppe bleibt der normale Kredit. Der Zustand wird nicht als unfehlbare Wahrheit überwacht: Konsistente Schlüssel können trotz falscher Inhalte helfen. Zustand auszudrucken ist ein anderer Eingriff als die Lernzuordnung zu ändern.
Die Startbedingung hinter 76.8%
ToolWOZ bei Maske 0.4 liefert 76.8%, 4.8 Prozentpunkte über GRPO 72.0% und 2.8 über InfoPO 74.0%. Das ist Aufgabenerfolg, keine Effizienz oder Zufriedenheit. Das Rezept nutzt 33 erfolgreiche selbst erzeugte Dialoge zur Supervision, ohne stärkeres Lehrermodell.
Bei gleichem Start erzielt Zustandsschreiben ohne Gruppierung 60.1%, mit ihr 76.8%. Ohne überwachten Start fällt StaGPO auf 67.1%, unter Basis-GRPO 72.0%. Unabhängigkeit der Initialisierung ist nicht belegt. Bei tau2-retail 4B liegt der Vorsprung vor dem nächsten Hybrid nur bei einem Punkt, im Messrauschen.
Was vor menschlicher Nutzung fehlt
Die StaGPO-ToolWOZ-Studie nutzt 30 Validierungs- und 70 Testaufgaben, je zwei Auswertungen. Einige 2B-Konfigurationen haben drei Trainingsläufe, viele 4B nur einen. Gepaarte Fehler erfassen Aufgabe und Simulator, nicht automatisch Trainingsvarianz. Maskentransfer bleibt im simulierten Protokoll.
Endzustandsbelohnung misst nicht alles, etwa Bestätigung vor Aktionen. Wir schlagen stille Lücken, Widersprüche, Zustimmung und teure Fehler als zusätzliche Prüfungen vor, nicht als bewiesene Fähigkeiten. Menschen, andere Simulatoren und gelernte Gruppierung bleiben offen; neue API-Preise oder Aborechte folgen nicht.
Warum es wichtig ist
AISubHub-Analyse: Informationsverlust, Zustand, nützliche Aktion und Erfolg getrennt prüfen. Mehr Fragen oder Zustandstext ersetzen keine passende Lernzuordnung.
Grenzen und Verfügbarkeit
Wir lasen die vollständigen 22 Seiten v1 samt Anhängen und Historie. Begutachtung läuft, Autoren-Simulation ohne Menschen oder unsere Replikation. Eine Familie, zwei Größen und Domänenschlüssel begrenzen die Aussage.
Quellen und Belege
Datum der Quelle: · Quelle geprüft:
Weiterführende Quellen
Quelle geprüft:
KI-gestützte redaktionelle Beiträge, anhand der genannten Primärquellen geprüft. Anbieterangaben werden zugeordnet; eine Aufnahme ist keine Empfehlung.