Vertiefende Analyse · Etwa 6 Min. Lesezeit
AWS-Leitfaden zu mehrzügigem RL bezieht Belohnung, Decodierung und Gesamtrechnung in das Ergebnis ein
Ein Wordle-Tutorial für SageMaker AI meldet Verbesserungen von gpt-oss-20b und zeigt, warum Evaluationsbedingungen, Belohnungsfehler und AgentCore-Kosten sichtbar bleiben müssen.
- Hier veröffentlicht
- Datum der Quelle
- Quelle geprüft
AWS hat einen weiterführenden Praxisleitfaden zu mehrzügigem Reinforcement Learning in SageMaker AI veröffentlicht. Der technische Artikel vom 23. Oktober trainiert gpt-oss-20b für Wordle und erläutert anschließend Belohnungsfehler, Betriebsprobleme und Evaluationsbedingungen. Er liefert neue Umsetzungserfahrungen zu einem bestehenden Dienst, statt die allgemeine Verfügbarkeit von Trainingssitzungen oder ein neues Basismodell erneut anzukündigen.
Nachrichten anhören
Diesen Artikel vorlesen oder mit den Nachrichten fortfahren.
Vorlesen wird vorbereitet…
Gerätestimme
Browser oder Gerät verarbeiten die Sprache. AISubHub sendet den Text nicht an eine Audio-API. Stimmen und Wiedergabe bei gesperrtem Bildschirm hängen vom Gerät ab.
Beim Fortsetzen kann sich ein kurzer Satzteil wiederholen.
Auf einen Blick
- Bei 128 zurückgehaltenen Wörtern meldet AWS 61%→84% gelöste Spiele mit mittlerem Denkaufwand und Temperatur 1.0; niedriger Denkaufwand ergibt bei derselben Temperatur 15%→69%.
- Der Lauf über 100 Schritte verarbeitete 105,486 Rollouts in 12h40m; die Modelltokengebühren für Prefill, Sampling und Training summierten sich auf $338.50. Ungefähr $79 für AgentCore kommen separat hinzu.
- Der Leitfaden zeigt, wie eine falsch gewichtete Belohnung langsamere Lösungen bevorzugte und weshalb 37% am Ende der Trainingsvalidierung nicht den 84% der Bereitstellungsevaluation entsprechen.
Trainiert wird auf eine Episode, nicht auf eine Musterantwort
Ein mehrstufiger Agent braucht Rückmeldung über seine Entscheidungsfolge, nicht nur eine Antwort zum Nachahmen. In der AWS-Architektur verwaltet SageMaker AI Trainingsauftrag und Policy-Modell; eine AgentCore-Laufzeit beherbergt Strands-Agent, Umgebung und Bewertung. Der Agent fordert einen Tipp vom Policy-Modell an, erhält Wordle-Rückmeldung und meldet am Spielende eine Belohnung. GRPO vergleicht mehrere Rollouts desselben Wortes und aktualisiert einen LoRA-Adapter. Fünf Buchstaben und sechs Versuche erleichtern die Bewertung; die Aufgabe dient dem Lernen und belegt keinen Produktionsablauf.
Das Beispiel trennt 640 Trainingswörter von 128 zurückgehaltenen Wörtern. Jede Trainingszeile enthält das geheime Wort für die Umgebung, niemals als Lösungshinweis für die Policy. Zielantworten oder beschriftete Trajektorien fehlen. Trainiert wird 100 Schritte lang mit 128 Wörtern pro Schritt und acht Spielen pro Wort, niedrigem Denkaufwand und Temperatur 1.0. Entscheidend ist diese Trennung: Eine funktionierende Belohnung und Umgebung liefern das Lernsignal, bleiben aber Verantwortung des Kunden.
Die Belohnung kann steigen, während sich das gewünschte Verhalten verschlechtert
Das erste Bewertungssystem summierte Boni nach jedem Tipp. Es konnte eine Niederlage mit+0.49, eine Lösung im ersten Versuch mit+0.99 und eine Lösung im dritten mit+1.61 bewerten. Damit belohnte es einen längeren Weg stärker als das bessere Ergebnis. Die endgültige Variante stellt den Episodenausgang in den Vordergrund: Ein Erfolg erhält von 1.55 beim ersten bis 1.05 beim sechsten Versuch; eine Niederlage−0.5, kein gültiger Tipp−1.5. Konsistenz mit Hinweisen, Wiederholungen und Informationsgewinn liefern kleinere formende Anpassungen.
Diese Anpassungen werden zwischen−1 und 1 begrenzt und bei gelösten Spielen mit 0.04, sonst mit 0.15 gewichtet. Ein früheres Erfolgsgewicht von 0.15 konnte weiterhin langsamere Lösungen begünstigen; die Verringerung trennt benachbarte Erfolgsintervalle und hält die schlechteste Lösung oberhalb der Erfolgsschwelle. AISubHub versteht die praktische Lehre so: reale Trajektorien prüfen und die Belohnungsreihenfolge mit dem beabsichtigten Verhalten vergleichen. Eine steigende Durchschnittsbelohnung allein belegt nicht, dass ein Agent das richtige Ziel gelernt hat.
Der hervorgehobene Gewinn hängt von Denkaufwand und Sampling ab
Bei 128 zurückgehaltenen Wörtern löst das Basismodell 61% und das trainierte 84% bei mittlerem Denkaufwand und Temperatur 1.0: eine Verbesserung um 23 Prozentpunkte. Die trainierten 84% mitteln zwei Läufe mit 80% und 88%. Bei niedrigem Denkaufwand und Temperatur 1.0 lautet der Vergleich 15%→69%, also 54 Punkte. Bei Temperatur 0 zeigt die Grafik stattdessen 2%→37% für niedrigen und 16%→30% für mittleren Aufwand. Das sind vier verschiedene Bedingungen, keine austauschbaren Schätzungen eines universellen Gewinns.
Die Validierung während des Trainings nutzt niedrigen Denkaufwand und die vom Dienst festgelegte Temperatur 0. Ihre Lösungsquote erreicht 48% bei Schritt 90 und endet bei 37%; der hervorgehobene Bereitstellungswert nutzt dagegen mittleren Aufwand und Sampling. Die Quelle führt den Unterschied ausdrücklich auf Decodierungseinstellungen zurück. Niedriger Aufwand benötigte in den Auswertungen der Autoren 63–83% weniger gesampelte Tokens je Spiel als mittlerer; eine entsprechende Senkung der gesamten Projektkosten ist damit nicht garantiert. Die Testmenge ist klein, und AWS belegt keine Ergebnisse für beliebige Werkzeuge, Sprachen oder Geschäftsaufgaben.
Trainingstokens sind nicht die gesamte Rechnung
Der gemeldete Lauf über 100 Schritte dauerte 12h40m und verarbeitete 105,486 Rollouts. Die Tabelle nennt 491,616,806 Prefill-Tokens zu $0.12 je Million für $58.99;159,737,098 gesampelte Tokens zu $0.30 für $47.92; sowie 643,308,554 Trainingstokens zu $0.36 für $231.59. Insgesamt sind es $338.50, gerundet ungefähr $339. Dies sind GPT-OSS-20B-Listenpreise in us-east-1 zum Artikelzeitpunkt. Wir behalten das$-Zeichen der Quelle bei, ohne unabhängig eine Währung zuzuweisen oder die Beträge als aktuelles universelles Angebot zu behandeln.
AgentCore-CPU und -Arbeitsspeicher kosten zusätzlich ungefähr $79, Evaluationsaufträge ungefähr $1.20. Prefill enthält erneutes Lesen des Gesprächsverlaufs; gesampelte Tokens enthalten Denken, und das Rückwärtsdurchlauf-Training ist der größte aufgeführte Posten. Längere Trajektorien wirken deshalb auf mehrere Zähler. Der Leitfaden warnt außerdem, dass AgentCore-, MLflow- und S3-Ressourcen nach dem Training fortbestehen können. AISubHub sieht ein nützliches Rechenbeispiel, hat aber keine Rechnung geprüft und keinen Gesamtpreis für alle verbleibenden Ressourcen und die spätere Bereitstellung ermittelt.
Laufzeitfehler können einen sonst gültigen Versuch zunichtemachen
Der Leitfaden dokumentiert Fehler, die ein einzelner Genauigkeitswert verdecken würde. Die Auftragsrolle benötigt den Vertrauensprinzipal job.sagemaker.amazonaws.com sowie AssumeRole- und TagSession-Berechtigungen. Ein Handler-Dekorator allein startet den Laufzeitserver nicht; das Beispiel braucht BedrockAgentCoreApp und einen äußersten entrypoint-Dekorator. Daten, Laufzeit und Auftrag müssen dieselbe Region verwenden. Eine erneute Laufzeitbereitstellung während des Trainings unterbricht Rollouts und kann den Auftrag scheitern lassen.
Zweiunddreißig gleichzeitige Rollouts machten auch abgelaufene zwischengespeicherte Zugangsdaten sichtbar; die Autoren beschreiben vorbeugende Erneuerung und erneutes Signieren nach einem Autorisierungsfehler. Tokenbudgets konnten keinen Platz für einen Werkzeugaufruf lassen, und eine zu hohe Lernrate konnte strukturierte Aufrufe in Klartext verwandeln. Die Gegenmaßnahmen sind Umsetzungserfahrungen, keine Zuverlässigkeitsgarantien. Wir haben die enthaltenen Codebeispiele gelesen, aber keine Abhängigkeiten installiert, AWS-APIs aufgerufen, Smoke-Tests ausgeführt, Adapter trainiert oder Korrekturen reproduziert.
Was sich über dieses Wordle-Beispiel hinaus übertragen lässt
Die Modelltabelle gilt nur zum Schreibzeitpunkt: Nova2Lite und GPT-OSS-20B in us-east-1 und us-west-2 sowie das an Instruktionen angepasste Gemma4 31B und Qwen3.6 27B in us-west-2, jeweils mit LoRA. Sie belegt keine Unterstützung aller Modelle, Regionen oder Konten. Der weiterführende Leitfaden kündigt auch diese Modelle oder den zuvor separat behandelten Start der Trainingssitzungen nicht erneut an.
Übertragbar ist der Entwurf, Aufgabenergebnis, formende Anreize, Bereitstellungskonfiguration und gesamte Ressourcenkosten getrennt zu prüfen. Ein Geschäftsprozess bräuchte eine eigene Umgebung, eine begründbare Belohnung und repräsentative zurückgehaltene Evaluation, bevor Nutzen behauptet wird. Unsere Lektüre umfasst den vollständigen Artikel, alle Tabellen und sieben notwendige statische Abbildungen. Verlinkte Dokumentationen, Forschungspapiere, Repository und Lizenzen wurden nicht geprüft; unabhängige Leistungs-, Preis- oder Sicherheitstests gab es nicht. Die Ergebnisse bleiben das begrenzte Wordle-Experiment von AWS.
Warum es wichtig ist
Der Leitfaden liefert konkrete Prüfungen für mehrzügiges Training: Belohnungsreihenfolge testen, identische Decodierung vergleichen und Modellarbeit wie Agentenlaufzeit budgetieren. Ob diese Entscheidungen einen anderen Ablauf verbessern, muss an diesem Ablauf gemessen werden.
Grenzen und Verfügbarkeit
AWS berichtet ein einzelnes Wordle-Experiment mit 128 zurückgehaltenen Wörtern; die hervorgehobene trainierte Quote mittelt zwei Läufe. Wir prüften Leitfaden und sieben Abbildungen, nicht verlinkte Dokumentationen, Repositories oder Lizenzen, und führten keine Trainings-, API-, Abrechnungs- oder Bereitstellungstests durch. Preise und Modell-/Regionsbedingungen beziehen sich auf den Quellenzeitpunkt.
Quellen und Belege
Datum der Quelle: · Quelle geprüft:
KI-gestützte redaktionelle Beiträge, anhand der genannten Primärquellen geprüft. Anbieterangaben werden zugeordnet; eine Aufnahme ist keine Empfehlung.