Analyse approfondie · Environ 8 min de lecture
Le guide AWS de RL à plusieurs tours intègre récompense, décodage et facture complète au résultat
Un tutoriel Wordle sur SageMaker AI rapporte des progrès de gpt-oss-20b et montre pourquoi les réglages d’évaluation, les erreurs de récompense et les coûts AgentCore doivent rester visibles.
- Publié ici
- Date de la source
- Source vérifiée
AWS a publié un nouveau guide pratique sur l’apprentissage par renforcement à plusieurs tours dans SageMaker AI. L’article technique du 23 octobre entraîne gpt-oss-20b à Wordle, puis détaille les échecs de récompense, problèmes d’exploitation et conditions d’évaluation. Il apporte de nouveaux éléments d’implémentation sur un service existant, sans réannoncer la disponibilité générale des sessions d’entraînement ni un nouveau modèle de base.
Écouter les actualités
Écoutez cet article ou poursuivez la lecture des actualités.
Préparation de la lecture…
Voix de l’appareil
La voix est traitée par votre navigateur ou appareil. AISubHub n’envoie pas le texte à une API audio. Les voix et la lecture écran verrouillé dépendent de l’appareil.
La reprise peut répéter une courte phrase.
En bref
- Sur 128 mots réservés à l’évaluation, AWS rapporte 61%→84% de parties résolues avec raisonnement moyen et température 1.0 ; un raisonnement faible à la même température donne 15%→69%.
- L’exécution de 100 étapes a utilisé 105,486 rollouts en 12h40m ; les frais de tokens du modèle —prefill, échantillonnage et entraînement— totalisent $338.50. Environ $79 d’AgentCore sont comptés séparément.
- Le guide montre comment une récompense mal pondérée favorisait les solutions lentes et pourquoi les 37% finaux de validation pendant l’entraînement ne correspondent pas aux 84% évalués en service.
La cible d’entraînement est un épisode, pas une réponse modèle
Un agent à plusieurs étapes a besoin d’un retour sur sa séquence de décisions, pas seulement d’une réponse à imiter. Dans l’architecture AWS, SageMaker AI gère le travail d’entraînement et le modèle de politique ; un environnement d’exécution AgentCore héberge l’agent Strands, l’environnement et la notation. L’agent demande une proposition au modèle, reçoit les indications de Wordle et transmet une récompense en fin de partie. GRPO compare plusieurs rollouts pour un même mot et actualise un adaptateur LoRA. Les cinq lettres et six essais rendent le résultat facile à noter ; c’est une tâche pédagogique, pas la preuve d’un processus de production.
L’exemple sépare 640 mots d’entraînement de 128 mots réservés. Chaque ligne transmet un mot secret à l’environnement, jamais comme indice de réponse à la politique. Il n’existe ni réponses cibles ni trajectoires étiquetées. L’entraînement utilise 100 étapes,128 mots par étape et huit parties par mot, avec effort de raisonnement faible et température 1.0. Cette séparation importe : un environnement et une récompense fonctionnels fournissent le signal d’apprentissage, mais restent à la charge du client.
La récompense peut monter tandis que le comportement recherché se dégrade
Le premier barème cumulait des bonus après chaque tentative. Il pouvait accorder+0.49 à une défaite,+0.99 à une solution au premier essai et+1.61 à une solution au troisième, récompensant un chemin plus long plutôt qu’un meilleur résultat. Le barème final donne la priorité au résultat de l’épisode : résoudre vaut de 1.55 au premier essai à 1.05 au sixième ; perdre vaut−0.5 et ne produire aucune proposition valide,−1.5. Cohérence avec les indices, répétition et gain d’information ajoutent des ajustements secondaires.
Ces ajustements sont bornés entre−1 et 1 et pondérés à 0.04 pour les parties résolues,0.15 sinon. Une ancienne pondération de 0.15 pour les réussites pouvait encore favoriser une résolution lente ; la réduire sépare les intervalles de réussite voisins et maintient la moins bonne solution au-dessus du seuil de succès. Selon l’analyse d’AISubHub, la leçon opérationnelle consiste à examiner les trajectoires réelles et comparer l’ordre des récompenses au comportement voulu. Une hausse de la récompense moyenne ne prouve pas, seule, que l’agent a appris le bon objectif.
Le gain principal dépend du raisonnement et de l’échantillonnage
Sur 128 mots réservés, le modèle de base résout 61% des parties et le modèle entraîné 84%, avec raisonnement moyen et température 1.0 : un gain de 23 points de pourcentage. Les 84% sont la moyenne de deux exécutions,80% et 88%. À effort faible et température 1.0, la comparaison devient 15%→69%, soit 54 points. À température 0, le graphique montre 2%→37% pour l’effort faible et 16%→30% pour l’effort moyen. Ce sont quatre conditions distinctes, pas des estimations interchangeables d’un gain universel.
Pendant l’entraînement, la validation utilise un raisonnement faible et une température 0 fixée par le service. Sa courbe atteint 48% à l’étape 90 et finit à 37%, alors que le chiffre principal en service emploie un effort moyen et l’échantillonnage. La source relie explicitement l’écart aux paramètres de décodage. L’effort faible a utilisé 63–83% de tokens échantillonnés en moins par partie dans les évaluations des auteurs ; cela ne garantit pas une réduction identique du coût total. L’ensemble réservé est petit et AWS n’établit pas de résultats pour des outils, langues ou tâches métier quelconques.
Les tokens d’entraînement ne constituent pas toute la facture
L’exécution de 100 étapes a duré 12h40m et traité 105,486 rollouts. Le tableau indique 491,616,806 tokens de prefill à $0.12 par million, soit $58.99 ;159,737,098 tokens échantillonnés à $0.30, soit $47.92 ; et 643,308,554 tokens d’entraînement à $0.36, soit $231.59. Le total est $338.50, arrondi à environ $339. Ce sont les prix catalogue GPT-OSS-20B dans us-east-1 au moment de l’article. Nous conservons le symbole$ de la source sans attribuer indépendamment une devise ni présenter ces montants comme une offre actuelle universelle.
CPU et mémoire AgentCore ajoutent environ $79 séparément, et les évaluations environ $1.20. Le prefill comprend la relecture de l’historique ; les tokens échantillonnés incluent le raisonnement, tandis que l’entraînement par rétropropagation représente le poste indiqué le plus élevé. Les trajectoires longues affectent donc plusieurs compteurs. Le guide prévient aussi que des ressources AgentCore, MLflow et S3 peuvent persister après l’entraînement. AISubHub y voit un exemple comptable utile, mais n’a vérifié aucune facture ni établi un coût global couvrant toutes les ressources conservées et le déploiement ultérieur.
Des pannes d’exécution peuvent compromettre une expérience valable
Le guide consigne des défaillances qu’un simple taux de précision masquerait. Le rôle du travail exige le principal de confiance job.sagemaker.amazonaws.com et les permissions AssumeRole et TagSession. Un décorateur de handler ne démarre pas à lui seul le serveur ; l’exemple nécessite BedrockAgentCoreApp et un décorateur entrypoint en position la plus externe. Données, environnement d’exécution et travail doivent partager la même région. Redéployer cet environnement pendant l’entraînement interrompt les rollouts et peut faire échouer le travail.
Trente-deux rollouts simultanés ont aussi révélé l’expiration d’identifiants en cache ; les auteurs décrivent leur renouvellement préventif et une nouvelle signature après un échec d’autorisation. Les budgets de tokens pouvaient ne laisser aucune place à un appel d’outil, et un taux d’apprentissage excessif pouvait transformer des appels structurés en texte simple. Ces mesures sont des leçons d’implémentation, pas des garanties de fiabilité. Nous avons lu le code fourni, sans installer les dépendances, appeler les API AWS, lancer le test minimal, entraîner un adaptateur ni reproduire les corrections.
Ce qui se transpose au-delà de ce tutoriel Wordle
La liste de modèles est limitée à la date de rédaction : Nova2Lite et GPT-OSS-20B dans us-east-1 et us-west-2, et Gemma4 31B adapté aux instructions ainsi que Qwen3.6 27B dans us-west-2, avec LoRA. Elle ne prouve pas la prise en charge de tous les modèles, régions ou comptes. Ce guide de suivi ne relance pas ces modèles ni le service distinct de sessions d’entraînement déjà traité auparavant.
Le principe transférable consiste à examiner séparément résultat de tâche, incitations de récompense, configuration en service et coût total des ressources. Un processus métier nécessiterait son propre environnement, une récompense justifiable et une évaluation réservée représentative avant d’affirmer un bénéfice. Nous avons lu l’article complet, tous les tableaux et sept figures statiques nécessaires. Documentation, publications scientifiques, dépôt et licences liés n’ont pas été audités ; aucun test indépendant de performance, prix ou sécurité n’a été mené. Les résultats restent l’expérience Wordle délimitée rapportée par AWS.
Pourquoi cela compte
Le guide fournit des moyens concrets d’examiner un entraînement à plusieurs tours : tester l’ordre des récompenses, comparer des décodages identiques et budgéter à la fois le modèle et l’exécution de l’agent. L’amélioration d’un autre processus doit être mesurée sur ce processus.
Limites et disponibilité
AWS rapporte une seule expérience Wordle avec 128 mots réservés ; le taux principal du modèle entraîné est une moyenne de deux exécutions. Nous avons examiné le guide et sept figures, pas les documents, dépôts ou licences liés, et n’avons effectué aucun test d’entraînement, API, facturation ou déploiement. Prix et conditions des modèles et régions correspondent à l’époque de la source.
Sources et preuves
Date de la source: · Source vérifiée:
Articles assistés par IA, vérifiés avec les sources primaires citées. Les affirmations des fournisseurs sont attribuées ; la présence ne vaut pas recommandation.