Analyse approfondie · Environ 4 min de lecture
AWS soumet la qualité des agents à neuf étapes, au-delà de la disponibilité
Son cas interne relie évaluation métier, rejeu avant publication et surveillance, avec des seuils propres au système.
- Date de la source
- Publié ici
- Source vérifiée
Le récit du 16 octobre décrit neuf étapes d’évaluation pour des agents internes d’analyse commerciale. Le risque central est un service apparemment sain donnant une réponse assurée mais fausse. AWS teste outils, agents et orchestration, puis relie portes de publication et contrôle en production. Ce cas opérationnel ne prouve pas qu’activer un service rende tout agent correct et sûr.
Écouter les actualités
Écoutez cet article ou poursuivez la lecture des actualités.
Préparation de la lecture…
Voix de l’appareil
La voix est traitée par votre navigateur ou appareil. AISubHub n’envoie pas le texte à une API audio. Les voix et la lecture écran verrouillé dépendent de l’appareil.
La reprise peut répéter une courte phrase.
En bref
- Un décalage de changements en préproduction aurait abaissé le taux de réussite de 78 % à 38 %, malgré une infrastructure apparemment saine.
- La sentinelle CI compte 15 cas ; le contrôle large inclut 200 questions réservées et des réponses d’outils figées.
- Fenêtres de 30 minutes, échantillon de 10 % du trafic et garde-fous synchrones sur 100 % sont distincts.
La justesse métier exige sa propre taxonomie
Le texte raconte 410,08 dollars devenus 410,08 millions, des définitions de revenu confondues et une estimation récurrente inventée. Une requête rapide et sans erreur technique ne suffit pas. AWS distingue sécurité, qualité, performance, coût et contrôle opérationnel aux niveaux outil, agent et orchestration. Les erreurs portent sur métrique, période, client, chiffre sans source, symbole ou calcul interdit. Notre lecture inclut le périmètre : le vrai revenu d’une maison mère peut être faux pour une filiale. Une note d’utilité ne remplace ni références métier, ni permissions, ni règles de calcul.
Définir les évaluateurs avant les comparaisons
Les premières étapes fixent résultats, seuils et jeu de référence versionné avant de comparer instructions, modèles ou outils. Évaluateurs intégrés, personnalisés, bibliothèques externes et contrôles déterministes se complètent. Les juges LLM traitent notamment la pertinence, sans devenir l’unique vérité factuelle. Le jeu combine production, anciens échecs et cas limites construits aux trois niveaux. Qualité, latence et coût sont comparés ensemble. Une moyenne supérieure peut cacher un segment dégradé ou un chemin plus cher ; le contrat doit fixer les compromis acceptables plutôt que laisser le modèle les choisir.
Une vérification rapide ne décide pas toute la livraison
La sentinelle CI utilise 15 cas risqués pour chaque déploiement de staging, avec des seuils multidimensionnels. La réussir est nécessaire mais insuffisant. Le contrôle complet pose 200 questions réservées et rejette régressions, absence de progrès sur la référence de production ou trop de mauvaises réponses individuelles. Les outils sont d’abord validés sur entrées connues, puis leurs réponses correctes sont figées pour rejeu. On isole ainsi le raisonnement des variations externes, sans certifier les dépendances en direct. Des chiffres valides peuvent encore être combinés dans le mauvais périmètre : tester les composants ne suffit pas.
La couverture en production a plusieurs sens
L’article décrit des lots toutes les 30 minutes, des fenêtres consécutives contre le bruit et un passage complet quotidien. Trois fenêtres hors seuil peuvent appeler l’astreinte ; une seule reste un signal opérationnel, pas automatiquement un incident. Une évaluation séparée échantillonne 10 % du trafic réel pour découvrir les formulations absentes du jeu. Les garde-fous synchrones d’entrée et sortie couvrent ici 100 %. Échantillonner ne vérifie pas chaque fait ; filtrer un contenu ne garantit pas sa justesse. Schémas et index peuvent changer sans livraison, d’où l’insuffisance du seul contrôle de publication.
Le retour d’expérience doit rester gouverné
Traces d’exécution et scores suivent des circuits distincts. Le traçage décrit nécessite CloudWatch Transaction Search, avec conservation des résultats et vues par rôle. Les traces faibles deviennent régressions ou recommandations d’instructions et descriptions d’outils. Plusieurs figures sont explicitement illustratives ; nous n’en faisons pas des mesures indépendantes. Nous recommandons de conserver ensemble versions de données, réponses, instructions et évaluateurs, de réviser avant promotion et de budgéter l’évaluation. Optimiser un juge impose de vérifier les autres dimensions. Seule dataset evaluation est qualifiée de préversion publique, pas tout AgentCore.
Pourquoi cela compte
Disponibilité du service et validité d’une réponse sont deux choses. Relier une erreur à un outil, un périmètre ou une synthèse précise aide la publication et le diagnostic. Ce cycle complète les contrôles externes d’autorisation, sans les remplacer.
Limites et disponibilité
Lecture complète de la source, sans agents déployés, données commerciales internes ni reproduction. Seuils et exemples appartiennent à AWS ; les graphiques illustratifs ne sont pas des mesures indépendantes. Évaluation, stockage et surveillance consomment des ressources, sans gratuité ou absence d’erreurs garantie.
Sources et preuves
Date de la source: 16 oct. 2026 · Source vérifiée: 20 oct. 2026
Articles assistés par IA, vérifiés avec les sources primaires citées. Les affirmations des fournisseurs sont attribuées ; la présence ne vaut pas recommandation.