Analyse approfondie · Environ 5 min de lecture
Évaluer avec des modèles de décision : pourquoi le seuil 0.50 peut masquer les erreurs
L’expérience de Husain et Saha distingue réglage du seuil, validation, coût API et calibration des probabilités.
- Publié ici
- Date de la source
- Source vérifiée
L’étude originale de Hamel Husain et Antaripa Saha, publiée le 20 octobre, transforme des scores en contrôles qualité. Son apport est une méthode : définir l’erreur, choisir précision et rappel acceptables, régler sans utiliser les étiquettes réservées et vérifier séparément les probabilités, plutôt qu’un champion universel.
Écouter les actualités
Écoutez cet article ou poursuivez la lecture des actualités.
Préparation de la lecture…
Voix de l’appareil
La voix est traitée par votre navigateur ou appareil. AISubHub n’envoie pas le texte à une API audio. Les voix et la lecture écran verrouillé dépendent de l’appareil.
La reprise peut répéter une courte phrase.
En bref
- Sur 100 traces d’un agent de location, deux exemples internes de QA sont exclus du calcul de performance : restent 98 traces, dont 61 erreurs étiquetées et 37 sans erreur étiquetée.
- Le F1 réglé annoncé est 0.79 pour Perplexity à 0.82 cent américain pour 100 évaluations, et 0.87 pour OpenAI Decisions à 3.72 cents. Le coût couvre 100 appels, la performance 98 traces.
Définir la tâche avant de lire le score
Le test cherche une erreur substantielle dans la trace complète d’un assistant de location : réservation ratée ou transfert humain manqué, par exemple. Il compare Jev 1.13, Perplexity Decider 1.1 27B, Liquid d1 et d1-ultra, Cloudflare Clef Flash et OpenAI Decisions utilisant GPT-6 Luna. Les critères sont identiques, structurés de manière équivalente pour Jev. Les 61 erreurs comprennent 39 issues de la première revue humaine et 22 découvertes par Braintrust et Arize puis validées manuellement. Les 37 autres traces n’ont pas d’erreur étiquetée ; cela ne signifie pas que tous les problèmes possibles sont connus.
Le seuil est une règle de décision
Le modèle donne un score de zéro à un, puis le seuil crée une alerte. Si les erreurs reçoivent 0.40 et les réussites 0.10, 0.30 les sépare, mais 0.50 n’en détecte aucune. Baisser le seuil augmente généralement détection et fausses alertes. La précision mesure la part des alertes correspondant à des erreurs connues ; le rappel, la part des erreurs connues détectées. F1 est leur moyenne harmonique symétrique. Notre analyse souligne que transfert au support et blocage d’une opération destructive n’ont pas les mêmes coûts d’erreur : choisir F1 est déjà un choix métier.
Les partitions infaisables restent importantes
La validation croisée stratifiée à cinq plis choisit les seuils sur l’entraînement et mesure les autres exemples, avec les mêmes découpages. Pour les candidats, elle vise le meilleur F1 avec au moins 80% de précision et de rappel sur l’entraînement. Une note essentielle indique qu’en cas d’impossibilité, l’expérience utilise l’optimum F1 non contraint et conserve ces prédictions de validation. Cela arrive dans 36 découpages sur 100 pour Perplexity, 29 pour d1-ultra, aucun pour OpenAI. Les moyennes ne garantissent donc pas les minima. Le prompt opérationnel recommandé exige au contraire de signaler l’impossibilité sans relâcher les critères ; il diffère du calcul illustratif.
Ne pas confondre les dénominateurs
Parmi les candidats retenus, Perplexity obtient F1 0.79 pour 0.82 cent américain par 100 évaluations ; OpenAI Decisions, 0.87 pour 3.72 cents, environ 4.5 fois plus cher. Le coût inclut 100 appels, la performance exclut deux cas QA. Les calculs utilisent tokens enregistrés et tarifs fournisseurs, notamment une réévaluation de Liquid aux prix du 17 octobre, pas une facture future garantie. Le réglage réutilise les scores sans appel supplémentaire. La comparaison principale écarte la latence : les moyennes de runs distincts ne prouvent ni débit ni latence extrême comparables. Il faut tester lots, concurrence et réseau propres.
Une probabilité demande un autre contrôle
Un score 0.80 n’est une probabilité utile que si environ 80% des cas semblables échouent. La calibration vérifie ce rapport, séparément du seuil binaire. L’article forme cinq groupes de 19 ou 20 traces et ajuste Platt scaling sur les plis d’entraînement. Un groupe Clef Flash prédisait environ 8% de risque, mais 60% comportaient une erreur. Certains modèles s’améliorent, pas tous : le Brier d’OpenAI passe de 0.159 à 0.164 avec l’ajustement log-odds illustré, alors que plus bas est mieux. Un autre ajustement exploratoire donne 0.154. Cela montre une sensibilité au choix de méthode, sans garantir une amélioration ou un risque individuel exact.
Transférer un évaluateur précis et versionné
Les auteurs recommandent des juges distincts par type d’erreur au lieu de conserver une tâche générale. Nous proposons de versionner critères et étiquettes, garder un test final intact, fixer des minima métier et rendre visibles les plis sans seuil acceptable. Changer le prompt peut imposer de revoir seuil et calibration. Un petit modèle doit être comparé à une référence forte sur la même tâche, sans reprendre les positions de cet échantillon immobilier. C’est une expérience originale concrète, pas une annonce simultanée de six API, un catalogue tarifaire indépendamment vérifié ou un classement général des modèles.
Pourquoi cela compte
Notre analyse : un classificateur économique n’est utile que si ses erreurs sont acceptables opérationnellement. La méthode et la transparence sur les partitions infaisables se transfèrent mieux qu’un classement de fournisseurs.
Limites et disponibilité
Nous avons lu le texte et les notes complets, pas les conversations privées ni une reproduction indépendante. Petit échantillon spécifique, absence de comparaison contrôlée de latence et aucune garantie sur les données futures.
Sources et preuves
Date de la source: · Source vérifiée:
Articles assistés par IA, vérifiés avec les sources primaires citées. Les affirmations des fournisseurs sont attribuées ; la présence ne vaut pas recommandation.