Vertiefende Analyse · Etwa 4 Min. Lesezeit
Entscheidungsmodelle für Evals: Warum Schwelle 0.50 Fehler verbergen kann
Husain und Saha trennen Schwellenoptimierung, Validierung, API-Kosten und Wahrscheinlichkeitskalibrierung.
- Hier veröffentlicht
- Datum der Quelle
- Quelle geprüft
Die Originaluntersuchung von Hamel Husain und Antaripa Saha vom 20. Oktober zeigt, wie Modellscores zu Qualitätskontrollen werden. Übertragbar ist das Verfahren: Fehler definieren, gewünschte Präzision und Recall bestimmen, Schwellen ohne Testlabels wählen und Wahrscheinlichkeiten separat prüfen. Ein universeller Sieger folgt daraus nicht.
Nachrichten anhören
Diesen Artikel vorlesen oder mit den Nachrichten fortfahren.
Vorlesen wird vorbereitet…
Gerätestimme
Browser oder Gerät verarbeiten die Sprache. AISubHub sendet den Text nicht an eine Audio-API. Stimmen und Wiedergabe bei gesperrtem Bildschirm hängen vom Gerät ab.
Beim Fortsetzen kann sich ein kurzer Satzteil wiederholen.
Auf einen Blick
- Von 100 Protokollen eines Wohnungsvermietungsagenten werden zwei interne QA-Beispiele für die Leistung ausgeschlossen: 98 verbleiben, davon 61 mit markiertem Fehler und 37 ohne markierten Fehler.
- Berichtetes optimiertes F1: Perplexity 0.79 für 0.82 US-Cent pro 100 Evals; OpenAI Decisions 0.87 für 3.72 Cent. Kosten betreffen 100 Aufrufe, Leistung 98 Protokolle.
Vor dem Score zuerst die Aufgabe definieren
Gesucht wird ein substanzieller Fehler im vollständigen Protokoll eines Vermietungsassistenten, etwa fehlgeschlagene Buchung oder ausgelassene Übergabe an Menschen. Verglichen werden Jev 1.13, Perplexity Decider 1.1 27B, Liquid d1 und d1-ultra, Cloudflare Clef Flash sowie OpenAI Decisions mit GPT-6 Luna. Die Kriterien sind gleich, für Jev äquivalent strukturiert. Von 61 bekannten Fehlern stammen 39 aus der ersten menschlichen Prüfung und 22 aus Entdeckungen von Braintrust und Arize mit manueller Bestätigung. Die übrigen 37 haben keinen markierten Fehler. Das ist eine Referenz, keine Gewissheit, dass sämtliche Probleme bekannt sind.
Die Schwelle ist eine Handlungsregel
Das Modell liefert null bis eins; eine Schwelle macht daraus Alarm. Liegen Fehler bei 0.40 und bestandene Fälle bei 0.10, trennt 0.30 perfekt, während der Standard 0.50 keinen Fehler findet. Niedrigere Schwellen erhöhen meist Treffer und Fehlalarme. Präzision fragt nach dem Fehleranteil unter Alarmen, Recall nach dem erkannten Anteil bekannter Fehler. F1 ist das symmetrische harmonische Mittel. Unsere Analyse: Support-Eskalation und Schutz vor destruktiven Aktionen haben unterschiedliche Fehlerkosten. F1 zu optimieren ist daher bereits eine fachliche Entscheidung und kein neutraler Standard.
Nicht erfüllbare Trainingsbedingungen bleiben sichtbar
Die stratifizierte Fünffach-Kreuzvalidierung wählt Schwellen auf Trainingsbeispielen und misst andere Beispiele mit gleichen Aufteilungen für alle Modelle. Kandidaten sollen höchstes F1 bei mindestens 80% Präzision und Recall im Training erreichen. Laut wichtiger Fußnote fällt der tatsächliche Versuch bei unerfüllbaren Anforderungen auf das unbeschränkte F1-Optimum zurück und behält die Validierungsvorhersagen. Das geschieht in 36 von 100 Trainingsaufteilungen für Perplexity, 29 für d1-ultra und nie für OpenAI. Mittelwerte garantieren die Mindestwerte also nicht. Der empfohlene operative Prompt verlangt hingegen, Unmöglichkeit zu melden statt Anforderungen zu lockern; er entspricht nicht exakt der illustrierten Rechnung.
Kosten und Leistung haben andere Nenner
Unter verbleibenden Kandidaten berichtet die Studie Perplexity mit F1 0.79 für 0.82 US-Cent je 100 Evals und OpenAI Decisions mit 0.87 für 3.72 Cent, rund 4.5-mal teurer. Kosten enthalten alle 100 API-Aufrufe, Leistung schließt zwei QA-Beispiele aus. Grundlage sind gespeicherte Tokenmengen und Anbieterpreise, einschließlich Neuberechnung von Liquid zu Preisen vom 17. Oktober, keine garantierte zukünftige Rechnung. Schwellenoptimierung verwendet vorhandene Scores ohne weitere Aufrufe. Latenz bleibt im Hauptvergleich außen vor: Mittelwerte getrennter Läufe belegen weder relativen Durchsatz noch Tail-Latenz. Batching, Parallelität und Netzwerk müssen selbst gemessen werden.
Eine Wahrscheinlichkeit braucht eine weitere Prüfung
Ein Score 0.80 ist nur dann eine brauchbare Wahrscheinlichkeit, wenn ungefähr 80% ähnlicher Fälle Fehler enthalten. Kalibrierung prüft dies unabhängig von der binären Schwelle. Der Beitrag gruppiert die kleine Stichprobe in fünf Gruppen zu 19 oder 20 und passt Platt Scaling auf Trainingsfalten an. Eine Clef-Flash-Gruppe prognostizierte etwa 8% Risiko, tatsächlich enthielten 60% Fehler. Manche Modelle profitieren, nicht alle: OpenAIs Brier-Wert steigt beim gezeigten Log-Odds-Fit von 0.159 auf 0.164, obwohl niedriger besser ist. Ein explorativer anderer Fit liefert 0.154. Das zeigt Methodenabhängigkeit, keine allgemeine Verbesserung oder exakte Einzelfallwahrscheinlichkeit.
Einen engen, versionierten Prüfer übertragen
Die Autoren empfehlen getrennte Prüfer je Fehlertyp statt dauerhaft breiter Aufgaben. Wir schlagen versionierte Kriterien und Labels, einen unangetasteten Abschlusstest, betriebliche Mindestwerte und offene Meldung unlösbarer Aufteilungen vor. Promptänderungen können neue Schwellen- und Kalibrierungsprüfungen erfordern. Billigere Modelle sollten sich auf derselben Aufgabe gegen eine starke Referenz messen, statt Plätze dieses Vermietungsdatensatzes zu übernehmen. Der Artikel ist ein konkretes Originalexperiment, keine gemeinsame Verfügbarkeitsankündigung sechs APIs, kein unabhängig geprüfter Preiskatalog und keine allgemeine Modellrangliste.
Warum es wichtig ist
Unsere Analyse: Ein billiger Klassifikator nützt nur, wenn seine Fehlerfolgen betrieblich akzeptabel sind. Das Verfahren und die Offenlegung unlösbarer Schwellenfälle sind wichtiger als dauerhafte Anbieter-Rangplätze.
Grenzen und Verfügbarkeit
Wir lasen den vollständigen Originaltext samt Fußnoten, nicht die privaten Gespräche oder eine eigene Reproduktion. Die Stichprobe ist klein und spezifisch; Latenz wurde nicht kontrolliert verglichen, zukünftige Ergebnisse sind nicht garantiert.
Quellen und Belege
Datum der Quelle: · Quelle geprüft:
KI-gestützte redaktionelle Beiträge, anhand der genannten Primärquellen geprüft. Anbieterangaben werden zugeordnet; eine Aufnahme ist keine Empfehlung.