Vertiefende Analyse · Etwa 5 Min. Lesezeit
Perplexitys Leitfaden verbindet Agentenbewertungen mit Traces und kalibrierten Prüfern
Der offizielle Leitfaden in sechs Schritten verbindet reale Fehler, feste Testdaten und menschlich kalibrierte Prüfer. Eine richtige Antwort allein belegt keine Zuverlässigkeit.
- Hier veröffentlicht
- Datum der Quelle
- Quelle geprüft
Perplexitys Leitfaden vom 22. Oktober behandelt den Aufbau von Agentenevaluationen, nicht die Veröffentlichung eines Modells oder eines neuen Benchmarkergebnisses. Das Einkaufsbeispiel zeigt, weshalb ein Score Kenntnisse über Aktionen, Wiederholbarkeit und die Qualität des Prüfers voraussetzt.
Nachrichten anhören
Diesen Artikel vorlesen oder mit den Nachrichten fortfahren.
Vorlesen wird vorbereitet…
Gerätestimme
Browser oder Gerät verarbeiten die Sprache. AISubHub sendet den Text nicht an eine Audio-API. Stimmen und Wiedergabe bei gesperrtem Bildschirm hängen vom Gerät ab.
Beim Fortsetzen kann sich ein kurzer Satzteil wiederholen.
Auf einen Blick
- Eine plausible Antwort kann unzulässige Aktionen oder geleakte Lösungen verbergen; Ergebnis und Ausführungsweg müssen geprüft werden.
- Rund 100 Traces sind ein Anhaltspunkt für Fehleranalyse, kein verpflichtender Schwellenwert. pass@k bedeutet mindestens einen Erfolg bei ausdrücklich angegebenem k.
- Mehrfaches Bewerten desselben gespeicherten Laufs trennt Prüferstreuung ab; Regression, Monitoring und A/B erfüllen unterschiedliche Aufgaben.
Was kann eine richtige Antwort verbergen?
Ein Lagerassistent kann ein scheinbar geeignetes Ersatzteil vorschlagen und dabei eine Freigaberegel umgehen. In Perplexitys Fertigungsbeispiel erfordern ein nicht verfügbares freigegebenes Teil oder veraltete Lieferantendaten eine angemessene Reaktion, keinen unbegründeten Ersatz. Teams sollen sowohl erfolgreiche Arbeit als auch unzulässige Wege dorthin definieren. Fachleute müssen prüfen, ob diese Kriterien die tatsächliche Aufgabe abbilden. Sprachliche Gewandtheit belegt nicht, dass der Agent seine Berechtigungen eingehalten hat.
Die Bewertung umfasst deshalb auch abgerufene Informationen, Werkzeugaufrufe und Zwischenentscheidungen. Aufgabenerfolg, Korrektheit der Aktionen und Antwortqualität sind verschiedene Eigenschaften; Zuverlässigkeit betrifft Wiederholungen und Grenzfälle. Zeit, Tokens und Werkzeugaufrufe beeinflussen außerdem die Kosten einer erfolgreich erledigten Aufgabe. Unsere Analyse: Eine Freigabe braucht Annahmekriterien für den gesamten Ablauf, nicht bloß eine Vorliebe für gut formulierte Antworten.
Welche Fehler gehören in die Testsammlung?
Der Leitfaden beginnt mit realen Ausführungstraces: Eingaben, abgerufenen Belegen, Aktionen und Ausgaben. Ein Fachexperte notiert den ersten wesentlichen Fehler eines Laufs und gruppiert ähnliche Beobachtungen zu Fehlertypen. Ein LLM darf Kategorien vorschlagen; Häufigkeit und Schwere bestimmen die Priorität. Wichtige Fehler werden als Fälle mit Eingabe, Ausgangsbedingungen, erwartetem Ergebnis und Bewertungskriterien gespeichert. So bleibt das zu reparierende Problem erhalten, statt durch eine bequemere synthetische Aufgabe ersetzt zu werden.
Rund 100 Traces sind eine praktische Orientierung, weder allgemeine Stichprobenpflicht noch statistische Vertrauensgarantie. Die Prüfung kann bei theoretischer Sättigung früher enden, wenn zusätzliche Traces keine relevanten neuen Fehlermuster mehr zeigen. Vor dem Start helfen synthetische Beispiele; reale Nutzungsdaten sollen später einfließen. Standardbenchmarks können ergänzen, doch überraschende Erfolge oder Misserfolge erfordern eine Prüfung der Aufgaben und Referenzantworten.
Wie bearbeiten zwei Versionen dasselbe Problem?
Die Abbildung trennt eine gespeicherte Wartungsanfrage von festen Bestands- und Freigabedaten. maintenance_request_01.json enthält Eingabe und Soll-Ergebnis; inventory_snapshot.json und approved_parts.json liefern vergleichbare Daten. run_evals.py führt den Ablauf aus und prüft ihn; results speichert Ausgaben, Traces und Bestanden-/Nichtbestanden-Urteile. Dies ist eine beispielhafte Teststruktur, kein von uns ausgeführtes Produktionssystem oder Softwarepaket. Unsere Analyse: Ändert sich zwischen Vergleichen der Bestand, ändert sich neben dem Agenten auch die Aufgabe.
Läufe sollen Informationsabruf und Werkzeugaktionen behalten, nicht nur den Endtext. Gleiche Eingaben können unterschiedliche Ergebnisse erzeugen; Wiederholungen richten sich nach Risiko, Häufigkeit und Schwierigkeit der Reparatur. pass@1 beschreibt Erfolg bei einem Versuch, pass@k mindestens einen Erfolg innerhalb einer angegebenen Zahl k von Versuchen. k muss genannt werden. Eine richtige Antwort unter mehreren garantiert weder ständigen Erfolg noch, dass der Agent den richtigen Versuch auswählen kann.
Wer sollte welche Anforderung beurteilen?
Für exakt prüfbare Bedingungen empfiehlt der Leitfaden Code: freigegebenes Teil, gültige Felder, korrekte Werkzeugargumente oder erwarteter Endzustand einer Datenbank. Solche Regeln sind klar, entscheiden aber nicht zuverlässig jede subjektive Frage. Kontextabhängige Prüfungen, etwa die Angemessenheit einer Begründung für einen abgelehnten Ersatz, können ein LLM mit ausdrücklichem Bewertungsraster nutzen. Das Raster muss akzeptables Verhalten und die Belege für ein Urteil definieren.
Bei fachlichen oder strittigen Entscheidungen bleiben Menschen notwendig. Verschiedene Prüfungen eines Laufs können unterschiedliche Prüfer kombinieren; eine Plattform legt nicht fest, welche Fehler dem Unternehmen wichtig sind. Unsere Analyse: Berechtigungsprüfung und Erklärungsqualität getrennt zu behandeln macht einen Gesamtscore verständlicher. Ein LLM-Lob für den Text darf den exakten Abgleich mit der Freigabeliste nicht stillschweigend ersetzen. Der Leitfaden misst keinen Genauigkeitsgewinn dieser Aufteilung.
Wie unterscheidet man Agentenfehler von Prüferfehlern?
Die fünfteilige Kalibrierung sammelt Eingaben, Ausgaben und Traces, holt unabhängige Fachurteile ein, lässt das LLM bewerten, vergleicht die Entscheidungen und untersucht Abweichungen, um das Raster vor neuen Beispielen zu überarbeiten. Menschliches Urteil ist dabei die Referenz, keine Behauptung menschlicher Unfehlbarkeit. Kalibrieren heißt den Bewerter zu prüfen, nicht den untersuchten Agenten erneut laufen zu lassen.
Zur Konsistenzprüfung bewertet man denselben gespeicherten Lauf und dieselben Dateien mehrfach, ohne den Agenten neu auszuführen. Andernfalls vermischen sich beide Schwankungen. Eine Konfusionsmatrix hilft, erkannte und übersehene Fehler sowie irrtümlich beanstandete akzeptable Ausgaben zu untersuchen. Menschliche Sichtung entdeckt zudem Fehlertypen außerhalb bestehender Prüfer. Der Leitfaden verlinkt Beispiele problematischer Benchmarks; diese externen Studien haben wir nicht eigenständig vollständig gelesen oder reproduziert.
Wann rechtfertigt eine Reparatur die Freigabe?
Den ursprünglichen Fehler mit gespeicherter Eingabe reproduzieren, Prompt, Modell oder Ablauf gezielt ändern und die Reparatur bestätigen: Danach muss die übrige Suite zuvor funktionierendes, nun beschädigtes Verhalten erkennen. Ausgangs- und neue Version benötigen dieselben Fälle und Kriterien. Assertions, Testframeworks und CI/CD können Prüfungen und Freigabeschwellen automatisieren. Sie belegen jedoch nicht, dass die ausgewählten Kriterien die tatsächlichen Produktrisiken abdecken.
Nach der Bereitstellung können kalibrierte Prüfer Stichproben produktiver Traces und bekannte Fehlertypen verfolgen; Menschen untersuchen ungewöhnliche Anfragen und neue Fehler. Geeignete A/B-Tests ergänzen Geschäftsergebnisse wie Lösungsquote oder Zufriedenheit, ersetzen Evaluation aber nicht und erklären nicht jede Ursache. Unsere Analyse: Der nützliche Kreislauf verbindet beobachtete Fehler, wiederholbare Prüfungen und Regressionsentscheidungen. Der Methodenleitfaden belegt weder neue Verfügbarkeit noch unabhängig gemessene Zuverlässigkeit.
Warum es wichtig ist
Teams können Fehler, Belege und Prüfer erhalten, Reparaturen mit dem gesamten Ablauf vergleichen und durch reale Nutzung weiter verbessern.
Grenzen und Verfügbarkeit
Dies sind Perplexitys Methodenempfehlungen mit einem Einkaufsbeispiel. Wir prüften Artikel und Teststruktur-Abbildung, nicht externe Studien, einen produktiven Agenten oder Kontorechte; Genauigkeit, Einsparungen und universelle Freigabeschwellen wurden nicht gemessen.
Quellen und Belege
Datum der Quelle: · Quelle geprüft:
KI-gestützte redaktionelle Beiträge, anhand der genannten Primärquellen geprüft. Anbieterangaben werden zugeordnet; eine Aufnahme ist keine Empfehlung.