Agenten- und Modellbewertung

Bei der Agentenbewertung wird beurteilt, was ein Agent tatsächlich getan hat: vom Abschluss von Aktionen über die Tool-Auswahl bis hin zu Halluzinationen und der RAG-Einhaltung. So kann man feststellen, ob sich der Agent richtig verhalten hat, anstatt anhand von Stichproben nur raten zu können.

Bei der Stichprobenuntersuchung bleibt der Großteil des Datenverkehrs unbewertet, und Fehler, die bis zum Kunden gelangen, liegen meist genau in dem Teil, der nicht überprüft wurde. Da der Judge ein kleines Modell und kein Frontier-LLM ist, ist es erschwinglich, jede Interaktion zu bewerten – und nicht nur einen zufälligen Ausschnitt.

Ja. Mit Autotune können Sie eine Handvoll von Bewertungen direkt im Trace korrigieren, und der Evaluator passt sich an Ihren Standard an , ohne dass Projekte erstellt oder Aufgaben an das Prompt-Engineering-Team übergeben werden müssen.

Eine Bewertung, die bei Tests zuverlässige Ergebnisse liefert, kann zu einer Laufzeitprüfung weiterentwickelt werden, die die fehlerhafte Aktion blockiert oder reguliert, bevor das Tool ausgeführt wird. So muss kein separates Modell für die Richtigkeitsprüfung unterhalten werden.

Ja. Sie können Experimente und A/B-Tests ausführen, die Prompts, Modelle und Agentenversionen mit denselben Bewertungen vergleichen. So lässt sich feststellen, welche Änderung die Richtigkeit verbessert hat.