Splunk Agent Observability: Observability, Bewertung und Leitplanken für eure KI-Agenten

Anfang dieses Jahres hat Cisco die Übernahme von Galileo abgeschlossen und verstärkt sich dadurch um ein Unternehmen, das sich auf Bewertung, Observability und Echtzeit-Leitplanken für Multi-Agent-Systeme im gesamten Agentenentwicklungszyklus spezialisiert hat. Diese Technologie wurde entwickelt, um bei der Bewältigung einer der größten Herausforderungen zu helfen, mit der Unternehmen bei der Einführung von KI-Agenten in die Produktion konfrontiert sind: dem Schließen der KI-Vertrauenslücke.

Heute folgt mit Splunk Agent Observability der nächste Schritt. Wir helfen Teams, das Verhalten von Agenten zu bewerten, die Leistung zu beobachten, Kosten zu optimieren und schädliche Handlungen lokal, neuerdings aber auch in Splunk Observability Cloud und über Cisco Cloud Control zu blockieren. Dank diesem einheitlichen Ansatz und der damit verbundenen Transparenz gewinnen Teams an Zuverlässigkeit, Kontrolle und Vertrauen in ihre Agenten, Modelle und die zugrunde liegende Infrastruktur – und stellen damit sicher, dass diese wie geplant und zu akzeptablen Kosten funktionieren.

Schließen der AI Trust Gap

Agenten führen zu Herausforderungen, auf deren Lösung herkömmliche Observability-Lösungen nicht ausgelegt sind. Agenten argumentieren, planen, rufen Tools auf, interagieren mit Unternehmensdaten und führen in unserem Auftrag mehrere Schritte umfassende Aktionen durch. Da sie nicht deterministisch sind, führt dieselbe Eingabe nicht unbedingt zur gleichen Ausgabe – oder folgt vielleicht nicht einmal demselben Pfad.

Ein Agent kann halluzinieren, vom gewünschten Verhalten abweichen oder ohne genauen Kontext handeln. Eine einzige Interaktion kann Tausende von Token verbrauchen. Schädliche Ausgaben können das Vertrauen der Kunden untergraben und dem Geschäftsergebnis schaden.

Genau diese Kombination aus Autonomie, Unvorhersehbarkeit, Kosten und Risiko ist der Grund für die Vertrauenslücke bei KI. Durch diese Lücke entstehen für Unternehmen, die Agenten in der Produktion einsetzen, eine Reihe völlig neuer Fragen: Hat der Agent die richtige Antwort gegeben? Warum hat er diese Maßnahme ergriffen? Hat er halluziniert?

Herkömmliche Observability ist schlicht nicht darauf ausgelegt, diese Fragen zu beantworten. Splunk Agent Observability wurde jedoch genau für diese neue Realität konzipiert.

Navattic-Demo ansehen

Agentenqualität und -verfügbarkeit bewerten, ohne die Kosten und Latenzen von Frontier-Modellen

Da sich das Verhalten von Agenten mit Änderungen bei Modellen, Prompts, Tools, Daten und Benutzerverhalten ebenfalls ändert, erfordert die Bestimmung der Agentenqualität eine robuste Bewertung, einschließlich Optimierung und Messung. LLM-as-a-Judge-Ansätze bieten eine skalierbare Möglichkeit für die Messung der Agentenqualität. Werden jedoch große Frontier-Modelle für die hohen Datenvolumen von Produktions-Traffic genutzt, kann dies zu erheblichen Kosten und Latenzzeiten führen. Die Folge davon ist oftmals ein Kompromiss, bei dem eine Zahl von Interaktionen bewertet wird, die für die Erkennung von Problemen ausreicht und bei der die Kosten der Bewertung noch akzeptabel sind.

Bei Splunk Agent Observability müssen Teams diesen Kompromiss nicht eingehen und entscheiden, was „Qualität“ bedeutet. Sie können bald kleine Sprachmodelle (SLMs) aus der Luna-Familie nutzen, um ständig und in großem Maßstab hochpräzise, kostengünstige Bewertungen mit geringer Latenz durchzuführen. Dadurch werden 100 % des Datenverkehrs bewertet, ohne dass dabei solch hohe Kosten und Latenzen entstehen, wie sie bei der ausschließlichen Nutzung von Frontier-Modellen als Judge auftreten Darüber hinaus können Fachexperten Feedback geben, um die Bewertungsqualität kontinuierlich zu verbessern. Dadurch entsteht eine Schleife, in der menschliches Fachwissen die automatisierte Bewertung verbessert und die automatisierte Bewertung wiederum dieses Fachwissen sowie die Erkennung von Unbekannten skalierbar macht.

Darüber hinaus können Teams leistungsstarke, sofort einsatzbereite Evaluatoren für RAG, Agentenleistung, Antwortqualität und multimodale Qualität sowie weitere spezifische Qualitätsmetriken nutzen. Teams können auch benutzerdefinierte LLM-as-a-Judge-Evaluatoren erstellen, um die Qualität der Antworten zu bewerten.

Agenten beobachten: vom Prompt bis zur Produktion

Wenn bei einem Agenten ein Fehler auftritt, lässt sich die Kernursache oft nicht so leicht ermitteln. Eine einzige Anfrage kann Orchestrierungslogik, Modellaufrufe, Abfragen aus Vektordatenbanken, Tool-Aufrufe und Interaktionen zwischen mehreren Agenten auslösen. Tritt irgendwo in dieser Kette ein Fehler auf, kann sich dies auf das Endergebnis auswirken.

Splunk Agent Observability bietet Transparenz bezüglich des Verhaltens von Agenten und hilft Teams, Agenten, Tool-Aufrufe und Übergaben zusammen mit Qualitäts-, Kosten- und Leistungskennzahlen zu visualisieren.

Teams können ihre Anwendungen zudem mithilfe der SDKs oder API von Splunk Agent Observability mit gängigen LLM-Anbietern und Agenten-Frameworks instrumentieren, wobei die Unterstützung verteilter Tracing-Funktionen und OpenTelemetry bereits integriert ist. Dank dieser Flexibilität bekommen Teams genau die detaillierten Traces, die sie benötigen, um Probleme zu lokalisieren, Abhängigkeiten zu verstehen und Fehler sowie einzelne Interaktionen in immer komplexeren Agentenarchitekturen zu untersuchen.

Das Ergebnis ist eine umfassendere Sicht auf KI-Anwendungen – eine Sicht, die Agenten, Modelle und unterstützende Dienste miteinander verknüpft, anstatt sie isoliert zu betrachten.

KI Tokenomics verstehen

KI ist teuer. Diese hohen Kosten entstehen nicht nur durch die Bewertung von Agenten, neue Infrastrukturkomponenten oder komplexe Multi-Agenten-Workflows. Sie entstehen auch durch die rasant zunehmende Nutzung von Programmieragenten. Leider führen höherer Verbrauch und höhere Ausgaben nicht immer zu echtem geschäftlichem Mehrwert. Teams tun sich schwer, unerwartet hohe Rechnungen zu erklären.

Tokenomics bietet Finanz- und Engineering-Verantwortlichen einen zentralen Überblick, aus dem die Benutzer, Programmieragenten und Modelle hervorgehen, die für Kostenspitzen verantwortlich sind. Außerdem lässt sich damit erkennen, ob dieser Verbrauch zu besseren Ergebnissen führt.

Anstatt also nur zu fragen: „Wie viel geben wir aus?“, können Teams jetzt zielführendere Fragen stellen: Welche Agenten lassen den Verbrauch stark steigen? Wo werden Ressourcen verschwendet? Liefern teurere Modelle tatsächlich bessere und kosteneffizientere Ergebnisse?

Diese Funktion ist Ende dieses Monats On-Premise, in Observability Cloud und in Cisco Cloud Control verfügbar. Zu den wichtigsten Integrationen gehören Claude Code, Codex, Cursor, Windsurf und GitHub Copilot.

Weitere Informationen findet ihr im Blog bzw. der Webseite zu Tokenomics.

Für Leitplanken sind alle verantwortlich

Da Agenten immer autonomer werden, auf immer sensiblere Daten zugreifen und mit immer mehr Tools interagieren, vergrößern sie gleichzeitig die Angriffsfläche und erhöhen die potenziellen Auswirkungen von Fehlern. Neue Bedrohungen wie Prompt-Injection, Tool-Missbrauch und andere schädliche Handlungen treten auf. Daher können Vertrauen und Sicherheit nicht in der Verantwortung eines einzelnen Teams liegen.

Die Engineering-Mitarbeiter, die Fehler beheben, KI-Teams, die Modelle und Agenten verbessern, Fachexperten, die definieren, was „gut“ bedeutet, Sicherheitsteams, die Risiken eindämmen, und Führungskräfte, die den ROI und den geschäftlichen Nutzen quantifizieren – sie alle spielen eine Rolle dabei, sicheres, präzises und konformes Agentenverhalten zu definieren.

Splunk Agent Observability hilft, diese gemeinsamen Standards umzusetzen, indem es Teams ermöglicht, Bewertungen in Laufzeit-Leitplanken umzuwandeln, die schädliche oder ungenaue Aktionen blockieren, bevor sie die Benutzer erreichen. Zentralisierte Kontrollen tragen zudem dazu bei, Sicherheits- und Compliance-Richtlinien konsistent über Agenten hinweg durchzusetzen, ohne diese Logik in jede einzelne Anwendung fest einprogrammieren zu müssen.

Ein Ansatz für alles: On-Premise-Umgebungen, Splunk Observability Cloud und Cisco Cloud Control

Unternehmen erstellen KI nicht an einem einzigen Ort. Ihre Agenten, Modelle, Daten, Anwendungen und Infrastruktur erstrecken sich über Cloud-, On-Premise- und zunehmend verteilte Umgebungen. Aus diesem Grund wurde Splunk Agent Observability für KI-Workloads konzipiert, ganz gleich, wo diese sich befinden.

Aus demselben Grund ist Splunk Agent Observability auch über Cisco Cloud Control verfügbar, eine einheitliche Plattform für den Agentenbetrieb mit einer einzigen Anmeldung für alle Cisco-Produkte. Diese vertikal integrierte, gemeinsam entwickelte Full-Stack-Erfahrung umfasst Hardware und Optik, Netzwerke, Rechenleistung, Daten, Modelle, KI-Anwendungen und -Agenten sowie Sicherheit und Observability auf allen Ebenen. Diese Transparenz hilft Teams, einen Zusammenhang zwischen dem Zustand der KI-Infrastruktur und dem Verhalten von Agenten und Modellen, der Sicherheit, der Zuverlässigkeit und der Kosteneffizienz herzustellen.

Erste Schritte mit Splunk Agent Observability

Auf unserer Website und in der Dokumentation findet Ihr weitere Informationen dazu, wie Splunk Agent Observability euch hilft, die Vertrauenslücke zu überwinden und in eine Zukunft zu gehen, in der KI-Agenten nicht nur leistungsfähig, sondern auch vertrauenswürdig und sicher sind. Am besten holt ihr euch die Splunk Observability Cloud Free Edition gleich heute.