Monitoring von LLM- und Agent-Performance – mit AI Agent Monitoring in Splunk Observability Cloud

KI ist überall. Ihr Siegeszug hat die Software-Entwicklung, die Content-Erstellung, den Kundensupport sowie viele weitere Abläufe und Funktionen in Unternehmen aller Branchen beschleunigt. Durch die Demokratisierung von KI wird neben allem Positiven jedoch auch eine Menge KI-Schrott produziert – also nicht authentische, fehlerhafte, qualitativ minderwertige und manchmal schädliche Ausgaben. Die Häufigkeit und Intensität dieser Probleme hängt in hohem Maße von der Stärke und Stabilität der zugrundeliegenden Infrastruktur ab. Daher möchten wir euch Observability für KI-Funktionen vorstellen, insbesondere AI Infrastructure Monitoring und das neue AI Agent Monitoring in Splunk Observability Cloud – für mehr Transparenz und Schutz in eurem gesamten KI-Stack.

Qualität und Verhalten von Modellen und Agenten bewerten – mit AI Agent Monitoring

Das nicht-deterministische und generative Verhalten von großen Sprachmodellen (LLMs) kann zu Ergebnissen mit häufigen Ungenauigkeiten, Verzerrungen und Irrtümern führen. Diese Probleme können letztendlich sinkendes Kundenvertrauen, eine negative End-User-Experience und Kostensteigerungen nach sich ziehen. Für die Lokalisierung der Kernursachen dieser Probleme und der Service-Beeinträchtigungen ist es wichtig, die Abhängigkeiten und Interaktionen der entsprechenden Systeme zu verstehen. Nur mit umfassender, einheitlicher Transparenz im gesamten KI-Stack können die zuständigen Teams in lokalen, hybriden und Cloud-Umgebungen geschäftliche Problemstellungen mit der Performance, Qualität, Sicherheit und den Kosten-Nutzen-Metriken korrelieren, die durch Agenteninteraktionen und Tool-Aufrufe (sowie KI-Infrastruktur-Komponenten) generiert werden. Und nur so sind sie auch in der Lage, zuverlässige und vertrauenswürdige KI zu entwickeln. AI Agent Monitoring ist der Beleg dafür.

AI Agent Monitoring knüpft an die Troubleshooting- und Monitoring-Funktionen von Splunk Application Performance Monitoring (APM) an und hilft, Vertrauen in agentenbasierte Anwendungen aufzubauen. Mit AI Agent Monitoring können ITOps- und Engineering-Teams die Kernursache für die unzuverlässige oder abfallende Performance von KI-Agenten und -Modellen genau lokalisieren und korrelieren. Durch die Integration von APM und AI Agent Monitoring wird das Troubleshooting in KI- und Nicht-KI-Anwendungen dank Transparenz auf Trace-Ebene zum Kinderspiel.

Die einheitliche Observability-Oberfläche von Splunk liefert den zuständigen Teams Erkenntnisse über die Frontend-Performance. Durch erstklassige Monitoring-Funktionen für Anwendungen, Infrastruktur und digitale Erlebnisse und den direkten Zugriff auf korrelierte unternehmerische Erkenntnisse, App-Sicherheit und Netzwerk-Observability können sie für nahtlose Benutzererlebnisse sorgen. In Kombination mit den Log-Analysen, dem Telemetrie-Pipelinemanagement und den Event-Informationen der Splunk-Plattform können Teams enorme Mengen an Maschinendaten analysieren, Logs mit Kontextinformationen aus der Splunk-Plattform in Splunk Observability Cloud anzeigen und Observability-Erkenntnisse direkt in die Splunk-Plattform aufnehmen.

Darüber hinaus basiert AI Agent Monitoring auf Branchenstandards (OpenTelemetry und Cisco AGNTCY) und ermöglicht dadurch das Monitoring von KI-Agenten ohne Anbieterbindung.

Navattic-Demo ansehen

Vollständige Liste aller Agenten in eurer Umgebung auf der Seite „AI Agents“ ansehen

Auf der KI-Agenten-Seite können die zuständigen Teams die aggregierte und individuelle Performance sowie die Kosten und Sicherheitsmetriken aller Agenten in ihrer Umgebung einsehen. Metriken wie die Gesamtzahl der Anforderungen, die Fehlersumme und -quote, Latenz, die Anzahl der Eingabe-, Ausgabe- und aller Token sowie deren jeweilige Kosten, eine Qualitätsbewertung sowie Risiken geben einen guten Überblick über den Status und die Effizienz der einzelnen Agenten. Dank dieser umfassenden Ansicht und einer durchsuchbaren Liste von KI-Agenten können die Teams sich ein Bild davon machen, welche Agenten vorhanden sind und welche sich in einem kritischen Zustand befinden und verstärkter Aufmerksamkeit bedürfen.

Agenten-Performance, Token-Nutzung sowie Kosten-, Qualitäts- und Risikotrends im Zeitverlauf bewerten

Für jeden Agenten stehen out-of-the-box einsetzbare historische Trendanalysen zu Performance-Metriken, Token-Nutzung und Kostenzuordnung sowie Qualitäts- und Risikoindikatoren zur Verfügung. Diese Transparenz ist hilfreich, wenn es darum geht, Basiswerte festzulegen, Ausreißer zu erkennen und datengestützte Entscheidungen zur Kosten- und Ressourcenoptimierung zu treffen. Benutzer können auch für jede dieser Metriken Warnmeldungen einstellen, um Fehler rasch zu erkennen und zu beheben.

Detaillierte Interaktionen und Performance der Agenten auf der Seite „AI Trace Data“ mit Auswirkungen auf die Benutzer verbinden

Die Teams können sich auch zugehörige KI-Trace-Daten ansehen, um Qualitätsprobleme oder Risiken zu ermitteln, die im Laufe der Zeit am häufigsten aufgetreten sind, und detaillierte Benutzer-Interaktionen analysieren. Die Seite „AI Trace Data“ bietet eine umfassende Übersicht – von LLM-Prompts (Eingaben) und -Antworten (Ausgaben) nach Trace-ID bis hin zu den entsprechenden Daten und Qualitätsproblemen wie Halluzinationen, Verzerrungen, Stimmung und Toxizität. Auf dieser Grundlage können LLM-spezifische Probleme lokalisiert und untersucht werden, um rufschädigende oder operative Auswirkungen zu minimieren. Splunk AI Agent Monitoring nutzt die Evaluierungsmethode „LLM-as-a-judge“ zur Leistungsmessung.

Agenten-Workflows, Tool-Aufrufe, Datenbereichsdetails und mehr analysieren – auf der Seite „Trace View“

Die Trace-Ansicht bietet Einblicke in Datenbereichsdetails, die Laufzeit und den Speicherverbrauch von Tool-Aufrufen sowie in die Workflows und Ausführungspfade der Agenten, um Performance-Engpässe aufzuspüren und Ressourcen und Kosten zu optimieren.

KI-Risiken mit Cisco AI Defense erkennen und mindern

Zu guter Letzt können Teams mit AI Agent Monitoring über eine Integration in Cisco AI Defense auch bald Risiken, Missbrauch, Abweichungen und Bedrohungen auf KI-Ebene (LLM, Agenten und Tools) erkennen und mindern. Diese zusätzliche Sicherheitsschicht hilft beim Schutz von KI-Anwendungen vor Echtzeit-Bedrohungen – mit bidirektionalen Sicherheits- und Kontrollstrukturen, die Prompt Injection, die Exfiltration sensibler Daten, Schadinhalte und diverse weitere Risikofaktoren blockieren. Teams, die in der Lage sind, die KI-Sicherheitsstandards einzuhalten, können vertrauenswürdige KI-Apps und -Systeme entwickeln und bereitstellen, Sicherheitsverstöße verhindern und operative Resilienz sicherstellen.

Zusätzlicher Support für die Verfolgung von Status, Verfügbarkeit und Nutzung von KI-Infrastruktur – mit AI Infrastructure Monitoring

Die herkömmliche Infrastruktur hat sich gewandelt.  KI-Infrastruktur enthält jetzt neue Komponenten wie Grafikprozessoren (GPUs), große Sprachmodelle (LLMs), Vektordatenbanken, KI-Frameworks und -Bibliotheken. Das Management von KI-Workloads in diesen neuen und den traditionelleren Komponenten wie Rechenleistung, Netzwerk, Arbeitsspeicher und Speicher erfordert mehr Ressourcen und verursacht höhere Kosten denn je. Die Komplexität wird weiter zunehmen, da immer bessere Trainings- und Inferenzverfahren, geringere Latenzzeiten, fundierte Entscheidungsfindung, qualitativ hochwertigere Ergebnisse sowie zuverlässigere Modelle und Agenten benötigt werden.

Daher bieten wir seit letztem Jahr AI Infrastructure Monitoring an. Seit November 2025 können die zuständigen Teams mit AI Infrastructure Monitoring datenintensive Dashboards und Detektoren für Nvidia NIMs, Milvus- und Pinecone-Vektordatenbanken, LiteLLM-Proxy-Services, GCP VertexAI-Anwendungen, Cisco AI PODs, und mehr analysieren.

Diese Dashboards bieten GPU-bezogene Metriken wie GPU-Auslastung und Stromverbrauch sowie „Tokenomics“-Metriken wie Time-to-First-Token und geschätzte Token-Kosten, anhand derer sich die Nutzung und Workload-Effizienz für gehostete KI-Infrastruktur wie Cisco AI PODs bewerten lässt .

Da es sich bei Cisco AI PODs um vorab validierte, Full-Stack-Infrastruktur-Hardwarelösungen mit Cisco UCS-Servern, Switches der Nexus 9000-Serie und integrierten Softwarekomponenten wie Cisco Intersight handelt, füttert AI Infrastructure Monitoring diese Dashboards außerdem mit wichtigen Metriken wie der UCS-Lüfterdrehzahl, Host-Temperatur und Host-Leistung.

Dank dieser End-to-End-Transparenz können die Verantwortlichen rasch KI-Infrastrukturkomponenten ermitteln, die sich negativ auf die Stabilität, Kosten, Verfügbarkeit und Sicherheit auswirken, und diese mit Trends beim Unternehmenszustand und der Nutzung korrelieren, um Performance- und Reputationsrisiken zu mindern.

Splunk und AGNTCY: Die Zukunft der KI-Observability gestalten

AGNTCY, ein Projekt der Linux Foundation, entwickelt ein offenes, interoperables „Internet of Agents“ – die grundlegende Infrastruktur, die es KI-Agenten ermöglicht, über alle Frameworks und Anbieter hinweg zusammenzuarbeiten. AGNTCY definiert gemeinsame Protokolle, Identitätssysteme und Erkennungsservices und gestaltet damit eine Zukunft, in der Agenten nahtlos und sicher interagieren. Mit über 80 Mitgliedern – darunter Cisco, Google, RedHat, Dell und Oracle – bringt AGNTCY Branchenführer zusammen, um die kritischen Komponenten zu entwickeln, zu standardisieren und zu warten, ohne die Multi-Agent-Systeme in der Produktionsumgebung nicht funktionieren können.

Splunk engagiert sich dafür, dass ITOps- und Engineering-Teams offene Standards nutzen können, und leistet daher auch weiterhin einen Beitrag zu AGNTCY, einem Projekt der Linux Foundation. Kunden profitieren dadurch von einer einheitlichen, anbieterunabhängigen Erfassung von Telemetriedaten für große Sprachmodelle (LLMs) und agentenbasierte Anwendungen. Darüber hinaus nutzt Splunk auch künftig Komponenten der Metrics Compute Engine von AGNTCY, um fortschrittliche Qualitätsmetriken wie sachliche Richtigkeit und Kohärenz sowie grundlegende Metriken wie Latenz und Fehlerquoten bereitzustellen. In diesem Blog erfahrt ihr mehr über Splunk und AGNTCY.

Legt jetzt los!

Richtet AI Agent Monitoring jetzt gleich ein und lest diesen Blog, um mehr über Splunk-Observability für KI zu erfahren.