Observez, évaluez et encadrez vos agents IA avec Splunk Agent Observability

En début d’année, Cisco a finalisé l’acquisition de Galileo, une société spécialisée dans l’évaluation, l’observabilité et l’application de garde-fous en temps réel pour les systèmes multi-agents, tout au long du cycle de vie du développement des agents. Cette technologie vise à relever l’un des plus grands défis rencontrés par les entreprises qui mettent des agents d’IA en production : combler le déficit de confiance vis-à-vis de l’IA.

Aujourd’hui, nous franchissons une nouvelle étape avec Splunk Agent Observability. Nous aidons les équipes à évaluer le comportement des agents, à observer les performances, à optimiser les coûts et à arrêter les actions nuisibles en local, mais aussi dans Splunk Observability Cloud et via Cisco Cloud Control. Grâce à cette approche unifiée et à cette visibilité englobante, les équipes bénéficient d’un contrôle accru sur leurs agents, leurs modèles et leur infrastructure sous-jacente. Synonyme de confiance renforcée, ce contrôle veille à ce que les systèmes d’IA fonctionnent comme prévu, au juste prix.

Combler le déficit de confiance vis-à-vis de l’IA

Les agents posent des problèmes que l’observabilité traditionnelle n’a pas été conçue pour résoudre. Les agents raisonnent, planifient, utilisent des outils, interagissent avec les données de l’entreprise et mènent des actions en plusieurs étapes en notre nom. Du fait de leur nature non déterministe, une même entrée ne produit pas systématiquement le même résultat et l’agent ne suivra pas forcément le même chemin.

Un agent peut avoir des hallucinations, s’écarter de l’intention prévue ou agir sans contexte précis. Une interaction peut suffire à consommer des milliers de tokens. Des résultats néfastes dégradent autant la confiance des clients que les résultats métiers.

C’est cette combinaison d’autonomie, d’imprévisibilité, de coût et de risque qui sape la confiance vis-à-vis de l’IA. Cette lacune soulève une toute nouvelle série de questions pour les entreprises qui déploient des agents en production : l’agent a-t-il donné la bonne réponse ? Pourquoi a-t-il pris cette décision ? A-t-il eu une hallucination ? Expose-t-il des informations sensibles ? Combien a coûté l’interaction ? Et surtout, pouvons-nous lui faire confiance ?

L’observabilité traditionnelle n’a pas été pensée pour répondre à ces questions. Splunk Agent Observability, en revanche, est conçu pour faire face à cette nouvelle réalité.

[Regarder la démo Navattic]

Évaluez la qualité et la disponibilité des agents sans les coûts ni la latence des modèles frontière

Dans la mesure où le comportement des agents varie selon les modèles, les prompts, les outils, les données et le comportement des utilisateurs, l’évaluation de la qualité des agents exige une grande rigueur sur le plan de l’ajustement et des mesures. Les juges LLM offrent un moyen évolutif de mesurer la qualité des agents. Ils ont toutefois leurs limites : sur des volumes importants de trafic de production, les grands modèles frontière peuvent entraîner des coûts élevés et une latence importante. Il faut donc souvent trouver le juste équilibre entre la quantité d’interactions à évaluer pour déceler les problèmes et la maîtrise des coûts de l’évaluation.

Avec Splunk Agent Observability, les équipes n’ont plus à faire ce genre de compromis ni à négocier avec la qualité. Elles pourront bientôt utiliser des petits modèles de langage (SLM) Luna pour réaliser à grande échelle des évaluations continues combinant haute précision, faible latence et rentabilité. Elles inspecteront ainsi 100 % du trafic sans les coûts et la latence qui découlent du recours exclusif à des juges basés sur des modèles de pointe. De plus, les experts peuvent donner leur avis sur la qualité de l’évaluation : on obtient ainsi un cercle vertueux où l’expertise humaine améliore l’évaluation automatisée, qui va de son côté étendre la portée de cette expertise et de la détection des inconnues.

Les équipes disposent également d’outils d’évaluation puissants et prêts à l’emploi pour la RAG, la performance des agents, la qualité de la réponse et les processus multimodaux, ainsi que d’autres mesures de qualité spécifiques. Elles peuvent encore créer des juges LLM personnalisés pour arbitrer la qualité des réponses.

Observer les agents du prompt à la production

Lorsqu’un problème touche un agent, la cause profonde n’est pas toujours évidente. Une simple requête peut déclencher une logique d’orchestration, des appels de modèles, la récupération de données dans des bases de données vectorielles, des appels d’outils et des interactions entre plusieurs agents. Une défaillance à n’importe quel point de cette chaîne peut nuire au résultat final.

Splunk Agent Observability apporte de la visibilité sur le comportement des agents ; les équipes peuvent visualiser les agents, les appels d’outils et les transferts, ainsi que les indicateurs de qualité, de coût et de performance.

Elles ont également la possibilité d’instrumenter leurs applications sur les principaux fournisseurs LLM et frameworks d’agents à l’aide des SDK ou de l’API Splunk Agent Observability, qui prennent nativement en charge la traçabilité distribuée et OpenTelemetry. Grâce à cette flexibilité, les équipes disposent des traces détaillées indispensables pour localiser les problèmes, comprendre les dépendances et investiguer les défaillances et les différentes interactions au sein d’architectures d’agents de plus en plus complexes.

Elles acquièrent une image plus complète des applications d’IA et des liens qui unissent les agents, les modèles et les services de support.

Comprendre la tokenomics de l’IA

L’IA coûte cher. Ce coût élevé n’est pas seulement dû à l’évaluation des agents, aux nouveaux composants d’infrastructure ou aux workflows multi-agents complexes. Il s’explique aussi par l’adoption rapide des agents de code. Malheureusement, la hausse de la consommation et des dépenses ne se traduit pas toujours par une valeur métier significative. Les équipes ont également du mal à comprendre et à justifier les factures surprises qu’elles reçoivent.

Tokenomics offre aux responsables financiers et techniques une vision unifiée de la consommation de tokens, pour comprendre les utilisateurs, les agents de programmation et les modèles responsables des pics de coûts. Et pour déterminer si cette consommation donne effectivement des résultats.

Grâce à cet outil, au lieu de demander simplement combien elles dépensent, les équipes peuvent désormais poser des questions plus intéressantes : quels sont les agents qui consomment le plus ? Dans quels domaines les ressources sont-elles gaspillées ? Les modèles plus chers offrent-ils réellement de meilleurs résultats ? Quel est leur rapport qualité-prix ?

Cette fonctionnalité sera disponible sur site, dans Observability Cloud et dans Cisco Cloud Control à la fin du mois. Les principales intégrations couvriront Claude Code, Codex, Cursor, Windsurf et GitHub Copilot.

Consultez l’article sur la tokenomics ou cette page web pour en savoir plus.

L’application des garde-fous est l’affaire de tous

Lorsque les agents gagnent en autonomie, accèdent à des données plus sensibles et interagissent avec davantage d’outils, ils élargissent la surface d’attaque et l’impact potentiel de la moindre défaillance. De nouvelles menaces font leur apparition : injection de prompt, détournement d’outils et autres actions nuisibles. Dans un tel contexte, la confiance et la sécurité ne peuvent pas reposer sur la responsabilité d’une seule équipe.

Que ce soient les ingénieurs qui résolvent les problèmes, les équipes d’IA qui améliorent les modèles et les agents, les experts qui définissent les critères de qualité, les équipes de sécurité qui atténuent les risques ou les responsables métiers qui chiffrent la rentabilité et la valeur métier des projets d’IA, tous contribuent à définir ce qu’est un comportement agentique sûr, précis et conforme.

Splunk Agent Observability contribue à convertir ces normes communes en actions en donnant aux équipes les moyens de traduire les évaluations en garde-fous qui vont bloquer les actions nuisibles ou inexactes en cours d’exécution, avant qu’elles n’atteignent les utilisateurs. Les contrôles centralisés assurent l’application cohérente des politiques de sécurité et de conformité à l’ensemble des agents, sans qu’il faille intégrer cette logique à chaque application.

Une même approche pour les environnements sur site, Splunk Observability Cloud et Cisco Cloud Control

Les entreprises ne développent pas toutes leurs projets d’IA au même endroit. Leurs agents, leurs modèles, leurs données, leurs applications et leurs infrastructures couvrent aussi bien le cloud que les environnements locaux, et sont de plus en plus distribués. C’est pourquoi Splunk Agent Observability est conçu pour couvrir tous les workloads d’IA indépendamment de leur emplacement.

Cela explique aussi que Splunk Agent Observability soit accessible via Cisco Cloud Control : une plateforme unifiée pour les opérations agentiques, avec une seule connexion pour tous les produits Cisco. Cette expérience en co-conception, intégrée verticalement, couvre l’ensemble de l’expérience full-stack, du niveau de la puce et de l’optique aux agents IA en passant par les réseaux, le calcul, les données, les modèles et les applications, en intégrant la sécurité et l’observabilité à tous les niveaux. Cette visibilité aide les équipes à faire le lien entre l’état de l’infrastructure d’IA et tous les aspects de l’exploitation de l’IA : comportement des agents et des modèles, sécurité, fiabilité et rentabilité.

Premiers pas avec Splunk Agent Observability

Consultez notre site web et la documentation pour découvrir comment Splunk Agent Observability peut vous aider à combler le déficit de confiance vis-à-vis de l’IA et à bâtir un avenir où la puissance des agents s’accompagne de fiabilité et de sécurité. Lancez-vous dès aujourd’hui avec Splunk Observability Cloud Free Edition.