Splunk est la plateforme au million de cas d’utilisation. On l’utilise pour interroger les données opérationnelles dans les domaines de la sécurité, de l’observabilité, de la fraude, de l’informatique décisionnelle et bien d’autres encore. Mais depuis que je travaille chez Splunk, je me suis rendu compte que tous nos clients rencontrent des difficultés qui découlent toutes du même problème fondamental :
face à l’augmentation exponentielle du volume des données, ils doivent identifier les entités dont le comportement anormal menace le plus la résilience de leur organisation.
Découvrez la Splunk App for Behavioral Profiling, un ensemble de workflows qui vous permettent d’opérationnaliser la détection et l’évaluation des anomalies comportementales à grande échelle dans des environnements complexes. Ces workflows corrèlent les anomalies aux profils et mettent en évidence les entités qui dégradent la résilience. Ils sont conçus pour aider :
- Les équipes de fraude chargées de localiser des adversaires de plus en plus sophistiqués, qui emploient des méthodes évolutives sur des canaux physiques et numériques pour contourner les règles de détection simplistes.
- Les opérations IT qui prennent en charge une infrastructure, des services et des solutions modernes et extrêmement fragmentés, dont chaque composant peut se dégrader et compromettre la résilience de la plateforme – et donc le fonctionnement de tout un service.
- Les analystes des menaces internes qui tentent de traquer les comportements suspects, aux prises avec des solutions rigides, opaques et trop complexes pour que les équipes puissent les adapter à leurs opérations.
- Les modérateurs de plateforme qui recherchent les utilisateurs malveillants et la publication de contenus abusifs ou illégaux ; sans une détection appropriée, ils affectent directement les revenus et le ressenti des clients, au milieu d’un marché de solutions inapplicables aux plateformes sur mesure.
Contexte
Tout d’abord, éclaircissons quelques termes.
J’ai utilisé le mot « entité » à plusieurs reprises, mais qu’est-ce qu’une entité ? Ce peut être n’importe quel groupe d’objets que l’on peut cartographier et au sein duquel vous pouvez faire des comparaisons et trouver des comportements anormaux. Quelques exemples : clients, unités commerciales, employés, applications, serveurs, succursales, etc.
Parallèlement à cela, une anomalie comportementale est une déviation par rapport au comportement attendu. Cette déviation peut s’observer entre une entité et ses pairs, une entité et son comportement historique, ou les deux.
Il fut un temps où il était difficile, avec Splunk, d’opérationnaliser des détections d’anomalies comportementales à grande échelle, puis d’atteindre les entités concernées. Il fallait pour cela maîtriser et implémenter :
- Le langage de traitement de recherche de Splunk (SPL) pour définir une recherche
- La planification pour opérationnaliser cette recherche
- Le machine learning et ML-SPL pour définir et interpréter les critères d’anomalie
De plus, il faut exploiter des fonctionnalités telles que l’indexation récapitulative et les magasins KV pour étendre les recherches d’anomalies à des entités qui peuvent se compter par million – un aspect que vous pourrez explorer dans cet excellent article de blog de Josh Cowling.
La Splunk App for Behavioral Profiling apporte une aide bienvenue en orchestrant tout ce qui précède un workflow très simple. Vous pouvez ainsi déployer des recherches d’indicateurs comportementaux en une ligne de SPL, et introduire un mécanisme d’évaluation simple pour détourner l’attention des faux positifs et la focaliser vers les entités qui comptent vraiment.
Sous le capot
L’application utilise une architecture à trois couches pour transformer vos sources de données brutes en entités profilées :
- Dans un premier temps, on déploie des recherches d’indicateur pour suivre le comportement des entités et envoyer les métriques dans l’index des indicateurs, selon une planification définie par l’utilisateur.
- Cet index d’indicateurs est ensuite utilisé comme source par les règles d’évaluation définies par l’utilisateur, qui exploitent des critères allant de la simple logique conditionnelle (p. ex. valeur d’indicateur > 5 000) à la détection d’anomalies basée sur le machine learning. Ce processus permet d’identifier des entités au comportement anormal et d’attribuer des scores dynamiques dans l’indice de notation.
- L’indice de notation remplit ensuite un tableau de bord comportemental pour afficher une liste d’entités hiérarchisées en fonction des scores comportementaux agrégés, en vue de leur investigation.
Déploiement
Le déploiement d’une recherche d’indicateur est très simple : il suffit d’orienter le workflow vers un ensemble de données, de sélectionner le champ qui représente l’entité unique et d’utiliser les menus déroulants pour sélectionner une fonction permettant de créer la métrique d’indicateur à suivre (les utilisateurs plus avancés peuvent s’appuyer entièrement sur des recherches SPL). Quand la configuration est faite, vous pouvez enregistrer la recherche, la planifier et procéder au remplissage rétroactif via le menu contextuel.
Définir et sauvegarder une nouvelle règle d’indicateur
Les règles d’évaluation sont ensuite définies via le workflow sur la base des données de l’index d’indicateurs. À ce moment-là, pour définir les règles qui vont reconnaître un comportement anormal– entité par entité ou dans l’ensemble du groupe – vous avez le choix entre une logique conditionnelle statique, un seuil d’écart type ou une détection d’anomalies optimisée par le Splunk Machine Learning Toolkit.
Une fois les critères d’anomalie déterminés, il ne reste qu’à définir la logique de notation puis, une dernière fois, à enregistrer la règle, la planifier et effectuer le remplissage rétroactif.
Définir la logique de détermination et de notation des anomalies de la recherche d’indicateurs
Investigation
Une fois qu’une règle de notation a été déployée, ses attributions seront immédiatement agrégées avec d’autres pour alimenter le tableau de bord Score comportemental des entités, qui offre un aperçu du profil comportemental de vos entités et une liste prioritaire des anomalies majeures. Si vous explorez une entité, vous atteignez la vue Profil d’entité unique, où vous pouvez consulter l’historique de l’entité, les scores comportementaux qui lui ont été attribués et les événements bruts qui y contribuent. À partir de là, vous pouvez marquer une entité comme examinée ou l’ajouter à une liste verte pour la supprimer de toutes les recherches sous-jacentes.
Maintenance
Vous devez impérativement avoir de la visibilité sur les performances des règles pour confirmer que votre environnement continue d’identifier les entités les plus critiques. À cet effet, l’application fournit plusieurs vues où vous pourrez identifier les endroits où les règles ont dérivé ou rencontré des problèmes de performances.
Tableau de bord Examen des règles d’évaluation
Le tableau de bord Scores de comportement des entités contient des informations sur le volume et les attributions de notation fournies par chaque règle déclenchée, pour vous guider dans l’ajustement des règles. Par ailleurs, les tableaux de bord Examen des indicateurs et Examen des règles d’évaluation apportent du contexte opérationnel en donnant le nombre d’événements renvoyés et les performances de vos recherches déployées au fil du temps.
Commencez dès aujourd’hui !
Si vous souhaitez commencer à rechercher les entités dont le comportement est le plus anormal au sein de votre environnement, la Splunk App for Behavior Profiling est disponible dès aujourd’hui en téléchargement sur Splunkbase pour les clients Splunk Enterprise/Cloud, accompagnée de sa documentation et de démonstrations vidéo ciblant la détection de la fraude et la supervision des services.
Merci et bon profilage !
Je remercie particulièrement Josh Cowling, qui a développé cette application avec moi, pour son soutien décisif. Merci également à tous les Splunkers et tous les clients dont les contributions ont façonné le développement de l’application.
*Cet article est une traduction de celui initialement publié sur le blog Splunk anglais.
