Quand des erreurs surviennent [au cours des processus ETL], il peut être difficile de savoir d’où elles viennent. Splunk donne à chacun la possibilité de localiser rapidement le problème et de le résoudre.
Avec l’augmentation des volumes de données échangés entre ses applications et ses processus métiers, Siemens Digital Industries souffrait de latence dans ses flux de données et d’une visibilité limitée sur son environnement vaste et complexe. Ces problèmes affectaient particulièrement les utilisateurs métiers, qui comptent sur la synchronisation des données principales des produits SAP.
Après avoir opté pour une nouvelle stratégie d’intégration avec Splunk Cloud comme plateforme d’observabilité et les applications Splunk de Rojo Consultancy pour Confluent Kafka et SnapLogic, Siemens DI a considérablement réduit la latence des données. Cette approche a fortement réduit les coûts d’exploitation, augmenté l’efficacité et l’évolutivité de l’environnement et amélioré la satisfaction des clients.
Division de Siemens AG, Siemens DI est un leader du marché de l’automatisation et des logiciels industriels. Ses solutions interviennent dans une grande partie de ce qui fait notre quotidien. Les voitures que nous conduisons, la nourriture sur nos tables, les médicaments que nous achetons à notre pharmacie de quartier, notre machine à laver, et même nos téléphones : tout cela a très certainement été fabriqué ou développé à l’aide des logiciels et des solutions de Siemens DI. Plus de 170 000 clients utilisent les logiciels de l’entreprise pour prendre des décisions basées sur les données et interpréter des quantités massives de données issues de l’IoT industriel.
Siemens DI a choisi Splunk et les applications Splunk de Rojo pour superviser son écosystème de flux de données et les KPI qui y sont associés : ces KPI informatiques suivent la quantité de données consommées par la division, les intervalles de consommation de données, ainsi que l’état de santé et les performances de la plateforme dans son ensemble. Ses équipes utilisent également Splunk pour superviser des KPI métiers afin de soutenir les services commerciaux du monde entier. L’adoption de Splunk a été cruciale pour Siemens DI : elle lui a permis de comprendre ses flux de données et d’entamer son parcours d’observabilité.
Siemens DI fournit des services de diffusion de données pour les informations sur les produits, appelés Product Master Data Streaming (PMDS). Ses clients peuvent utiliser ces flux pour traiter et consommer des données afin d’alimenter d’autres systèmes. Siemens DI utilise SnapLogic pour intégrer des données provenant de plusieurs sources à ces flux, créés avec Confluent Kafka. Mais Siemens DI manquait d’informations sur le contenu des flux eux-mêmes. Les erreurs présentes dans les données peuvent provenir des systèmes SAP ou des données de fournisseurs intégrées, et elles peuvent affecter négativement les performances. Comme les clients n’avaient pas accès aux données pouvant les aider à résoudre les problèmes, Siemens DI devait intervenir sur place afin de les corriger pour eux.
Afonso Rodrigues, Intégrateur citoyen PMDS chez Siemens DI, explique : « Au départ, nous utilisions Splunk Enterprise pour superviser nos pipelines d’intégration et notre plateforme de gestion des événements. Nous consignons environ deux douzaines de champs de métadonnées que nous pouvons ensuite analyser et qui servent à l’élaboration de nos tableaux de bord. Splunk nous offre la transparence que nous n’avons jamais eue. » L’utilisation de Splunk a été simplifiée grâce aux applications d’observabilité Splunk de Rojo Consultancy, qui intègrent la plateforme Splunk à SnapLogic et à Kafka. Cette intégration permet aux équipes de Siemens DI de superviser diverses applications de son écosystème au sein d’une vue unique.
Quand des erreurs surviennent [au cours des processus ETL], il peut être difficile de savoir d’où elles viennent. Splunk donne à chacun la possibilité de localiser rapidement le problème et de le résoudre.
Les entreprises qui utilisent des outils d’exportation, de transformation et de chargement (ETL) pour automatiser le traitement des données comptent sur la précision et la ponctualité de leurs flux de données. Mais pour Siemens, le grand volume de données et la diversité des sources étaient surtout synonymes d’augmentation du risque d’erreurs susceptibles de perturber le processus. Thomas Hecht, Chef de projet informatique et responsable des processus d’entreprise pour les données produits principales chez Siemens DI, affirme : « Le principal problème était que les processus ETL peuvent exiger la réplication et la transformation répétées d’énormes quantités de données avant qu’elles puissent être utiles à nos clients. Quand des erreurs se manifestent, il peut être difficile de savoir d’où elles viennent, de quelle application, de quelle source de données. Splunk donne à chacun, au client comme à nous, la possibilité de trouver rapidement le problème et d’accélérer sa résolution. »
Siemens DI utilise également les informations de la plateforme Splunk pour superviser les performances. Les équipes identifient souvent les problèmes avant les clients. Elles peuvent donc alerter les utilisateurs de manière proactive et leur fournir les informations nécessaires pour résoudre les problèmes. Siemens DI supervise les performances des accords de niveau de service (SLA) pour tous les systèmes connectés afin de les maintenir en conformité.
La plateforme Splunk permet à Siemens DI et à ses utilisateurs professionnels d’accéder directement à leurs données, de localiser les problèmes liés aux données et de les résoudre efficacement, ce qui réduit considérablement les retards coûteux. Mais ce n’est que le début. M. Hecht précise : « La prochaine étape logique serait d’examiner le contenu, les données réelles. Pas tant pour les équipes informatiques qui gèrent ces plateformes, que pour les utilisateurs professionnels qui pourront en tirer de précieuses informations. Grâce à Splunk, nous pouvons appliquer au contenu du magasin de données n’importe quel type d’analyse utile à nos partenaires commerciaux. »
Avec Splunk et Rojo, Siemens DI pourrait permettre aux utilisateurs de relancer le traitement des échecs d’un simple clic et de proposer une tarification basée sur la consommation. « Quand nous créons une intégration pour nos clients, nous pouvons désormais leur montrer les processus à forte valeur ajoutée que permet Splunk, » déclare M. Hecht.