Comment collecter les données ?
Rien de plus simple ici, car toutes les données sont disponibles en Open Data sur le site du gouvernement.
➡️ L'Open Data, qu'est ce que c'est ? Ce sont des données produites par des services publics et proposées en libre service pour consultation, mais également libres d'exploitation pour créer de nouveaux produits et services. D’ailleurs, Audrey de Splunk avait fait un épisode de Data Talks à ce sujet.
Pour nos données sur le carburant, vous y trouverez l'historique de prix des carburants pour chaque station sur plusieurs années, ainsi que différentes méthodes pour les récupérer.
De notre côté, nous nous sommes concentrés sur l'API "instantané" qui va nous fournir un aperçu en temps réel des prix des carburants dans chaque station en France.
En se connectant à cette API, un zip contenant les données est téléchargé. Dans cette archive se trouve un fichier au format xml.
Afin d'ingérer les données dans Splunk, Olivier a développé un script Python qui effectue les actions suivantes :
- se connecter à l'API pour télécharger le fichier zip ;
- dézipper l'archive ;
- parser le fichier xml pour en extraire les données utiles ;
- générer les données au format json.
Il ne nous reste plus qu’à planifier l'exécution de notre script chaque matin (pour info, cela se passe dans le fichier de configuration Splunk inputs.conf).
Ce jeu de données instantané contient l'ID et l'adresse de chaque station. Si vous voulez aller plus loin, sachez qu'il est possible de récupérer également le nom des stations. Il ne vous restera plus qu'à créer une “automatic lookup” qui vous ajoutera ensuite automatiquement le nom de station associé à chaque ID.
Visualiser les données
On commence ici avec l'utilisation de l'application Maps + for Splunk disponible gratuitement sur la Splunkbase qui va nous permettre d'exploiter les coordonnées GPS des différentes stations, et ainsi visualiser sur une carte toutes les données de nos stations.
Comment est-ce que cela fonctionne ?
Très simplement, il suffit que notre requête retourne les coordonnées (latitude et longitude), une icône (l'application utilise Font Awesome, ce qui fournit un vaste choix d'icônes), un code couleur, et une info-bulle à afficher au passage de la souris.
Nous avons utilisé ici les icônes gas-pump et trophy pour représenter la station la moins chère. Nous appliquons ensuite le code couleur suivant : vert si le prix n'augmente pas de plus de 5% par rapport au minimum constaté, orange pour une augmentation entre 5 et 10%, et rouge pour tout ce qui est supérieur à 10% d'augmentation.
Et nous voici avec une carte actualisée chaque jour nous permettant de trouver la station la moins chère proche de chez nous. À nous les économies !
Pour notre second tableau de bord, on ne change pas les bonnes habitudes, et nous utilisons Dashboard Studio pour analyser les prix de l'essence sur toute la France.
Historique de prix, départements/villes les plus ou moins chers, emplacement des stations… les possibilités d'exploitation des données sont grandes. Nous allons essayer d'en sortir quelques chiffres intéressants.
Le carburant en France en quelques chiffres
Voici quelques chiffres insolites mais pas toujours réjouissants sur le prix du carburant en France :
- 9787 : c'est le nombres de stations analysées
- 2,18 € : prix moyen du litre de gazole atteint durant l'été 🆙
- 2,58 € : prix maximum atteint en août à Paris pour 1 L de gazole ⚠️
- 10 centimes ↘️: baisse de prix constatée le 1er septembre comparée à la remise de 30 centimes de l'État ... 🙄
- 26 centimes ↗️: l'augmentation maximale constatée dans certaines stations la semaine précédent le retour de l'aide de l'État ... 💸
- 75 : c'est le département de Paris où l'on constate le prix moyen le plus haut ❌
- 66 : c'est le département des Pyrénées-Orientales où l'on constate le prix moyen le plus bas ✅
- 18 : le plus petit nombre de stations service pour un département, c'est dans le Territoire de Belfort
- 270 : c'est au contraire le plus grand nombre de stations dans un département, les Bouches-du-Rhône.
Bonus, mon préféré, le chiffre que je trouve le plus fou
- 290 mètres : la distance à parcourir entre 2 stations pour économiser 20 cts/L à Toulouse !! 😂
Pour aller plus loin techniquement
- L'application Dashboard Studio est maintenant intégrée par défaut dans les versions Splunk 8.2 et plus
- L'application Maps + for Splunk est disponible sur la Splunkbase : https://splunkbase.splunk.com/app/3124/
- Les APIs Open Data du gouvernement sont ici : https://www.prix-carburants.gouv.fr/rubrique/opendata/
- 💥 Vous pouvez retrouver l'intégralité du code de notre application sur le Github d'Olivier https://github.com/OlivierProTips/essences
D'autres articles pour splunker votre quotidien
- Monitorer une F1 sur PS4
- Télétravail : la data pour mesurer nos changements de rythme de vie
- Confinement : Splunker sa consommation Netflix
- Monitorer ses entraînements sportifs
- Monitorer sa consommation d’électricité grâce à Splunk et Linky
- Splunker sa maison : monitorer sa cave à vin
- Un peu d’air : Quand les données améliorent la qualité de l’air intérieur
***
Cet article est signé Thomas Labetoulle, talentueux Consultant Splunk chez notre partenaire CGI. Depuis 2017, il accompagne ses clients dans la mise en place de Splunk pour exploiter et valoriser leurs données. Thomas est certifié Splunk Admin, et il s’est formé à de nombreux modules comme ITSI, Enterprise Security ou encore Splunk Dashboards Beta.
