En assurant un temps de réponse quasi temps réel (évalué à 300 ms en moyenne pour une requête standard), quel que soit le volume de données, Elasticsearch offre une extension considérable des champs d’analyse
Le Labo BI et Big Data a mis en place une plateforme Big Data. L’un des cas d’usage implémenté dans cette plateforme permet de suivre les consommations énergétiques, de prédire les consommations, d’identifier les anomalies, de classifier les types de consommation. Ces données croisées avec les données financières du Ministère des Armées, permettent ainsi une utilisation plus efficiente du budget dédié à la consommation énergétique.
En France, le Ministère des Armées est responsable de la protection des intérêts du territoire et de la population. Il est également impliqué dans des missions de service public et soutient les actions d’autres ministères à la fois sur le territoire régional, national et international. À l’ère de la mondialisation, les notions de sécurité et de conflits ont évolué. Ce constat impose des réorientations stratégiques dans l’utilisation des moyens de défense au sein et à l’extérieur de la France. La stratégie de défense et de sécurité nationale est aujourd’hui définie grâce à cinq grandes fonctions stratégiques : connaître et anticiper, prévenir, dissuader, protéger, intervenir.
La puissance de recherche pour analyser et croiser les données d’une plateforme globale multi-métier
Intégré au sein du secrétariat général pour l’administration, et rattaché à la mission d’aide au pilotage, le Labo BI et Big Data (le Labo), expérimente des solutions innovantes et propose de les mettre en œuvre une fois la preuve de faisabilité approuvée. La mission d’aide au pilotage construit le tableau de bord de la ministre qui fournit une vision globale mensuelle du ministère, et assure le suivi de l’indicateur du moral des militaires. A l’issue d’une preuve de concept (POC) réussie de collecte et d’analyse de données issues de Twitter, le Labo décide de monter en compétence sur les technologies et problématiques du Big Data.
Pendant un an le Labo évalue divers outils BI et Big data du marché, avant d’opter pour la Suite Elastic. Dès lors il se lance dans la conception d’un premier cas d’usage qui consiste à transposer le POC Twitter à des données financières du Ministère des Armées. C’est ainsi que le projet DataFIN360 voit le jour pour devenir le « produit de marque » sur lequel le Labo acquiert sa notoriété au sein du ministère. Un succès qui donne naissance à une série d’autres clusters de données métier, telles que DataRH, DataAchats, DataEnergie. La Suite Elastic assure aujourd’hui, selon des droits d’accès précisément établis, un accès à d’importants ensembles de données opérationnelles et administratives qui peuvent désormais aussi être croisées grâce à la solution Cross Cluster Search d’Elastic. Ils forment ainsi la nouvelle plateforme Data360 à disposition des métiers pour exploiter en toute autonomie des données disponibles sous forme de tableaux de bord et d’indicateurs nécessaires au suivi des missions du ministère.
L’objectif principal du Labo est de casser les silos et agrégats de données existants, jusque-là véritables freins à la mise en œuvre de tout projet Big Data. Il constate également que les différents utilisateurs, visés par cette initiative, sont souvent insatisfaits du système d’information (SI) et des briques technologiques en place. Ils ont tendance à abandonner rapidement les solutions proposées pour revenir à leurs traditionnels fichiers Excel pourtant chronophages pour créer des indicateurs et croiser des données. De plus, ces outils n’assurent aucune traçabilité au risque de se perdre dans les versions successives des résultats et documents obtenus. Cela implique de remplacer une vision statique et compliquée d’accès à la donnée, par l’utilisation d’un moteur de recherche pour accéder à l’information. A l’issue d’un an d’évaluation des solutions du marché, le Labo opte pour le moteur de recherche Elasticsearch.
En assurant un temps de réponse quasi temps réel, quel que soit le volume de données, Elasticsearch offre une extension considérable des champs d’analyse, jusqu’à 10 ans d’historique de données étant à disposition des métiers pour la partie finance.
Lors de la réalisation du POC Twitter, le Labo utilise près de 10 noeuds et une instance Kibana pour la visualisation des données. Rapidement il met en place des tableaux de bord permettant d’analyser des millions de tweets et de créer des agrégations sur des hashtags et d’autres paramètres (sentiments, détection de militaires etc.)
Tableau de bord Kibana - Analyse des tendances Twitter
La flexibilité de Kibana convainc également le Labo qui peut désormais réaliser facilement toutes sortes de visualisations telle qu’une cartographie des tweets. A chaque clic, une intersection avec un autre domaine ou sujet est relevé et rend le test d’autant plus concluant pour les métiers.
Tableau de bord Kibana - Cartographie des Tweets
Le POC permet ainsi de valider la puissance, la fiabilité, ainsi que la remarquable extensibilité d’Elasticsearch et donne un avant-goût au ministère de ce qu’il est possible de réaliser lorsqu’on bénéficie d’une vision globale. De plus, la nature open source du moteur de recherche correspond à la culture du Labo composé de nombreux universitaires habitués à l’expérimentation et à l’esprit communautaire.
S’ensuit le projet DataFIN, relatif à l’exploitation de données financières issues de l’application interministérielle Chorus. Il s’agit du premier cas d’usage d’une série de neuf qui seront successivement développés au sein du ministère des Armées. Dès le démarrage de DataFIN, le Labo choisit de souscrire à une licence Platinum de la Suite Elastic pour bénéficier d’un accès sécurisé aux données, ainsi que d’autres fonctionnalités à valeur ajoutée, telles Reporting pour les tableaux de bord, Machine Learning pour la détection d’anomalie, ou encore Canvas pour une présentation animée et personnalisée des données.
Contrairement à d’autres offres du marché affichant un prix de licence par utilisateur, la Suite Elastic rejoint notre leitmotiv de réaliser du concret à moindre coût. Sa tarification basée sur le nombre d’instances installées permet une utilisation des outils à tous les niveaux, des bureaux de pilotage, aux services exécutants ou gestionnaires de missions spécifiques.
DataFIN 360 permet donc d’analyser toutes les données financières produites par le ministère. Pour chaque document, il y a environ 300 dimensions (clés-valeurs) représentant donc à chaque transaction un nombre de données conséquent. Le Labo offre la possibilité aux utilisateurs d’accéder à la donnée, la visualiser et créer leurs propres indicateurs. Cela permet ainsi de croître considérablement le spectre de pilotage. Au final, ce sont près d’un milliard de documents enregistrés, plus de 1 000 utilisateurs et près de 10 ans de données stockées. Le succès de DataFIN 360 permet de convaincre la direction des affaires financières de l’utilité et la pertinence de Kibana.
DataFIN 360 est une application déterminante qui a changé notre approche de la donnée et a permis de moderniser toute la fonction financière. Cette ouverture vers une technologie de nouvelle génération a suscité l’intérêt d’autres services souhaitant migrer leurs données sur la plateforme Elastic,
Caption : Tableau de bord Kibana - DataFIN 360
Suite au succès du projet DataFIN 360, le Lab se retrouve sollicité de toute part pour aider à l’exploitation des données de divers organismes du ministère. DataNRJ devient ainsi le deuxième cas d’usage à voir le jour avec l’objectif de tirer parti de données issues de capteurs et de relevés de consommation d’énergie et de fluide qui proviennent de fournisseurs tel qu’Enedis ou RTE. Il y a un besoin de mieux exploiter cette mine d’informations dont le volume et le format restaient un obstacle infranchissable avec les outils existants. La Suite Elastic permet de sortir de cette impasse et répond à la demande de croiser ces données d’ordre physique avec les données financières de DataFIN. Dans le cadre de ce projet, le Lab reçoit un prix de l’innovation Défense remis par la secrétaire d’état auprès de la Ministre des Armées.
Pour dépasser un stade d’analyse à base d’agrégations et d’indicateurs, nous avons créé avec Elasticsearch le lien physico-financier recherché en croisant des données de facturation et des données de capteurs, auxquelles nous avons appliqué nos propres algorithmes. Nous sommes désormais en mesure de prédire les consommations et d’opérer par allotissement afin de mieux négocier les contrats auprès des fournisseurs. On réduit les coûts en commandant de plus grandes quantités qui sont ensuite réparties en fonction des besoins de consommations.
Progressivement, d’autres cas d’usage se sont greffés aux deux premiers. DataHA consiste à analyser toutes les données des achats du Ministère des Armées. Ces informations croisées avec celles de DataFIN donne aux Achats une maîtrise totale du processus d’acquisition. DataRH, projet très stratégique mandaté par la direction générale du numérique (DGNUM) et la direction des RH du Ministère, a pour objectif d’avoir une vision globale des RH afin d’en améliorer le pilotage (prévision, gestion, identification des ressources rares …). Son intersection avec DataFIN permet de créer notamment le lien entre les rémunérations et les dépenses budgétaires. L’évidence de devoir établir un lien entre les données propres à chaque métier conduit à la mise en œuvre d’une plateforme globale de données Data360.
Chaque projet étant géré en tant que cluster indépendant par métier correspondant aux différentes zones fonctionnelles, le Lab dispose d’une architecture lambda qu’il réplique ainsi pour chaque projet. Les données sont récupérées soit à partir d’une API, d’un data store classique, des capteurs ou parfois encore depuis des réseaux sociaux. Elles sont ensuite poussées vers Logstash ou Python avant de terminer sur différents nœuds Elastic auxquels sont appliqués par défaut la fonctionnalité Sécurité, indispensable pour eux en raison du caractère sensible des données. Enfin les données peuvent être visualisées sous Kibana par les bureaux de pilotage. L’objectif final reste cependant de permettre de croiser les données entre ces différents clusters. L’architecture globale de la plateforme Data360 se complexifie et c’est à cette étape qu’intervient le Cross Cluster Search d’Elastic.
Caption: Architecture Globale Data360
Grâce à Cross Cluster Search de la Suite Elastic, nous maintenons des ensembles de données bien compartimentés et en adéquation avec chaque direction ou service, qui en garde néanmoins les droits d’administration et d’accès pour une communication entièrement contrôlée entre cluster. Chaque décisionnaire bénéficie ainsi d’une vision à 360 à la fois synthétique et directement connectée au réel pour élargir ses connaissances, obtenir une réponse instantanée à chaque question et anticiper le futur.
La plateforme Data360 conçue sur la Suite Elastic devient la pièce centrale d’aide au pilotage des métiers du Ministère des Armées et permettra à terme l’élaboration du tableau de bord de la Ministre. Elle est un élément moteur du mouvement global de transformation numérique de l’institution. Au-delà de l’optimisation des ressources qu’elle procure, sa valeur ajoutée sous-jacente réside dans le dialogue immédiat désormais établi entre les données. La fonction chronophage de collecte des données est alors allégée et permet aux utilisateurs de se concentrer sur leur cœur de métier en donnant du sens à de l’information concrète libérée de son silo.
Kibana est devenu au ministère des Armées un outil reconnu de présentation des tableaux de bord et indicateurs. La modernité et la performance de la suite Elastic répondent pleinement aux exigences des métiers en matière d’analyse des données.
Précurseur dans sa prise en charge des besoins des métiers, le Labo organise aujourd’hui divers workshops internes et interministériels afin de partager son expérience de développement avec la Suite Elastic et d’inciter à bâtir de prochaines plateformes de données en tirant parti de cette technologie temps réel de nouvelle génération.
Dans cet objectif de croissance, le Labo prévoit aussi de mener plus loin l’utilisation du Cross Cluster d’Elastic et commence à songer aux problématiques de passage à l’échelle. L’objectif serait de pouvoir déployer plus rapidement et facilement des clusters pour de nouveaux projets et répondre ainsi à la demande croissante au sein du Ministère des Armées. A terme l’ambition du Ministère est de pouvoir mettre en place une plateforme Data360 utilisant l’Intelligence Artificielle.
