Ministère des Armées : doter les métiers d’outils d’analyse interactifs et de visualisation des données en temps réel

Intégré au sein du secrétariat général pour l’administration, et rattaché à la mission d’aide au pilotage, le Labo BI et Big Data (le Labo), expérimente des solutions innovantes et propose de les mettre en œuvre une fois la preuve de faisabilité approuvée. La mission d’aide au pilotage construit le tableau de bord de la ministre qui fournit une vision globale mensuelle du ministère, et assure le suivi de l’indicateur du moral des militaires. A l’issue d’une preuve de concept (POC) réussie de collecte et d’analyse de données issues de Twitter, le Labo décide de monter en compétence sur les technologies et problématiques du Big Data.

Pendant un an le Labo évalue divers outils BI et Big data du marché, avant d’opter pour la Suite Elastic. Dès lors il se lance dans la conception d’un premier cas d’usage qui consiste à transposer le POC Twitter à des données financières du Ministère des Armées. C’est ainsi que le projet DataFIN360 voit le jour pour devenir le « produit de marque » sur lequel le Labo acquiert sa notoriété au sein du ministère. Un succès qui donne naissance à une série d’autres clusters de données métier, telles que DataRH, DataAchats, DataEnergie. La Suite Elastic assure aujourd’hui, selon des droits d’accès précisément établis, un accès à d’importants ensembles de données opérationnelles et administratives qui peuvent désormais aussi être croisées grâce à la solution Cross Cluster Search d’Elastic. Ils forment ainsi la nouvelle plateforme Data360 à disposition des métiers pour exploiter en toute autonomie des données disponibles sous forme de tableaux de bord et d’indicateurs nécessaires au suivi des missions du ministère.

L’objectif principal du Labo est de casser les silos et agrégats de données existants, jusque-là véritables freins à la mise en œuvre de tout projet Big Data. Il constate également que les différents utilisateurs, visés par cette initiative, sont souvent insatisfaits du système d’information (SI) et des briques technologiques en place. Ils ont tendance à abandonner rapidement les solutions proposées pour revenir à leurs traditionnels fichiers Excel pourtant chronophages pour créer des indicateurs et croiser des données. De plus, ces outils n’assurent aucune traçabilité au risque de se perdre dans les versions successives des résultats et documents obtenus. Cela implique de remplacer une vision statique et compliquée d’accès à la donnée, par l’utilisation d’un moteur de recherche pour accéder à l’information. A l’issue d’un an d’évaluation des solutions du marché, le Labo opte pour le moteur de recherche Elasticsearch.

Lors de la réalisation du POC Twitter, le Labo utilise près de 10 noeuds et une instance Kibana pour la visualisation des données. Rapidement il met en place des tableaux de bord permettant d’analyser des millions de tweets et de créer des agrégations sur des hashtags et d’autres paramètres (sentiments, détection de militaires etc.)

La flexibilité de Kibana convainc également le Labo qui peut désormais réaliser facilement toutes sortes de visualisations telle qu’une cartographie des tweets. A chaque clic, une intersection avec un autre domaine ou sujet est relevé et rend le test d’autant plus concluant pour les métiers.

Le POC permet ainsi de valider la puissance, la fiabilité, ainsi que la remarquable extensibilité d’Elasticsearch et donne un avant-goût au ministère de ce qu’il est possible de réaliser lorsqu’on bénéficie d’une vision globale. De plus, la nature open source du moteur de recherche correspond à la culture du Labo composé de nombreux universitaires habitués à l’expérimentation et à l’esprit communautaire.

S’ensuit le projet DataFIN, relatif à l’exploitation de données financières issues de l’application interministérielle Chorus. Il s’agit du premier cas d’usage d’une série de neuf qui seront successivement développés au sein du ministère des Armées. Dès le démarrage de DataFIN, le Labo choisit de souscrire à une licence Platinum de la Suite Elastic pour bénéficier d’un accès sécurisé aux données, ainsi que d’autres fonctionnalités à valeur ajoutée, telles Reporting pour les tableaux de bord, Machine Learning pour la détection d’anomalie, ou encore Canvas pour une présentation animée et personnalisée des données.

DataFIN 360 permet donc d’analyser toutes les données financières produites par le ministère. Pour chaque document, il y a environ 300 dimensions (clés-valeurs) représentant donc à chaque transaction un nombre de données conséquent. Le Labo offre la possibilité aux utilisateurs d’accéder à la donnée, la visualiser et créer leurs propres indicateurs. Cela permet ainsi de croître considérablement le spectre de pilotage. Au final, ce sont près d’un milliard de documents enregistrés, plus de 1 000 utilisateurs et près de 10 ans de données stockées. Le succès de DataFIN 360 permet de convaincre la direction des affaires financières de l’utilité et la pertinence de Kibana.

Suite au succès du projet DataFIN 360, le Lab se retrouve sollicité de toute part pour aider à l’exploitation des données de divers organismes du ministère. DataNRJ devient ainsi le deuxième cas d’usage à voir le jour avec l’objectif de tirer parti de données issues de capteurs et de relevés de consommation d’énergie et de fluide qui proviennent de fournisseurs tel qu’Enedis ou RTE. Il y a un besoin de mieux exploiter cette mine d’informations dont le volume et le format restaient un obstacle infranchissable avec les outils existants. La Suite Elastic permet de sortir de cette impasse et répond à la demande de croiser ces données d’ordre physique avec les données financières de DataFIN. Dans le cadre de ce projet, le Lab reçoit un prix de l’innovation Défense remis par la secrétaire d’état auprès de la Ministre des Armées.

Progressivement, d’autres cas d’usage se sont greffés aux deux premiers. DataHA consiste à analyser toutes les données des achats du Ministère des Armées. Ces informations croisées avec celles de DataFIN donne aux Achats une maîtrise totale du processus d’acquisition. DataRH, projet très stratégique mandaté par la direction générale du numérique (DGNUM) et la direction des RH du Ministère, a pour objectif d’avoir une vision globale des RH afin d’en améliorer le pilotage (prévision, gestion, identification des ressources rares …). Son intersection avec DataFIN permet de créer notamment le lien entre les rémunérations et les dépenses budgétaires. L’évidence de devoir établir un lien entre les données propres à chaque métier conduit à la mise en œuvre d’une plateforme globale de données Data360.

Chaque projet étant géré en tant que cluster indépendant par métier correspondant aux différentes zones fonctionnelles, le Lab dispose d’une architecture lambda qu’il réplique ainsi pour chaque projet. Les données sont récupérées soit à partir d’une API, d’un data store classique, des capteurs ou parfois encore depuis des réseaux sociaux. Elles sont ensuite poussées vers Logstash ou Python avant de terminer sur différents nœuds Elastic auxquels sont appliqués par défaut la fonctionnalité Sécurité, indispensable pour eux en raison du caractère sensible des données. Enfin les données peuvent être visualisées sous Kibana par les bureaux de pilotage. L’objectif final reste cependant de permettre de croiser les données entre ces différents clusters. L’architecture globale de la plateforme Data360 se complexifie et c’est à cette étape qu’intervient le Cross Cluster Search d’Elastic.

La plateforme Data360 conçue sur la Suite Elastic devient la pièce centrale d’aide au pilotage des métiers du Ministère des Armées et permettra à terme l’élaboration du tableau de bord de la Ministre. Elle est un élément moteur du mouvement global de transformation numérique de l’institution. Au-delà de l’optimisation des ressources qu’elle procure, sa valeur ajoutée sous-jacente réside dans le dialogue immédiat désormais établi entre les données. La fonction chronophage de collecte des données est alors allégée et permet aux utilisateurs de se concentrer sur leur cœur de métier en donnant du sens à de l’information concrète libérée de son silo.

Précurseur dans sa prise en charge des besoins des métiers, le Labo organise aujourd’hui divers workshops internes et interministériels afin de partager son expérience de développement avec la Suite Elastic et d’inciter à bâtir de prochaines plateformes de données en tirant parti de cette technologie temps réel de nouvelle génération.

Dans cet objectif de croissance, le Labo prévoit aussi de mener plus loin l’utilisation du Cross Cluster d’Elastic et commence à songer aux problématiques de passage à l’échelle. L’objectif serait de pouvoir déployer plus rapidement et facilement des clusters pour de nouveaux projets et répondre ainsi à la demande croissante au sein du Ministère des Armées. A terme l’ambition du Ministère est de pouvoir mettre en place une plateforme Data360 utilisant l’Intelligence Artificielle.