BPCE-IT révolutionne la valorisation des données avec Elastic
BPCE-IT a créé la plateforme THEIA, un système de surveillance basé sur Elastic pour résoudre des problèmes complexes à grande échelle.
Unir les forces pour offrir un service exceptionnel
Le partenariat avec Elastic apporte une efficacité et une efficience inégalées à la gestion quotidienne de plus de 500 applications.
Expérimenter la puissance de l'AIOps
BPCE-IT capitalise sur la surveillance de bout en bout et l'industrialisation pour des services de qualité et à l'échelle.
Siège de BPCE Infogérance & Technologies, 110, Avenue de France, Paris
Le suivi de bout en bout et la mise en œuvre de l’AIOps permettent à BPCE-IT d'atteindre un nouveau niveau d'efficacité dans sa gestion de la data.
Le groupe bancaire coopératif et mutualiste BPCE est engagé depuis plusieurs années dans la transformation digitale de l'ensemble de ses filiales et services. C’est un projet de grande ampleur compte tenu de la taille du groupe, deuxième groupe bancaire en France, pour lequel les données et leur utilisation sont essentielles : que ce soit dans la qualité des services offerts à ses clients et collaborateurs, ou dans le développement de nouveaux usages au service de toutes les fonctions de la banque. Le plan stratégique du Groupe BPCE a ainsi inscrit la data dans ses 3 priorités.
BPCE-IT est une entité IT indépendante, au service de toutes les filiales du Groupe BPCE. Responsable du Data for Ops de BPCE-IT, Antoine Chevalier est à la tête de l’équipe chargée d’accompagner le Groupe BPCE sur la voie de la transformation digitale en proposant des solutions efficaces et innovantes concernant le traitement des données et l’observabilité. Pour atteindre ses objectifs d’amélioration de la qualité de service et de mise en œuvre de l’AIOPS, tout en proposant une offre de service industrielle répondant aux différents besoins des filiales du Groupe BPCE, l’équipe Data for Ops de BPCE-IT a entrepris la construction d’une plateforme de données, basée sur Elastic.
Pour répondre aux besoins d'automatisation, de robot advisoring, d'analyse puissante, de dashboarding et de machine learning, l'utilisation de la technologie Elastic permet de centraliser et d'analyser les logs applicatifs de l'ensemble des serveurs, ce qui constitue une force dans la résolution des problèmes complexes rencontrés par l'entreprise.
C’est ainsi qu’est née THEIA. Avec Elastic, BPCE-IT a développé une application répondant aux défis du Data for Ops. Nommée d'après la déesse grecque qui détient le don de la vue illimitée et la capacité de cerner clairement les situations, THEIA vise à intégrer et à développer les deux usages antérieurs d'Elastic chez BPCE-IT — gestion d’un gros volume de données et observabilité — permettant de structurer l'ensemble du système d'information et d’améliorer la qualité de service au travers de l’utilisation de machine learning.
THEIA, une réponse unifiée à un contexte complexe
La mise en place de THEIA chez BPCE-IT intervient en réponse à une problématique complexe : comment améliorer le pilotage des applications dans un système d’information d’une telle dimension ? Les applications bancaires gérées par BPCE-IT sont souvent liées les unes aux autres, avec un grand nombre de serveurs impliqués, ce qui rend complexe la gestion et la compréhension de l'activité des applications dans son ensemble. Il était impératif de mettre en place un système de log management à grande échelle pour piloter l'activité des applications et pouvoir introduire l’AIOPS.
Antoine Chevalier souligne : « Lorsqu’un client utilise son application Caisse d'Epargne ou Banque Populaire, il sollicite directement un grand nombre d'écosystèmes applicatifs et de briques sur différents serveurs, opérés par différentes équipes. Avant THEIA, les anomalies pouvaient être difficiles à repérer. La puissance d'Elastic Observability couplée à un travail sur la qualité de nos données nous a permis d'avoir une vision claire sur nos opérations complexes. »
Centraliser les données pour plus d'efficacité et utiliser l’AIOps
BPCE-IT et une partie de l’IT de Natixis se sont rapprochées début 2021. Filiale du Groupe BPCE, Natixis avait déjà exploré les possibilités offertes par Elastic en termes de création de tableaux de bord et de machine learning. Antoine Chevalier se souvient avoir rapidement cerné le potentiel de l’AIOPS: « Centraliser la donnée pour y appliquer des modèles de machine learning, c’était pouvoir en tirer l’essence. Ce n'était pas encore à l'échelle, mais on a senti que cette démarche-là avait du sens et que c’était quelque chose qui allait exploser dans les années à venir ». BPCE-IT avait cependant une utilisation beaucoup plus démocratisée d’Elastic, avec une grande capacité d’ingestion de la donnée, mais d’une manière plus conservatrice et majoritairement utilisée pour la gestion des logs.
Antoine Chevalier et l’équipe Data for Ops de BPCE-IT ont été chargés de monter une offre de service plus ambitieuse pour l'entreprise. Son objectif était de combiner la plateforme performante et la capacité de volumétrie de l’ancien BPCE-IT avec l'offre plus orientée AIOps de Natixis pour améliorer le pilotage quotidien des productions applicatives. Pour cela, le choix s’est porté sur la technologie Elastic qui avait déjà fait ses preuves chez les deux entités grâce à sa fiabilité et à son évolutivité.
“En combinant une capacité d’ingestion très importante et de l'analyse via machine learning, nous savions que nous pouvions offrir de nouvelles expériences à nos utilisateurs et aider les équipes à améliorer collectivement leur capacité d’analyse et leur qualité de service. Elastic Observability nous a fourni une solution puissante et évolutive pour surveiller toutes nos données et en tirer de la valeur rapidement."
L'objectif était de rendre les technologies d’AIOps disponibles pour l’ensemble des équipes en charge d’applications, grâce à une offre de service industrielle et à l'échelle. En déployant le machine learning sur l'ensemble de son système d'information, BPCE-IT ambitionne d’augmenter fortement sa capacité d'anticipation des incidents, d'améliorer la qualité de service et d'assurer le bon déroulement des opérations grâce à un suivi de bout en bout des transactions.
Dans les équipes de production applicative de BPCE-IT, l’utilisation du machine learning a rendu possible la mise en œuvre de la supervision sur des opérations très difficiles à monitorer auparavant, permettant d’importants gains sur les temps de résolution, et donc une amélioration de la qualité de service.
Optimiser l’efficacité avec un suivi de bout en bout
La mise en œuvre de THEIA chez BPCE-IT avait notamment pour but de permettre un suivi de bout en bout des transactions des différentes applications de l'entreprise.
Pour que les différentes applications puissent communiquer entre elles et que les logs soient interprétables de bout en bout et pour pouvoir vraiment tirer le maximum de valeur des données stockées dans la plateforme, il était nécessaire d’adopter un langage commun. La première étape a donc consisté en la mise en place d'un dictionnaire de données. BPCE-IT a utilisé l'Elastic Common Schema (ECS) comme dictionnaire de base et l'a adapté en fonction de ses propres cas d'utilisation, avec ses propres mots et ses propres clés.
Au dictionnaire de données s’est ajouté un catalogue de données : c’est un élément central pour exploiter la donnée. Comme le précise Antoine Chevalier : « Auparavant, chaque service informatique utilisait les données de manière indépendante. Avec le data catalogue, chaque utilisateur de THEIA connaît les données présentes dans la plateforme, il sait qui peut y accéder, combien de temps elles sont conservées et comment elles sont organisées. Ainsi, THEIA permet d’abord de collecter et d’unifier les données de toutes les applications de BPCE-IT, mais la solution apporte également toute la gouvernance autour de ces données. »
Pour faciliter l'ingestion de données et permettre un passage à l’échelle ainsi que de la reproductibilité, BPCE-IT a créé un ETL (Extraire, transformer, charger) maison appelé Logcraft qui simplifie considérablement l’intégration avec Logstash et Kafka. Le pipeline d’ingestion est ainsi totalement industrialisé, de la consommation des messages dans Kafka, en passant par la création des configurations Logstash et leurs déploiements, jusqu’à l’intégration de la donnée dans THEIA. Ce niveau d’industrialisation assure la rapidité dans le traitement des nouvelles demandes, mais également le strict respect du dictionnaire de donnée et des best practices de la plateforme.
Elastic en support
BPCE-IT a choisi Elastic et sa plateforme unifiée pour la recherche et l'analyse de données en temps réel et à grande échelle. Elasticsearch permet à BPCE-IT de stocker, d'indexer, de rechercher et d'analyser des données structurées, semi-structurées et non structurées.
Le rôle d'Elastic Observability est primordial pour BPCE-IT, car il permet de monitorer et analyser les données de l'ensemble des applications exploitées. Antoine Chevalier insiste : « 100 % des applications du Groupe BPCE exploitées par BPCE-IT peuvent être monitorées avec Elastic : qu'elles soient sur nos datacenters, dans le cloud, qu’elles soient sur openshift ou bien dans notre cloud privé, peu importe la configuration. »
Elastic Cloud Enterprise (ECE) a été implémentée comme solution cible pour répondre aux besoins spécifiques de BPCE-IT de manière centralisée. Cela a permis à BPCE-IT de mettre en œuvre une offre de services autour d’Elastic, en fournissant rapidement des instances Elastic aux clients internes qui en ont besoin, sans restriction particulière, en plus de l’offre THEIA.
En permettant la collecte et l'analyse des données des applications de manière industrielle, ainsi que la gestion centralisée et simplifiée des instances, Elastic soutient la disponibilité et la performance des applications opérées par BPCE-IT.
BPCE-IT augmente ses capacités de collecte et d'analyse de données avec Elastic.
Valoriser les données avec des résultats en quelques minutes
L'utilisation d'Elastic pour la mise en œuvre de THEIA chez BPCE-IT a donné des résultats extrêmement positifs. Un des objectifs principaux lors de la mise en œuvre de la plateforme était de réduire le délai d’intégration de nouvelles données, tout en améliorant la qualité globale des données envoyées à la plateforme. Les équipes de BPCE-IT ont réussi à faire évoluer le processus de remontée des données, permettant une prise en compte rapide et efficace des nouveaux fichiers de logs, passant de plusieurs semaines à quelques minutes.
Avec Elastic Observability, BPCE-IT a pu mettre en place un modèle permettant de détecter plus rapidement les anomalies. En rendant les utilisateurs plus autonomes dans la gestion de leurs données, l'équipe Data for Ops a pu consacrer plus de temps à des aspects à plus forte valeur ajoutée tels que l'apprentissage automatique et l’industrialisation de la plateforme.
En utilisant Elastic pour sa plateforme THEIA, BPCE-IT a significativement amélioré la qualité des données remontées tout en réduisant les temps de traitement, permettant ainsi une meilleure extraction de leur valeur.
Confiance dans la capacité d'Elastic à s'adapter et à innover
Pour Antoine Chevalier, Elastic apporte une souplesse et un confort considérables. Avoir la main sur le fonctionnement des instances Elastic apporte beaucoup en termes d'exploitation.
"Nous avons pleinement confiance dans les performances de THEIA, grâce à l'infrastructure Elastic qui se montre fiable et robuste. Les mises à jour sont constantes et avec ses fonctionnalités de pointe, Elastic constitue l'épine dorsale d'un écosystème qui nous permet de garder une longueur d'avance sur les défis numériques."
BPCE-IT est confiante dans la capacité d'adaptation du produit et dans ses perspectives de développement. L’objectif d’Antoine Chevalier et de ses équipes est à présent d’étendre l’usage de la plateforme THEIA au sein de BPCE-IT, particulièrement sur les aspects attrayants au machine learning. Pour ce faire, les équipes Data For Ops misent toujours plus sur l’industrialisation de leur offre, donnant toujours plus de possibilité aux utilisateurs de l’offre THEIA As a Service.
Une des étapes principales de cette approche « as a service » a été la mise en œuvre d’un parcours de formation complet. Cet Intranet, appelé TEKlab (Theia Elastic Kibana laboratory), permet à tous les utilisateurs de la plateforme THEIA de monter en compétences sur l’ensemble du scope et donc d’apprendre à tirer un maximum de valeur de leurs données.
Au cœur de cette démarche, l'importance d'un partenaire fiable et innovant fera toute la différence. Pour BPCE-IT, THEIA fonctionne bien parce qu'Elastic fonctionne bien.
