Intégration continue
D’importants volumes de données techniques et applicatives peuvent être intégrés dans un court laps de temps.
Centralisation des fichiers logs et métriques
Les informations des différentes couches applicatives sont centralisées pour analyser la totalité des activités de bout en bout, mais aussi pour suivre le fonctionnement des transactions dans différents environnements pour une vision transversale.
Amélioration de la réactivité face aux incidents
Grâce aux analyses ciblées et aux tableaux de bord des exploitants des applications, les équipes peuvent mieux détecter les anomalies et bénéficier d’alertes automatiques.
À Propos
Le Groupe BPCE est le deuxième groupe bancaire en France, l’un des dix premiers groupes bancaires européens.
Il emploie 106 500 collaborateurs au service de 31 millions de clients, dont 9 millions sont sociétaires, et finance plus de 20% de l’économie française. Le Groupe BPCE propose à ses clients une offre complète de produits et de services : solutions d’épargne, de placement, de trésorerie, de financement, d’assurance, d’investissement. Fidèle à son statut coopératif, il les accompagne dans leurs projets et construit avec eux une relation dans la durée.
La puissance de traitement et d’analyse pour une plateforme de services multi-métiers sécurisée et extensible
Créée en 2015, BPCE Infogérance et Technologies est une structure commune des filiales informatiques du Groupe BPCE. Résultat d’une logique industrielle, c'est un Groupement d’Intérêt Economique (GIE) qui vise à consolider les infrastructures et mutualiser les achats afin d’optimiser les coûts et renforcer la qualité de service de l’ensemble de la production informatique du groupe. Elle propose également des services d’infrastructures à valeur ajoutée (messagerie, visioconférence…) pour les utilisateurs et les systèmes d’informations.
BPCE-IT regroupe les activités liées à l’infogérance de six éditeurs informatiques : IT-CE, i-BP, BPCE SA (direction informatique), Natixis (financements, paiements et titres), Palatine, Crédit Coopératif.
Dans le cadre du plan stratégique du Groupe BPCE “Innov 2020”, qui vise à gagner en efficacité collective en mutualisant investissements et ressources et, en ce qui concerne l’exploitation informatique, deux objectifs sont clairement définis :
- Industrialiser et sécuriser l’utilisation d’un maximum de données pour des analyses de performances et fonctionnelles (tant au niveau de l’infrastructure que des applications),
- Enrichir l’offre de services aux partenaires (éditeurs, clients internes tels que Natixis) afin qu’ils gagnent en flexibilité, agilité et performance.
Pour relever ces défis, BPCE-IT mise sur le traitement d’importants volumes de fichiers logs liés à l’infrastructure et aux applications, mine d’informations jusqu’ici sous-exploitées. L’entreprise choisit la Suite Elastic pour sa capacité de traitement en temps réel et d’analyse d’importants volumes de données diverses. De plus, la fonctionnalité Security permet d’assurer les droits d’accès aux données stockées dans les clusters. De cette manière, BPCE-IT est parvenue à sécuriser ses données et à optimiser ses coûts d’infrastructure et de gestion.
Une architecture standard basée sur la Suite Elastic a été mise en oeuvre afin de traiter en temps réel de façon optimisée les énormes volumes de données. Ce dispositif a grandement amélioré la réactivité des équipes en permettant d’analyser l’activité de façon transverse et de détecter les incidents au plus tôt, afin d’anticiper et de prévenir au mieux les interruptions ou dégradations de service.
L’expérience du Groupe BPCE avec Elastic
Les Directions Architecture et Sécurité de BPCE-IT
Deux équipes ont poussé l'utilisation de la Suite Elastic au sein du groupe en commençant par une utilisation Open Source et une évaluation de la solution comme composante clé de l’offre de services industrialisée et orchestrée par BPCE-IT.
- La Direction de l’Architecture et de l’Innovation, en charge d’administrer les infrastructures, ainsi que de créer des feuilles de route de transformation, d’expérimentation et de mise en œuvre de solutions informatiques.
- La Direction Sécurité Système d’Information, en charge d’assurer le renforcement de l’activité SOC et l’évolution du SIEM (Security Information & Event Management).
Industrialiser l’exploitation des fichiers logs et créer une offre de services multi-métiers
BPCE-IT s’engage donc dans le développement et l’industrialisation d’une offre de services pour les clients internes et partenaires du groupe (développeurs, intégrateurs, diverses équipes opérationnelles, et filiales telles que Natixis et autres). Plusieurs défis inhérents à ce projet conduisent l’entité à se rapprocher des experts d’Elastic afin de travailler sur des objectifs de plateforme partagée. Cela concerne à la fois l’analyse de fichiers logs d’infrastructure et applicatifs (Banque à distance, cybersécurité, API web…), la sécurité opérationnelle, la performance et l’optimisation d’exploitation informatique, ainsi que l’administration et le support centralisés de clusters déployés à la demande selon divers cas d’usage.
Évaluée avec succès sur un premier périmètre d’environ 1 200 serveurs des datacenters du groupe, la fonctionnalité alerting d’Elastic est désormais pleinement opérationnelle. Elle permet d’optimiser la pertinence des alertes générées selon une configuration pré-établie et de repérer ce qui passe sous le radar des autres solutions de monitoring en place. A terme, le système d’alertes, actuellement sous forme d’email, sera intégré à la plateforme de ticketing pour la gestion des anomalies, d’incidents et de demandes d’assistance.
Garantir un accès rapide et sécurisé à d’importants volumes de fichiers logs stockés dans un cluster évolutif
BPCE-IT se met rapidement en recherche d’une solution permettant de gérer sur une seule plateforme un ensemble volumineux de fichiers logs provenant des équipements de sécurité. L’objectif est d’améliorer le temps de réponse aux incidents et d’obtenir une visibilité sur l’état des systèmes. La nature open source de la Suite Elastic, son architecture évolutive ainsi que sa capacité éprouvée à intégrer chercher et analyser pratiquement en temps réel d’importants volumes de fichiers logs ont suscité l’intérêt de BPCE-IT. Par la suite, la décision est prise de souscrire à un abonnement Platinum de la Suite Elastic pour le projet SOC (Security Operation Center) et d’élargir la collecte de fichiers logs à l’ensemble de leur SI (Système d’Information). L’atout décisif a été la fonctionnalité Security et plus précisément la gestion des droits d’accès aux données à grande échelle, un intérêt stratégique pour les données opérationnelles de BPCE-IT. Elastic présente aussi l’avantage de s’intégrer facilement au SIEM (Security Information & Event Management) avec Logstash qui permet d’assurer une chaîne de collecte de fichiers logs indépendamment de la solution SIEM utilisée. La suite Elastic permet ainsi de fournir des analyses en temps réel et une exploration ad hoc sur de très gros volumes de données de sécurité pour le “Threat Hunting”.
La Suite Elastic s’est très bien intégrée à notre SI. La suite nous a permis de nous réapproprier les fichiers logs et d’obtenir de la visibilité temps réel sur nos plateformes de sécurité et de mener à bien nos activités de « Threat Hunting » au sein du SOC
Assurer le bon fonctionnement des applications bancaires
La centralisation des fichiers logs permet une analyse transversale, afin de suivre une transaction de bout en bout, si bien que le processus de résolution d’incidents a désormais gagné en efficacité. La nature des problèmes rencontrés n’est cependant pas toujours identique : certains sont liés à l’exploitation d’une infrastructure alors que d’autres sont relatifs aux anomalies au sein des logiciels livrés par les éditeurs partenaires. Les anomalies révélées par le contenu des fichiers logs applicatifs et techniques sont une source d’information précieuse pour parvenir progressivement à fiabiliser à 100% les logiciels, en particulier lorsqu’il s’agit de nouveaux traitements.
Elasticsearch est utilisé pour suivre les différents services client en production, mais également pour examiner l’activité dite hors production c’est-à-dire les plateformes de recette et d’homologation qui servent à la mise au point des logiciels. Les équipes de développement et de maintenance ainsi que les exploitants peuvent ainsi valider le fonctionnement des nouveaux services et s’assurer qu’il n’y a pas de régression ni d’impact négatif sur le fonctionnement général.
L’analyse des fichiers logs applicatifs, visualisée sous diverses formes avec l’outil Kibana d’Elastic, est aussi couramment exploitée par diverses entités. La « Digital Factory », entité créée dans le cadre de la convergence des systèmes afin d’en créer un unique dont toutes les équipes puissent bénéficier, est un exemple de client interne bénéficiant des services fournis par BPCE-IT. Autre exemple, la nouvelle entité 89C3 (BPCE en langage Leet Speak) en charge de développer et lancer en production les applications liées à la transformation digitale de l’entreprise.
Grâce à Alerting, nous avons gagné en réactivité notamment sur les temps de réponses atypiques et les codes d’erreur http issus des fichiers logs. En fonction du problème identifié, l’outil envoie automatiquement aux équipes responsables le détail du dysfonctionnement. Il permet également de mesurer les performances lors de montée en charge au travers d’une synthèse globale de diagnostic fournie aux services concernées à des fins d’amélioration des chaînes de liaison.
Le nombre de clusters Elastic ayant augmenté parallèlement au nombre de clients, une surveillance proactive et automatisée s’est vite imposée, afin de gagner en réactivité sur les problèmes d’indexation qui peuvent être provoqués par les différentes briques associées (Beats, logstash, Kafka, Elasticsearch) de la solution. La fonctionnalité alerting permet de détecter les incidents pratiquement en temps réel pour rétablir la disponibilité du service et des données avant même que les exploitants ne s’en rendent compte.
La fonctionnalité alerting permet également d’automatiser l’agrégation journalière des données métier les plus critiques et de les redistribuer dans des index allégés bénéficiant d’une durée de vie plus longue. La performance et les temps de réponse des tableaux de bord Kibana sont ainsi améliorés, et l’espace disque de certains index a été réduit jusqu’à 300 fois.
Une stratégie de mise en œuvre orientée métier
Assurer la sécurité opérationnelle de leur système, avec une solution s’intégrant facilement au SIEM, a été la première étape pour BPCE-IT. Par la suite, le département s’est lancé sur le traitement et l’analyse de plusieurs silos de fichiers logs d’infrastructure et applicatifs en provenance des métiers afin de pouvoir exploiter ces données à grande échelle. L’objectif était d’aboutir à une plateforme partagée d’analyse de fichiers logs très transversale à même de gérer des données provenant de sources variées.
L'intégration des fichiers logs dans le dispositif est maintenant quasi systématiquement prévue par les projets. Les équipes en charge du fonctionnement des applications sont maintenant à l’aise avec l’interface Kibana. Des alertes automatisées sont mises en place régulièrement pour améliorer la réactivité. BPCE-IT utilise également Kibana pour réaliser des indicateurs de qualité de fonctionnement et générer un reporting d’entreprise.
En perspective d’un prochain service à déployer, un POC (Proof Of Concept) avec le plug-in Machine Learning pour analyser la stabilité et l’utilisation des postes de travail des agences Caisse d’Epargne a été validé. Il s’agit notamment d’anticiper les incidents et d’accélérer leur temps de résolution en cernant mieux leur périodicité et leurs causes, et d’étudier le comportement des applications. A terme, tous les fichiers logs des banques en ligne du Groupe pourraient être rassemblés sur cette plateforme afin d’étudier la consommation de leurs services à distance.
Exemples de Dashboards
Mesure des performances des applications métiers des agences
Mesure des performances de la gateway
Performances de la gateway lors d’un tir de charge en intégration
Des clusters de fichiers logs sécurisés pour une offre de services diversifiée à la demande
Grâce à l’extensibilité et la richesse des fonctionnalités de la Suite Elastic, BPCE-IT remplit sa mission de mise en œuvre d’une offre de services diversifiée et s’attache désormais à en assurer la promotion tout en répondant aux divers besoins de ses multiples clients internes ou partenaires du groupe.
Fort du déploiement concluant de plusieurs cas d’usage en production, BPCE-IT injecte désormais dans des clusters Elastic les fichiers logs issus des logiciels et diverses interfaces de la « Digital Factory », très active. L’objectif serait notamment de pouvoir exploiter ces données avec la fonctionnalité Machine Learning, d’établir des analyses prédictives et de détecter des anomalies de code ou d’interdépendances applicatives.
Les équipes applicatives nous sollicitent régulièrement pour des analyses de performance ou fonctionnelles, afin d’avoir une meilleure vision de ce qui se passe dans leur environnement et de tirer le meilleur des données parfois difficiles à exploiter. En industrialisant le traitement des fichiers logs, nous pouvons satisfaire la diversité des demandes de nos clients qui gagnent en flexibilité et en agilité.
BPCE-IT a validé un POC avec Elastic Cloud Enterprise (ECE) pour faciliter le pilotage et l’exploitation de tous les clusters Elasticsearch à partir d’une seule console. Il s’agit aussi d’offrir à tous les clients internes du groupe un service premium basé sur un accès à toutes les fonctions qu’inclut l’abonnement Platinum de la Suite Elastic. BPCE-IT compte également exploiter les données de nombreux clusters open source qu’il faudra sécuriser dans un premier temps, les utilisateurs n’ayant pas toujours conscience des risques auxquels les données souvent sensibles sont exposées.
Après avoir fonctionné pendant plus d’un an selon un mode de « cluster à la demande », nous prévoyons le déploiement en production d’ECE au cours du 1er trimestre 2019, afin d’offrir, au sein du groupe, un service complet et identique pour tous, et de centraliser, sur cette plateforme commune d’orchestration, la gestion des prochains développements d’applications, tout en migrant progressivement les déploiements existants.
L’extension de la Suite Elastic se poursuit aussi plus loin avec d’autres projets prévus sur 2019. Un autre POC avec la fonctionnalité Machine Learning est en effet prévu pour le 1er trimestre par la Direction Sécurité Système d'Information. Il s’agira d’améliorer la détection des cyber-fraudes bancaires d’un côté et de pouvoir détecter les pertes de données d’un autre côté.
Ces différents projets sont dans la continuité du plan stratégique du Groupe « Innov 2020 » visant à améliorer l’efficacité collective en industrialisant et sécurisant les données, ainsi qu’en enrichissant l’offre de services aux partenaires.
