Comment la force de police d'un pays européen unifie les données grâce à Elastic pour mieux servir le grand public
La force de police d'un pays européen composée de 65 000 agents et de 2 000 professionnels informatiques devait développer un référentiel central et interrogeable pour l'ensemble des logs des données d'audit, des applications et des infrastructures.
Afin de relever ce défi, l'administration a choisi la plateforme Elastic afin de concevoir un data lake, appelé à devenir le hub central pour l'ensemble des données de logs. L'objectif de l'administration est d'alimenter ce lac avec les données de logs provenant de 350 applications au cours des deux prochaines années.
"Dans deux ans, notre objectif est de pouvoir ingérer 75 To de données chaque jour. Pour donner un point de comparaison, cette quantité d'informations capturées correspond à près de 20 fois les données pouvant être stockées en une seule journée dans le cadre du plan de stockage dans un cloud personnel d'Apple. Actuellement, nous traitons déjà 2,5 To de données provenant des sources que nous avons connectées. Il est essentiel pour notre système que nous soyons prêts à soutenir la croissance de nos activités", déclare le chef de produit au sein de l'administration.
"Bien entendu, nous aidons les équipes DevOps en stockant et en conservant les informations de logs. Ainsi, elles seront en mesure de développer des tableaux de bord pour leurs propres systèmes fondés sur une excellente source", poursuit le chef de produit.
Un deuxième groupe d'utilisateurs du data lake comprendra des investigateurs qui étudient les cas suspects de "mauvais usage des données de la police".
"Un agent qui souhaite vérifier si le petit copain de sa fille a un casier judiciaire est un exemple de mauvais usage des données de la police. Une telle action doit être liée à son travail", explique le chef de produit.
Comme ce responsable le précise, un troisième groupe d'utilisateurs est constitué des développeurs du centre des opérations de sécurité "qui cherchent les anomalies dans l'utilisation des données".
"Imaginons qu'un agent se connecte à son terminal dans une ville donnée et qu'au même moment, une personne se rend dans le commissariat d'une autre ville située à des heures de route de la première et utilise le badge du même agent. Un tel événement déclenche une anomalie dans le centre des opérations de sécurité qui est consignée dans le logging des systèmes."
Pour assurer la maintenance des données, les utilisateurs du data lake doivent obtenir des droits de consultation via un accès fondé sur les rôles, qui est facile à configurer avec Elastic.
Comme le data lake consignera et conservera à terme 75 To de données chaque jour, l'administration va bénéficier des niveaux de stockage d'Elastic.
Selon le type de données gérées, les politiques de conversation et les réglementations en vigueur, l'administration stocke ses informations pendant 1 à 5 ans.
Ce type d'architecture de stockage garantit des avantages phénoménaux. Plus les données sont stockées à un niveau cold ou frozen, moins leur maintenance est chère. Ainsi, les données plus anciennes ou stockées à des fins réglementaires peuvent être conservées dans un stockage de niveau cold ou frozen moins cher qui utilise une puissance de calcul inférieure.
Pour cette administration, il est donc plus "efficace" de gérer des volumes de données croissants dans Elastic afin de prendre en charge de nouveaux cas d'utilisation.
"Pour être en mesure de gérer une telle quantité de données d'une manière efficace, nous avons développé un système composé de niveaux de stockage warm, hot, cold et frozen", déclare le chef de produit.
Pour garantir un déploiement plus fluide de son projet, l'administration a fait appel aux consultants Elastic pour la phase initiale de conception et l'application de bonnes pratiques.