Stratégie de niveaux de données Elastic : optimisation pour une implémentation résiliente et efficace

Les organisations apprécient Elastic pour sa vitesse, sa scalabilité, sa personnalisation et ses fonctionnalités. C'est pourquoi ils trouvent souvent de nouveaux cas d'utilisation pour Elastic. Cela devient un défi lorsque de grandes quantités de données sont ingérées sans tenir compte de la manière dont elles sont stockées, gérées et utilisées, ce qui peut entraîner des goulots d'étranglement dans la gestion des données. À mesure que le volume de données augmente, leurs configurations actuelles peinent à répondre aux nouveaux besoins, atteignant les limites de leur matériel et de leurs licences.

Si votre organisation rencontre ces problèmes, la solution est plus simple que vous ne l'imaginez.

La solution pour surmonter ce défi consiste à définir une stratégie de données qui s'aligne sur vos objectifs commerciaux. Au lieu de collecter et de conserver des données sur la base d'exigences arbitraires, posez-vous les questions suivantes :

1. Quelles données doivent être collectées pour atteindre un objectif commercial ?

2. À quelle fréquence ces données sont-elles utilisées ?

3. Existe-t-il une date d’expiration après laquelle ces données ne sont plus utiles ?

4. Existe-t-il des exigences de conformité pour ces données ?

Sur la base des réponses aux questions ci-dessus, les organisations peuvent créer une stratégie de données axée sur l'entreprise pour optimiser la manière dont les données sont stockées et utilisées, en maximisant leur investissement existant dans Elastic.

Pour illustrer les avantages de l'adoption de cette stratégie, explorons l'étude de cas d'un client ayant suivi ce processus. 

Ce client traite généralement 5 To de données par jour et gère une moyenne de 250 000 événements par seconde. Cependant, le volume augmente parfois jusqu’à 7 To par jour et 350 000 événements par seconde. L’implémentation Elastic pour ce client visait l’ingestion d’un volume élevé de données de sécurité et à les mettre à la disposition de l’équipe du centre des opérations de sécurité (SOC) afin de rechercher des informations sur les cyberincidents et les enquêtes sur la fraude.

Cette mise en œuvre a été si fructueuse que le client a ajouté de nouveaux cas d'utilisation nécessitant une conservation des données plus longue et des capacités de recherche plus rapides à partir d'un éventail plus large de sources de données. Ils ont ciblé les résultats pour l'entreprise suivants :

• Optimisation des logs : En optimisant leurs niveaux de données, les organisations peuvent améliorer leurs pratiques de gestion des logs, en veillant à conserver les bons logs pendant la durée appropriée, tout en améliorant l'efficacité opérationnelle et le respect de la conformité.

• Utilisation améliorée des licences : Un stockage hiérarchisé efficace signifie une meilleure utilisation des licences, ce qui permet aux organisations de tirer le meilleur parti de leurs ressources existantes et d'éviter potentiellement des coûts de licence inutiles.

• Efficacité commerciale accrue : La capacité à trouver des informations à partir des logs plus efficacement peut conduire à une meilleure efficacité commerciale, permettant une prise de décision plus rapide et une planification stratégique plus éclairée.

• Intégration de nouveaux cas d'utilisation : Grâce à des niveaux de données optimisés, les organisations peuvent facilement intégrer de nouveaux cas d'utilisation, étendant ainsi leurs capacités d'analytique de données sans investissements d'infrastructure significatifs.

• Stratégie de données claire : Le stockage hiérarchisé optimisé des données contribue à une stratégie de données claire, garantissant que les données sont fiables, facilement accessibles et gérées efficacement, posant ainsi les bases d'une prise de décision basée sur les données.

La hiérarchisation des données est un sujet complexe et nuancé qui mérite son propre article de blog pour être approfondi. Toutefois, aux fins de définition d'une stratégie de données, les différents niveaux de données peuvent être simplifiés en trois utilisations principales : ingestion, rechercher et stocker.

• Ingestion (niveau hot) : Ingérez les données aussi rapidement que possible avec une latence minimale.

• Rechercher (niveaux hot et warm) : Recherchez des données rapidement et traitez de grands ensembles de données.

• Stocker (niveaux cold et frozen) : Stockez les données aussi longtemps que nécessaire et effectuez des recherches ad hoc à faible fréquence.

Comprendre l’éventail des exigences en matière de conservation des données est crucial pour la conformité et une gestion efficace des données. Différentes réglementations nécessitent des périodes de conservation variables :

• Exigences de conservation SOX : 7 ans

• Exigences HIPAA en matière de conservation des données : 6 ans

• Exigences de conservation des données PCI DSS : 1 an

• Exigences de conservation des données Bâle II : 3–7 ans

• Dossiers des employés au titre du RGPD :

  • Salaires : 3 ans

  • Dossiers fiscaux : 6 ans

  • Nom, adresse : 3 ans

• Fair Labor Standards Act : 2 à 3 ans

Architecture précédente
L'architecture précédente comportait deux centres de données avec une implémentation de stockage à quatre niveaux répondant à divers besoins de traitement des données. Cette implémentation nécessitait davantage de matériel, de licences et de frais de gestion opérationnelle.

Le client a conservé tous les logs pendant 90 jours, quelle que soit la manière dont les données étaient utilisées.

• 7 jours en niveau hot

• 2 jours warm

• 10 jours en niveau cold

• Jours restants dans le niveau "frozen"

Le client utilisait le même matériel pour les niveaux « hot » et « warm ». Le niveau « warm » était utilisé uniquement pour forcer la fusion des index pour les snapshots interrogeables. Les niveaux « warm » et « cold » étaient très sous-utilisés, tant au niveau du processeur que du stockage. Le niveau « frozen » était restreint, ce qui entraînait une lenteur des recherches historiques.

Une stratégie de données hiérarchisée permet aux entreprises d'optimiser les performances pour les données récentes tout en stockant efficacement de grands volumes de données. En tirant parti de la connaissance de l'allocation des partitions, les entreprises peuvent définir les caractéristiques de chaque niveau et planifier la migration des index en fonction de leur stratégie de données. Cela garantit que les données sont stockées sur le niveau matériel le plus approprié à tout moment, en équilibrant les performances et les considérations de coût.

Le rapport mémoire/stockage est un facteur crucial à prendre en compte lors de la planification de la croissance d'Elastic. Voici les quatre niveaux de stockage disponibles pour les clients Elastic :

• Niveau « hot » : Optimisé pour les performances d'ingestion et de recherche, utilisant généralement des SSD haute vitesse avec un rapport mémoire/stockage d'environ 1:30

• Niveau Warm : Optimisé pour la capacité de stockage, utilisant des SSD ou des HDD avec un ratio mémoire/stockage d’environ 1:160

• Niveau cold : Optimisé pour la capacité de stockage en utilisant des snapshots interrogeables comme réplique (bien que le ratio de stockage soit le même que pour le niveau warm, la suppression d'une réplique locale réduit de moitié les besoins en stockage.) 

• Niveau frozen : Optimisé à des fins d'archivage, utilisant un stockage de snapshots économique avec cache sur disque local pour offrir un ratio mémoire/stockage supérieur à 1:1 000

Dans notre analyse, nous avons évalué le coût total de possession (TCO) pour diverses configurations de stockage afin d'optimiser l'implémentation Elastic d'un autre client. Vous trouverez ci-dessous une analyse détaillée de ces configurations et de leurs coûts associés :

•  Cluster ES auto-géré

•  1 To d'ingestion quotidienne

•  Conservation totale 365 jours

L'optimisation du stockage par niveaux ne se résume pas à une réduction des coûts ; il s'agit de permettre aux organisations d'évoluer et de s'adapter aux nouveaux défis et opportunités. 

En abordant les défis d'optimisation de la Platform à l'aide des principes de stratégie de données, les organisations peuvent faciliter de nouveaux cas d'utilisation, améliorer la fiabilité des données et renforcer leur stratégie globale en matière de données. Consultez notre documentation pour savoir comment votre organisation peut construire une implémentation résiliente et efficace d'Elastic en utilisant le données tiering.