Vivre et prospérer avec les logs : nouveau mode d'indexation Elasticsearch logsdb

Vous débutez avec Elasticsearch ? Participez à notre webinaire Premiers pas avec Elasticsearch. Vous pouvez aussi démarrer un essai gratuit sur le cloud ou tester Elastic dès maintenant sur votre machine.

Le nouveau mode d'indexation Elasticsearch logsdb réduit le stockage des logs jusqu'à 65 %

Aujourd'hui, nous annonçons la disponibilité générale du nouveau mode d'indexation d'Elasticsearch, logsdb, qui réduit l'empreinte de stockage des données de log jusqu'à 65% par rapport aux versions récentes d'Elasticsearch sans logsdb. Cette amélioration spectaculaire permet aux équipes chargées de l'observabilité et de la sécurité d'accroître la visibilité sans dépasser leur budget, tout en conservant l'accès immédiat à toutes les données à des fins d'analyse.

Logsdb optimise l'ordre des données, élimine les doublons en reconstruisant à la volée les valeurs des champs non stockés grâce à la fonctionnalité synthetic _source et améliore la compression au moyen d'algorithmes et codecs avancés, tout en utilisant le stockage en colonnes dans Elasticsearch pour un stockage et une récupération efficaces des logs.

Améliorez les analyses et réduisez les coûts en améliorant l'efficacité du stockage avec le mode d'indexation logsdb

Les logs fournissent des signaux critiques pour détecter et résoudre les problèmes d'observabilité et de sécurité, et leur utilité ne fait que croître à mesure que les avancées de l'IA facilitent l'analyse des données textuelles. Un stockage efficace et un accès performant sont donc plus importants que jamais.

Malheureusement, le volume croissant de logs généré par l'infrastructure et les applications augmente les coûts, contraignant les entreprises à faire des compromis qui entravent l'analyse : limiter la collecte, réduire la conservation ou reléguer les données récentes à des niveaux d'archivage cloisonnés.

Logsdb répond directement à ces défis. Grâce à une meilleure efficacité de stockage, vous pouvez collecter davantage de données et éviter les tracas liés à un filtrage des données compliqué. Vous pouvez conserver les logs plus longtemps pour favoriser la détection des menaces, la réponse aux incidents et la conformité. Et parce que toutes les données sont toujours consultables, vous pouvez obtenir rapidement des informations, quelle que soit la taille de votre ensemble de données.

Innovation technique associée au mode d'indexation logsdb

Le mode d'indexation Logsdb réduit considérablement l'empreinte de stockage des données de log grâce à un index trié intelligent, synthetic _source et une compression avancée. La mise en œuvre de cette solution peut réduire les besoins en stockage des logs jusqu'à 65 %, par rapport aux versions récentes d'Elasticsearch sans logsdb. Bien que logsdb utilise actuellement plus de processeur lors de l'indexation, son stockage efficace réduit les coûts globaux pour la majorité des clients. Pour les clients qui nécessitent une conservation à long terme, nous anticipons des réductions du coût total de possession pouvant atteindre 50 %.

Le tri intelligent des index améliore l'efficacité du stockage jusqu'à 30% et réduit la latence des requêtes sur certains ensembles de données de journalisation en localisant les données similaires à proximité les unes des autres. Par défaut, il trie les indices par host.name et @timestamp. Si vos données comportent des champs plus appropriés, vous pouvez les spécifier à la place.

La compression avancée réduit considérablement les besoins en stockage pour les données à forte teneur en texte, comme les journaux, grâce à la compression Zstandard (Zstd), à l'encodage delta, à l'encodage run-length et à d'autres codecs intelligents qui sont automatiquement sélectionnés. Les valeurs-documents, qui sont stockées dans un format en colonnes optimisé pour la compression et les performances, permettent de stocker et d'extraire efficacement les valeurs des champs pour le tri, l'agrégation et l'écriture de scripts.

La _source synthétique permet aux entreprises de réduire leurs besoins en stockage de 20 à 40% supplémentaires en supprimant le champ _source et en le reconstruisant entièrement ou partiellement à la demande. Bien que cette fonction nécessite parfois davantage de calculs pour l'indexation et la recherche, les tests montrent qu'elle apporte des améliorations nettes mesurables en termes d'efficacité. Synthetic _source s'appuie sur près de deux ans d'utilisation en production avec les métriques, avec de nombreuses améliorations pour les journaux, y compris la prise en charge de presque tous les types de champs.

Les économies de stockage résultantes sont répercutées à travers les différentes phases du cycle de vie des index. Une réduction du stockage de 65 % dans le niveau hot entraînera la même réduction dans les niveaux warm, cold et frozen, ainsi qu'une baisse de l'empreinte de stockage des snapshots avec un stockage en buckets.

Aucun compromis sur la visibilité : conservez tous vos logs pour l'observabilité et la sécurité

Les logs sont essentiels pour garantir la visibilité sur l'infrastructure et les applications. Ils fournissent le signal le plus simple et le plus critique pour le suivi et le dépannage. Cependant, les coûts augmentent proportionnellement aux volumes de logging. Cela contraint les clients à mettre en œuvre des politiques de filtrage et de gestion complexes, à supprimer des données prématurément et à reléguer les logs pertinents dans des magasins qui nécessitent un jour ou plus pour être réhydratés avant leur analyse. Sans un ensemble de données complet, facilement interrogeable et accessible, il est beaucoup plus difficile d'identifier et de résoudre les problèmes.

Le mode index de Logsdb s'appuie sur les fonctionnalités révolutionnaires d'Elasticsearch, telles que les instantanés consultables et l'importation automatique, pour résoudre ces problèmes pour les équipes chargées des opérations et de la sécurité :

Réduire les coûts : Logsdb réduit l'empreinte de stockage des journaux jusqu'à 65%, ce qui permet aux entreprises de réduire leurs dépenses de stockage tout en conservant davantage de données. Cela se traduit par des économies sur tous les niveaux de stockage - de l'état chaud à l'état gelé - et par une productivité accrue pour les équipes chargées de l'observabilité et de la sécurité qui utilisent ces données.

Préservez vos données précieuses : Logsdb conserve toutes les données de vos journaux et améliore l'efficacité opérationnelle sans avoir recours à des outils supplémentaires ou à des filtres compliqués. Grâce à des fonctionnalités telles que la _source synthétique, la valeur des données est préservée sans que l'intégralité du document source ne soit stockée.

Élargir la visibilité : Logsdb offre un accès efficace à toutes les données sur une seule plateforme, sans silos séparés pour l'observabilité, la sécurité et les données historiques. Pour les ingénieurs de fiabilité des sites (SRE), il accélère la résolution des problèmes en permettant l'analyse des journaux avec les métriques, les traces et les données commerciales. De même, pour les équipes des centres d'opérations de sécurité (SOC), il accélère les enquêtes et les mesures correctives en éliminant les angles morts.

Rationaliser l'accès aux données : Logsdb permet aux équipes SRE de conserver efficacement les données exploitables pour le dépannage, les tendances et l'analyse. De même, les équipes SOC peuvent rapidement rechercher toutes leurs données à des fins d'investigation et de chasse aux menaces sans encourir de coûts exorbitants.

Logsdb est prêt pour votre environnement

Le mode d'indexation Elasticsearch logsdb est généralement disponible pour les clients Elastic Cloud Hosted et Self-Managed à partir de la version 8.17 et est activé par défaut pour les logs dans Elastic Cloud Serverless.

Les fonctionnalités de base de logsdb (y compris l'index trié intelligent et la compression avancée) sont disponibles pour les entreprises disposant de licences Standard, Or et Platinum. Les capacités complètes de logsdb, qui réduisent encore les besoins en stockage (y compris synthetic _source), sont disponibles pour les clients Serverless et les entreprises avec une licence Entreprise.

Elasticsearch logsdb en action

Logsdb vous permet de conserver toutes vos données de logs et d'améliorer l'efficacité opérationnelle sans restreindre la collecte ni supprimer ou cloisonner vos données. Avec des fonctionnalités telles que l'index trié intelligent, la compression avancée et synthetic _source, conservez et analysez les données dont vous avez besoin avec le budget qui vous convient.

Vous voulez en faire l'expérience ? Essayez Elastic gratuitement.

La publication et la date de publication de toute fonctionnalité ou fonction décrite dans le présent article restent à la seule discrétion d'Elastic. Toute fonctionnalité ou fonction qui n'est actuellement pas disponible peut ne pas être livrée à temps ou ne pas être livrée du tout.

Questions fréquentes