Anleitung

Eine Einführung in das Elastic-Datenstrombenennungsschema

By
Nicolas Ruflin

Mit Elastic 7.9 wurden die Elastic Agent and Fleet veröffentlicht, zusammen mit einer neuen Möglichkeit, Indizes und Datenströme in Elasticsearch für Zeitreihendaten zu strukturieren. In diesem Blogbeitrag geben wir einen Überblick über das Elastic-Datenstrombenennungsschema und wie es funktioniert. Dies ist der erste Beitrag in einer Reihe von Blogartikeln zum Elastic-Datenstrombenennungsschema.

Elastic-Datenstrombenennungsschema

Das Elastic-Datenstrombenennungsschema ist für Zeitreihendaten konzipiert und besteht darin, Datensätze anhand der folgenden Benennungskonvention in verschiedene Datenströme aufzuteilen.

  • Typ: Generischer Typ, der die Daten beschreibt
  • Datensatz: Beschreibt die aufgenommenen Daten und ihre Struktur
  • Namespace: Benutzerkonfigurierbare beliebige Gruppierung

Diese drei Teile werden durch ein „-“ verbunden und ergeben Datenströme wie logs-nginx.access-production. In allen drei Teilen darf das Zeichen „-“ nicht vorkommen. Daher sind alle Datenstreams wie folgt benannt:

{type}-{dataset}-{namespace}

Sowohl für Datensatz als auch für den Namensraum gibt es einen Standardwert, der 'dataset=generic' und 'namespace=default' lautet. Im Falle von Elastic Agent landen die Daten, wenn ein Nutzer gerade erst mit dem Einlesen einer Protokolldatei beginnt, im Ordner 'logs-generic-default'.

Um alle Vorteile des Elastic-Datenstrombenennungsschemas zu nutzen, muss jedes Dokument die folgenden drei Felder enthalten:

  • data_stream.type
  • data_stream.dataset
  • data_stream.namespace

Weitere Details zu diesen Feldern finden Sie im Elastic Common Schema (ECS). Die oben genannten Felder werden als konstantes Schlüsselwort-Felder abgebildet, was Abfragen effizienter macht, indem es die Anzahl der zu abfragenden Shards reduziert.

Vorteile des Elastic-Datenstrombenennungsschemas

Das Elastic-Datenstrombenennungsschema bietet einige Vorteile gegenüber früheren Indexierungsstrategien von Beats und Logstash. Anstelle weniger großer Indizes werden viele kleinere, aber dichtere Datenströme verwendet. Eine kurze Zusammenfassung der Vorteile:

  • Weniger Felder pro Index: Da die Daten pro Datensatz über mehrere Datenströme verteilt werden, enthält jeder Datenstrom nur einen minimalen Satz an Feldern. Das führt zu mehr Speichereffizienz und schnelleren Abfragen.
  • Feinere Kontrolle der Daten: Die Aufteilung der Daten nach Datensatz und 'Namespace' ermöglicht eine detaillierte Kontrolle über Rollover, Aufbewahrung und Sicherheitsberechtigungen.
  • Flexibilität: Nutzer können den 'Namespace' verwenden, um Daten nach Belieben zu unterteilen und zu organisieren.
  • Bessere, kuratierte Nutzererlebnisse: Dank der einheitlichen Struktur des Elastic-Datenstrombenennungsschemas ist es möglich, anhand der Datenströme ein besseres, kuratiertes Nutzererlebnis zu schaffen.
  • Weniger Ingest-Berechtigungen erforderlich: Zuvor wurde die Einrichtung von Vorlagen und Ingest-Pipelines vom Elastic Agent durchgeführt. Da dies nun zentralisiert erfolgt, benötigt das Ingestion-Tool lediglich Berechtigungen zum Anhängen von Daten.

Verwendung des Elastic-Datenstrombenennungsschemas

Das Elastic-Datenstrombenennungsschema wird ab Elastic Stack Version 7.9 und neuer unterstützt, da es Unterstützung für Datenströme, die neuen Elasticsearch Komponentenvorlagen und konstante Schlüsselwörter erfordert. Indexvorlagen für logs-*-* und metrics-*-* werden mit Elasticsearch >=7.9 ausgeliefert. Alle Daten, die mit dem Elastic Agent ausgeliefert werden, verwendet das Elastic-Datenstrombenennungsschema. Um es für andere Datenversender zu verwenden, folgen Sie einfach der Namensstruktur und fügen Sie die Felder data_stream hinzu, damit es funktioniert.

Zusammenfassung

Dies ist eine kurze Zusammenfassung des Elastic-Datenstrombenennungsschemas. In Folgebeiträgen im Blog gehen wir auf die technischen Details ein, wie es hinter den Kulissen funktioniert, wie es vom Elastic Agent im Detail genutzt wird und wie Sie es zu Ihrem eigenen Vorteil nutzen können. Für weitere Einblicke gibt es den detaillierten Einblick in die neue Elastic-Indexierungsstrategie auf dem YouTube-Kanal der Elastic Community.