Elastic-Strategie für Daten-Tiering: Optimierung für eine resiliente und effiziente Implementierung

Unternehmen schätzen Elastic für seine Geschwindigkeit, Skalierbarkeit, Konfigurierbarkeit und Funktionalität. Aus diesem Grund finden sie häufig neue Anwendungsfälle für Elastic. Dies wird zu einer Herausforderung, wenn große Datenmengen ingestiert werden, ohne zu berücksichtigen, wie die Daten gespeichert, verwaltet und genutzt werden, was zu Engpässen bei der Datenverwaltung führen kann. Mit wachsenden Datenmengen haben aktuelle Setups Schwierigkeiten, neue Anforderungen zu bewältigen, und stoßen an die Grenzen ihrer Hardware und Lizenzen.

Wenn Ihr Unternehmen mit diesen Problemen konfrontiert ist, ist die Lösung einfacher zu bewältigen, als Sie vielleicht erwarten.

Die Lösung für diese Herausforderung besteht darin, eine Datenstrategie zu definieren, die auf Ihre Geschäftsziele abgestimmt ist. Anstatt Daten auf der Grundlage willkürlicher Anforderungen zu erfassen und zu speichern, stellen Sie sich die folgenden Fragen:

1. Welche Daten müssen erfasst werden, um ein Geschäftsziel zu erreichen?

2. Wie oft werden diese Daten verwendet?

3. Gibt es ein Ablaufdatum, nach dem diese Daten nicht mehr wertvoll sind?

4. Gibt es Compliance-Anforderungen für diese Daten?

Basierend auf den Antworten auf die oben genannten Fragen können Unternehmen eine geschäftsorientierte Datenstrategie erstellen, um die Art und Weise der Datenspeicherung und -nutzung zu optimieren und ihre bestehenden Investitionen in Elastic zu maximieren.

Um die Vorteile der Einführung dieser Strategie aufzuzeigen, betrachten wir ein Ticket eines Kunden, der diesen Prozess durchlaufen hat. 

Dieser Kunde verarbeitet typischerweise 5 TB Daten pro Tag und bewältigt durchschnittlich 250.000 Ereignisse pro Sekunde. Gelegentlich steigt das Volumen jedoch auf 7 TB pro Tag und 350.000 Ereignisse pro Sekunde. Die Elastic-Implementierung für diesen Kunden konzentrierte sich darauf, ein hohes Volumen an Sicherheitsdaten zu ingestieren und sie dem Team des Sicherheit Operations Center (SOC) zur Verfügung zu stellen, damit dieses nach Informationen zu Cyber-Incidents und Betrugsuntersuchungen suchen kann.

Diese Implementierung war so erfolgreich, dass der Kunde neue Anwendungsfälle hinzufügte, die eine längere Datenaufbewahrung und schnellere Suchfunktionen für eine größere Bandbreite an Datenquellen erforderten. Sie zielten auf die folgenden Geschäftsergebnisse ab:

• Log-Optimierung: Durch die Optimierung ihrer Datenebenen können Unternehmen ihre Log-Verwaltung verbessern. So stellen sie sicher, dass die richtigen Logs für die richtige Dauer aufbewahrt werden, was die Betriebseffizienz steigert und die Einhaltung von Compliance-Anforderungen unterstützt.

• Verbesserte Lizenznutzung: Effizientes Speicher-Tiering bedeutet eine bessere Lizenznutzung, wodurch Unternehmen ihre vorhandenen Ressourcen optimal nutzen und potenziell unnötige Lizenzkosten vermeiden können.

• Verbesserte geschäftliche Effizienz: Die Fähigkeit, effizienter Einblicke aus Logs zu gewinnen, kann zu einer verbesserten geschäftlichen Effizienz führen, was eine schnellere Entscheidungsfindung und eine fundiertere strategische Planung ermöglicht.

• Onboarding neuer Anwendungsfälle: Mit optimierten Daten-Tiers können Unternehmen problemlos neue Anwendungsfälle integrieren und ihre Datenanalytik-Funktionen ohne nennenswerte Investitionen in die Infrastruktur erweitern.

• Klare Datenstrategie: Optimiertes Daten-Tiering trägt zu einer klaren Datenstrategie bei und stellt sicher, dass Daten zuverlässig, leicht zugänglich und effektiv verwaltet werden, was den Grundstein für datengestützte Entscheidungsfindungen legt.

Data-Tiering ist ein komplexes und nuanciertes Thema, das einen eigenen Blogbeitrag verdient. Für die Definition einer Datenstrategie lassen sich die verschiedenen Daten-Tiers jedoch auf drei Hauptanwendungsbereiche vereinfachen: Ingest, Suchen und Speichern.

• Ingest (Hot Tier): Ingest Daten so schnell wie möglich mit minimaler Latenz.

• Suchen (Hot- und Warm-Tier): Suchen Sie Daten schnell und verarbeiten Sie große Datensätze.

• Speichern (Tier für „kalte“ und „eingefrorene“ Daten): Speichern Sie Daten so lange wie erforderlich und führen Sie Ad-hoc-Suchen mit geringer Häufigkeit durch.

Das Verständnis der verschiedenen Anforderungen an die Datenaufbewahrung ist entscheidend für die Compliance und eine effiziente Datenverwaltung. Unterschiedliche Vorschriften erfordern variierende Aufbewahrungsfristen:

• SOX-Aufbewahrungsanforderungen: 7 Jahre

• Anforderungen an die HIPAA-Datenspeicherung: 6 Jahre

• Anforderungen an die PCI-DDS-Datenspeicherung: 1 Jahr

• Basel II-Anforderungen an die Datenaufbewahrung: 3–7 Jahre

• DSGVO-Mitarbeiter-Einträge:

  • Löhne: 3 Jahre

  • Steuereinträge: 6 Jahre

  • Name, Adresse: 3 Jahre

• Fair Labor Standards Act: 2–3 Jahre

Frühere Architektur
Die frühere Architektur verfügte über zwei Datenzentren mit einer vierstufigen Speicherimplementierung, die verschiedene Anforderungen an die Datenverarbeitung abdeckte. Diese Implementierung erforderte mehr Hardware, Lizenzen und einen höheren operativen Verwaltungsaufwand.

Der Kunde bewahrte alle Logdaten 90 Tage lang auf, unabhängig davon, wie die Daten verwendet wurden.

• 7 Tage heiß

• 2 Tage warm

• 10 Tage kalt

• Verbleibende Tage in „Eingefroren“

Der Kunde hatte in beiden Tiers, „heiß“ und „warm“, dieselbe Hardware. Die warme Ebene wurde ausschließlich für das Force-Merging von Indizes für durchsuchbare Snapshots verwendet. Die warmen und kalten Ebenen waren sowohl bei der CPU als auch beim Speicher stark unterausgelastet. Die eingefrorene Ebene war zu klein, was zu langsamen historischen Suchvorgängen führte.

Eine mehrstufige Datenstrategie ermöglicht es Unternehmen, die Leistung für aktuelle Daten zu optimieren und gleichzeitig große Datenmengen effizient zu speichern. Durch die Nutzung der Shard-Allokations-Awareness können Unternehmen die Merkmale jeder Ebene definieren und die Migration von Indizes gemäß der Datenstrategie planen. Dies stellt sicher, dass Daten jederzeit auf der am besten geeigneten Hardware-Ebene gespeichert werden, wodurch ein Gleichgewicht zwischen Leistung und Kostenüberlegungen hergestellt wird.

Das Verhältnis von Arbeitsspeicher zu Speicher ist ein entscheidender Faktor bei der Planung des Elastic-Wachstums. Nachfolgend finden Sie die vier Speicherstufen, die Elastic-Kunden zur Verfügung stehen:

• Hot-Tier: Optimiert für Ingestion- und Suchleistung, typischerweise unter Verwendung von Hochgeschwindigkeits-SSDs mit einem Verhältnis von Arbeitsspeicher zu Speicher von etwa 1:30

• Warm-Tier: Optimiert für Speicherkapazität, unter Verwendung von SSDs oder HDDs mit einem Verhältnis von Arbeitsspeicher zu Speicher von etwa 1:160

• Cold-Tier: Optimiert für Speicherkapazität unter Verwendung eines durchsuchbaren Snapshots als Replikat (Obwohl das Speicherverhältnis dem des Warm-Tiers entspricht, halbiert der Wegfall eines lokalen Replikats den Speicherbedarf.) 

• Frozen-Tier: Optimiert für Archivierungszwecke, unter Verwendung von kostengünstigem Snapshot-Speicher mit lokalem Festplatten-Cache, um ein Verhältnis von Arbeitsspeicher zu Speicher von über 1:1.000 zu erzielen

In unserer Analyse haben wir die Gesamtbetriebskosten (TCO) für verschiedene Speicherkonfigurationen bewertet, um die Elastic-Implementierung eines anderen Kunden zu optimieren. Nachfolgend finden Sie eine detaillierte Aufschlüsselung dieser Konfigurationen und der damit verbundenen Kosten:

•  Selbstverwalteter ES-Cluster

•  1 TB tägliche Ingestion

•  Gesamte Aufbewahrungszeit 365 Tage

Bei der Optimierung des Speicher-Tiering geht es nicht nur um Kosteneinsparungen; es geht darum, Unternehmen in die Lage zu versetzen, sich weiterzuentwickeln und sich an neue Herausforderungen und Chancen anzupassen. 

Durch die Herangehensweise an Herausforderungen bei der Platformoptimierung mithilfe der Datenstrategieprinzipien können Unternehmen neue Anwendungsfälle ermöglichen, die Datenzuverlässigkeit verbessern und ihre allgemeine Datenstrategie optimieren. Lesen Sie unsere Dokumentation, um zu erfahren, wie Ihr Unternehmen eine belastbare und effiziente Implementierung von Elastic mithilfe von Daten Tiering aufbauen kann.