Mit Live-Log zum Erfolg: Der neu spezialisierte Logsdb-Indexmodus von Elasticsearch

Neu bei Elasticsearch? Nehmen Sie an unserem Webinar „Erste Schritte mit Elasticsearch“ teil. Sie können jetzt auch eine kostenlose Cloud-Testversion starten oder Elastic auf Ihrem Rechner testen.

Der neue Indexmodus von Elasticsearch, logsdb, reduziert den Log-Speicherbedarf um bis zu 65 %.

Heute geben wir die allgemeine Verfügbarkeit des neuen Indexmodus von Elasticsearch, logsdb, bekannt, der den Speicherbedarf von Protokolldaten im Vergleich zu aktuellen Versionen von Elasticsearch ohne logsdb um bis zu 65 % reduziert . Diese dramatische Verbesserung ermöglicht es Beobachtungs- und Sicherheitsteams, die Sichtbarkeit zu erweitern, ohne ihr Budget zu überschreiten, und gleichzeitig alle Daten für die Analyse sofort zugänglich zu halten.

Logsdb optimiert die Datenreihenfolge, eliminiert Duplikate durch die dynamische Rekonstruktion nicht gespeicherter Feldwerte mit synthetic _source und verbessert die Komprimierung mithilfe fortschrittlicher Algorithmen und Codecs. Dabei wird die spaltenorientierte Speicherung in Elasticsearch für eine effiziente Log-Speicherung und -abfrage genutzt.

Verbessern Sie die Analytik und senken Sie die Kosten, indem Sie die Speichereffizienz mit dem logsdb-Indexmodus steigern

Logs liefern entscheidende Signale zur Erkennung und Behebung von Beobachtbarkeits- und Sicherheitsproblemen — und ihr Nutzen nimmt zu, da Fortschritte in der KI die Analyse textbasierter Daten erleichtern. Daher sind effiziente Speicherung und leistungsstarker Zugriff wichtiger denn je.

Leider führt das wachsende Log-Volumen, das durch Infrastrukturen und Anwendungen erzeugt wird, zu steigenden Kosten und zwingt zu Kompromissen, die die Analyse behindern: die Erfassung einschränken, die Aufbewahrung reduzieren oder neue Daten in isolierte Archivstufen verschieben.

Logsdb geht diese Herausforderungen direkt an. Mit größerer Speichereffizienz können Sie mehr Daten erfassen und den Aufwand für komplizierte Datenfilterung vermeiden. Sie können Logs länger aufbewahren, um das Threat-Hunting, die Incident-Response und die Einhaltung von Compliance-Anforderungen zu unterstützen. Und da alle Daten stets durchsuchbar sind, können Sie schnelle Einblicke gewinnen, unabhängig davon, wie groß Ihr Datensatz wird.

Technische Innovation hinter dem logsdb-Indexmodus

Der logsdb-Indexmodus reduziert den Festplattenbedarf von Log-Daten erheblich durch intelligente Indexsortierung, synthetische _source und erweiterte Komprimierung. Durch die Implementierung kann der Speicherbedarf für Log-Daten um bis zu 65 % reduziert werden, im Vergleich zu neueren Versionen von Elasticsearch ohne logsdb. Obwohl logsdb derzeit bei der Indizierung mehr CPU verwendet, senkt die effiziente Speicherung die Gesamtkosten für die meisten Kunden. Für Kunden, die eine langfristige Speicherung benötigen, erwarten wir eine Reduzierung der Gesamtbetriebskosten (TCO) um bis zu 50 %.

Durch die intelligente Indexsortierung wird die Speichereffizienz um bis zu 30 % verbessert und die Abfragelatenz bei einigen Protokolldatensätzen verringert, indem ähnliche Daten nahe beieinander lokalisiert werden. Standardmäßig sortiert es Indizes nach Hostname und @Zeitstempel. Wenn Ihre Daten geeignetere Felder enthalten, können Sie diese stattdessen angeben.

Erweiterte Komprimierung reduziert den Speicherbedarf für textlastige Daten wie Protokolle durch Zstandard-Komprimierung (Zstd), Delta-Kodierung, Lauflängenkodierung und andere intelligente Codecs, die automatisch ausgewählt werden, erheblich. Doc-Werte, die in einem für Komprimierung und Leistung optimierten Spaltenformat gespeichert werden, ermöglichen eine effiziente Speicherung und Abfrage von Feldwerten zum Sortieren, Aggregieren und Skripten.

Mithilfe von Synthetic _source können Unternehmen ihren Speicherbedarf um weitere 20–40 % senken, indem sie das _source-Feld verwerfen und es bei Bedarf ganz oder teilweise rekonstruieren. Obwohl die Funktion manchmal mehr Rechenleistung für die Indizierung und Abfrage erfordert, zeigen Tests, dass sie messbare Nettoeffizienzverbesserungen liefert. Synthetic _source basiert auf fast zwei Jahren Produktionseinsatz mit Metriken und bietet zahlreiche Verbesserungen für Protokolle, einschließlich der Unterstützung für fast alle Feldtypen.

Die resultierenden Speicherplatzeinsparungen werden durch die Phasen des Index-Lebenszyklus weitergegeben. Eine Speicherreduzierung von 65 % in der Hot-Tier-Ebene führt zu einer entsprechenden Reduzierung in den Hot-, Cold- und Frozen-Tiers und verringert auch den Speicherbedarf für Snapshots im Bucket-Speicher.

Keine Kompromisse bei der Transparenz: Bewahren Sie alle Logs für die Beobachtbarkeit und Sicherheit auf

Logs sind die Basis für die Transparenz von Infrastruktur und Anwendungen und bieten das einfachste und wesentlichste Signal für das Monitoring und die Fehlerbehebung. Allerdings steigen die Kosten, wenn die Logging-Mengen zunehmen. Diese Herausforderung zwingt Kunden dazu, komplexe Filter- und Verwaltungsrichtlinien zu implementieren, Daten vorzeitig zu löschen und relevante Logs in Speichern abzulegen, die einen Tag oder länger benötigen, um vor der Analyse wiederhergestellt zu werden. Ohne einen vollständigen, leicht durchsuchbaren und zugänglichen Datensatz ist es erheblich schwieriger, Probleme zu identifizieren und zu beheben.

Der Logsdb-Indexmodus basiert auf bahnbrechenden Elasticsearch-Funktionen wie durchsuchbaren Snapshots und automatischem Import , um diese Schwachstellen für Betriebs- und Sicherheitsteams zu beheben:

Kosten senken: Logsdb reduziert den Speicherbedarf von Protokollen um bis zu 65 %, sodass Unternehmen ihre Speicherkosten senken und gleichzeitig mehr Daten speichern können. Dies führt zu Kosteneinsparungen auf allen Speicherebenen – von „Hot“ bis „Frozen“ – und einer höheren Produktivität für die Beobachtungs- und Sicherheitsteams, die diese Daten verwenden.

Bewahren Sie wertvolle Daten auf: Logsdb speichert alle Ihre Protokolldaten und verbessert die Betriebseffizienz, ohne auf zusätzliche Tools oder komplizierte Filter angewiesen zu sein. Mit Funktionen wie „synthetic_source“ bewahren Sie den Wert der Daten, ohne das gesamte Quelldokument zu speichern.

Erweitern Sie die Sichtbarkeit: Logsdb bietet effizienten Zugriff auf alle Daten auf einer Plattform, ohne separate Silos für Beobachtbarkeit, Sicherheit und historische Daten. Für Site Reliability Engineers (SREs) beschleunigt es die Problemlösung, indem es die Analyse von Protokollen neben Metriken, Traces und Geschäftsdaten ermöglicht. Ebenso beschleunigt es für Security Operations Center (SOC)-Teams die Untersuchung und Behebung, indem es blinde Flecken beseitigt.

Optimieren Sie den Datenzugriff: Mit Logsdb können SRE-Teams verwertbare Daten zur Fehlerbehebung, Trendanalyse und Analyse effizient speichern. Ebenso können SOC-Teams alle ihre Daten schnell und ohne exorbitante Kosten zu Untersuchungszwecken und zur Bedrohungssuche durchsuchen.

Logsdb ist bereit für Ihre Umgebung

Der Indexmodus „Logsdb“ von Elasticsearch ist für Kunden mit Elastic Cloud Hosted und Self-Managed ab Version 8.17 allgemein verfügbar und für Protokolle in Elastic Cloud Serverless standardmäßig aktiviert.

Grundlegende logsdb-Funktionen (einschließlich intelligenter Indexsortierung und erweiterter Komprimierung) sind für Unternehmen mit Standard-, Gold- und Platinum-Lizenzen verfügbar. Vollständige logsdb-Funktionen, die die Speicheranforderungen weiter reduzieren (einschließlich synthetic _source), stehen serverlosen Kunden und Unternehmen mit einer Enterprise-Lizenz zur Verfügung.

Elasticsearch logsdb in Aktion

Logsdb ermöglicht es Ihnen, alle Ihre Log-Daten zu behalten und die Betriebseffizienz zu verbessern, ohne das Erfassen einzuschränken oder Daten zu verwerfen oder zu isolieren. Mit Funktionen wie intelligenter Indexsortierung, erweiterter Komprimierung und synthetic _source können Sie die benötigten Daten innerhalb eines für Sie passenden Budgets speichern und analysieren.

Möchten Sie es selbst erleben? Testen Sie Elastic kostenlos.

Die Entscheidung über die Veröffentlichung der in diesem Blogeintrag beschriebenen Leistungsmerkmale und Features sowie deren Zeitpunkt liegt allein bei Elastic. Es ist möglich, dass noch nicht verfügbare Leistungsmerkmale oder Features nicht rechtzeitig oder überhaupt nicht veröffentlicht werden.

Häufige Fragen