In diesem Blogbeitrag werden wir die Entwicklererfahrung des ES|QL-Editors in Elasticsearch 9.1 untersuchen, indem wir sie mit PPL im Event Analyzer (kurz PPL) in OpenSearch 3.2 vergleichen.

Die Unterschiede werden schnell deutlich: Der ES|QL Editor bietet intelligente Autovervollständigung, kontextbezogene Hilfe, empfohlene Abfragen und clusterübergreifende Abfrageunterstützung, die nicht nur Anfängern, sondern auch Experten gleichermaßen zugutekommen. Das durchdachte Design für die ES|QL-Erstellung zeigt sich auch in der integrierten Abfrageprüfung und der ganzheitlichen Integration durch Kibana-Workflows, beispielsweise mit den zuletzt verwendeten Abfragen.

PPL hingegen bietet keine vergleichbare Unterstützung für Autovervollständigung, kontextbezogene Hilfestellungen und verteilte Abfragen, was zu einer steileren Lernkurve und mehr Versuch und Irrtum führt.

ES|QL einfacher zu erlernen und anzuwenden

Der Einstieg in eine neue Abfragesprache kann oft überwältigend sein. Der direkt in Kibana Discover integrierte ES|QL - Editor wurde entwickelt, um diesen Prozess zu vereinfachen, indem er nicht nur die Erstellung und das Debuggen von Abfragen unterstützt, sondern auch beschleunigt, wie schnell Sie sich mit der Sprache vertraut machen und sich damit wohlfühlen. Da der Editor dazu beiträgt, Reibungsverluste bei alltäglichen Aufgaben zu reduzieren, können Sie Ihren Fokus von Syntax und Versuch-und-Irrtum-Prinzip auf die Lösungsfindung verlagern. Mehr über diese Prinzipien und wie wir sie in den Editor integriert haben, können Sie hier lesen.

Diese Editor-Oberfläche ist nicht auf Discover beschränkt; es handelt sich um ein wiederverwendbares Code-Modul, dessen Integration in andere Teile von Kibana wir gerade vorantreiben, wie zum Beispiel Dashboards, Kibana-Alerts und Kibana-Maps.

Intelligente Autovervollständigung: Beschleunigt die Erstellung Ihrer Suchanfragen

Die Autovervollständigung im ES|QL Editor ist umfassend und bietet Vorschläge für kompatible Funktionen, Argumente, Literale und sogar verschachtelte Funktionen – eine Fähigkeit, die in PPL deutlich fehlt. Tatsächlich wurde es von Grund auf neu aufgebaut, wie hier beschrieben.

Die Validierung läuft während der Eingabe durch den Benutzer, wie hier beschrieben, und schlägt Felder vor sowie benachrichtigt den Benutzer über Fehler. Dies reduziert die mentale Belastung der Benutzer und hilft, Fehler frühzeitig im Abfrageerstellungsprozess zu vermeiden.

Beispiel: In dieser Verschachtelung werden Felder und kompatible Funktionen vorgeschlagen:

Etwas, das PPL nicht unterstützt:

Selbst wenn eine intelligente Autovervollständigung Sie durch kompatible Funktionen, Argumente und verschachtelte Funktionen führt, möchten Sie vielleicht trotzdem ein tieferes Verständnis der verfügbaren Optionen. Genau hier erweist sich die kontextbezogene Hilfe des ES|QL Editors als unschätzbar wertvoll, da sie sofortige Unterstützung direkt im Editor bietet, um Ihre Abfrageentwicklung zu verdeutlichen und zu verbessern.

Kontextbezogene Hilfe direkt zur Hand

Zusätzliche Informationen zu einem durch die Autovervollständigung generierten Befehl erhalten Sie mit einem Klick Strg+Leertaste. Es erscheint sofort ein Fenster mit Details zu der betreffenden Funktion, dem Argument oder dem Feld. Diese unkomplizierte Interaktion hält die Entwickler im Arbeitsfluss und bietet ihnen bedarfsgerechte Hilfestellung, ohne dass sie den Editor verlassen oder externe Dokumentationen durchsuchen müssen. Dadurch wird der Zeitaufwand für Syntaxprüfungen reduziert und häufige Fehler werden vermieden, bevor sie überhaupt auftreten.

So sieht es in der Praxis aus:

PPL bietet diese Art von integrierter Anleitung nicht, sodass die Benutzer auf externe Dokumente oder das Ausprobieren angewiesen sind. Dieses Fehlen ist nicht nur ein fehlendes Merkmal; es verdeutlicht eine umfassendere Diskrepanz in der Designphilosophie. ES|QL legt Wert auf ein durchdachtes, kontextbezogenes Benutzererlebnis, das sich an die Daten und Arbeitsabläufe des Benutzers anpasst. Dieser Unterschied wird umso deutlicher, je komplexer die Abfragen werden, wodurch der ES|QL Editor eine effizientere und zuverlässigere Umgebung sowohl für Lernzwecke als auch für den Produktiveinsatz darstellt.

Empfohlene Abfragen, die den Datenkontext berücksichtigen

Der ES|QL-Editor bietet empfohlene Abfragen, die automatisch auf die Daten, mit denen Sie arbeiten, wie z. B. Protokolle, zugeschnitten sind. Statt eines leeren Editors werden die relevantesten Ausgangspunkte für gängige Anwendungsfälle angezeigt. Durch die Auswahl einer empfohlenen Abfrage wird eine kanonische Abfrage generiert, die sofort verwendbar ist und bei Bedarf weiter verfeinert werden kann. Dieser Ansatz beschleunigt die Abfrageentwicklung, insbesondere für neue Benutzer, die die vollständige Syntax möglicherweise noch nicht kennen.

Hier ist ein Beispiel, bei dem ein Benutzer die Abfrage „Änderungspunkt erkennen“ auswählt:

Vergleichen Sie das mit der PPL-Erfahrung:

Im Gegensatz dazu bietet PPL hier nur eine einfache Autovervollständigung, sodass man Abfragen ohne Kontext oder Struktur selbst zusammensetzen muss. Dieser Mangel an Anleitung kann zu Frustration und dem Vorgehen nach dem Prinzip „Versuch und Irrtum“ führen. Mit den datenbasierten empfohlenen Abfragen des ES|QL-Editors können Sie vermeiden, bei Routineaufgaben von Grund auf neu zu beginnen oder sich Syntax einzuprägen. Der Editor reduziert die kognitive Belastung, hilft, Fehler zu vermeiden, und ermöglicht es Ihnen, sich auf die Problemlösung und übergeordnete Ziele wie die Durchführung clusterübergreifender Suchen zu konzentrieren, anstatt sich mit der Formulierung von Abfragen auseinanderzusetzen.

Intuitive clusterübergreifende Abfragen

Die Autovervollständigung des ES|QL-Editors ist auch bei der Arbeit mit mehreren Remote-Clustern mit CCS weiterhin überlegen. Hier ist der Grund:

Der ES|QL-Editor bietet nahtlose Autovervollständigung auch clusterübergreifend.

Die Autovervollständigung im ES|QL-Editor unterstützt nicht nur Clusternamen, sondern auch lokale und Remote-Indizes. Wie hier beschrieben, funktioniert dies dank einer Koordinatorknotenarchitektur, die dabei hilft, den Abfrageplan zu validieren und zu generieren, der an die lokalen Knoten gesendet wird, die Abfrage auszuführen und die Ergebnisse zu aggregieren, bevor sie an den Benutzer zurückgesendet werden. Ohne Eingabe des vollständigen Namens des Remote-Clusters startet die Eingabe von „:“ den Autovervollständigungsprozess für den Remote-Index. Und Sie sind nicht auf das Präfix beschränkt.

Dadurch wird es einfach, verteilte Datensätze zu finden und abzufragen, ohne sich Namenskonventionen merken oder den Kontext wechseln zu müssen.

Hier ist ein Beispiel, bei dem der Benutzer einfach „clu:g“ eingibt, um einen Remote-Index zu finden:

Im krassen Gegensatz dazu bietet die PPL nur eine grundlegende Vervollständigung für lokale Indizes, wobei die Vorschläge auf Präfixübereinstimmungen beschränkt sind. Remote-Cluster müssen manuell eingegeben werden, was die Fehlerwahrscheinlichkeit erhöht und die Abfrageerstellung verlangsamt.

PPL bietet Vervollständigung nur für lokale Indizes und die Vorschläge sind auf das Präfix beschränkt:

ES|QL geht noch einen Schritt weiter, indem es Ausschlüsse direkt über ein negatives Vorzeichen ermöglicht und Ihnen so eine detaillierte Kontrolle darüber gibt, welche Cluster in Ihre Untersuchung einbezogen werden. Diese Funktionalität ist besonders wertvoll bei der Arbeit mit hybriden Umgebungen, in denen Sie bei clusterübergreifenden Untersuchungen möglicherweise bestimmte Datensätze ein- oder ausschließen möchten.

Diese Verbesserungen spiegeln den umfassenderen Fokus von Elasticsearch auf die Reduzierung von Reibungsverlusten bei der clusterübergreifenden Suche wider. Durch die Vereinfachung der Erstellung und Verwaltung verteilter Abfragen ermöglicht der ES|QL Editor Analysten und Entwicklern, sich auf Erkenntnisse anstatt auf die Syntax zu konzentrieren, während PPL diese Last eher dem Benutzer überlässt. Und genau wie der ES|QL-Editor die Erstellung clusterübergreifender Abfragen vereinfacht, bietet er auch Werkzeuge zur Überprüfung der Ausführung dieser Abfragen und gewährleistet so Transparenz und Leistungsüberwachung über mehrere Cluster hinweg.

Analyse der Details der clusterübergreifenden Suche mithilfe des Inspektionstools

Das Inspektionstool, das über den ES|QL-Editor zugänglich ist, dient dazu, Metadaten mit expliziten Informationen über die Abfrageausführung in allen Clustern bereitzustellen. Diese Funktionalität ist in Kibana Discover aktiviert und direkt im Query Inspector zugänglich. Dadurch können Sie den Suchfortschritt und Details analysieren, was insbesondere für die Cross-Cluster Search (CCS) von entscheidender Bedeutung ist. Diese Funktion hilft Ihnen, den Suchfortschritt zu überwachen und zu verstehen, wie Abfragen in verteilten Datensätzen abschneiden.

Diese detaillierte Transparenz der Abfrageausführung, insbesondere bei komplexen verteilten Suchvorgängen, ermöglicht es Ihnen, optimale Leistung und Fehlerbehebung zu gewährleisten.

Über das Verständnis der Funktionsweise einzelner Abfragen hinaus verbessert der ES|QL Editor die Benutzererfahrung zusätzlich, indem er wesentliche Funktionalitäten tief in die gesamte Kibana-Plattform einbettet und so einen nahtlosen und unterbrechungsfreien Arbeitsablauf fördert.

Einheitliche Abfrageerfahrung mit ES|QL und Kibana

Eine der häufigsten Ursachen für Reibungsverluste bei abfragegesteuerter Analyse ist der Kontextwechsel. Oftmals müssen Sie sich an bereits formulierte Anfragen erinnern. Jede Unterbrechung stört die Konzentration und verlangsamt die Ermittlungen. Der ES|QL-Editor löst dieses Problem durch die Integration des Abfrageverlaufs in Kibana.

Aktuelle Suchanfragen

Die Funktion „Letzte Abfragen“ im ES|QL Editor hilft Ihnen, im Arbeitsfluss zu bleiben, indem sie frühere Arbeiten sofort zugänglich macht. Im ES|QL-Editor von Discover können Sie Ihre letzten 20 Abfragen anzeigen, erneut ausführen und mit einem Stern markieren. So ist sichergestellt, dass häufig verwendete oder komplexe Abfragen nur einen Klick entfernt sind. Diese gespeicherten Abfragen werden auch in Kibana übernommen und in Dashboards, Visualisierungen, Benachrichtigungen und Karten integriert, sodass Sie Ihren aktuellen Bildschirm nicht verlassen oder Befehle von Grund auf neu eingeben müssen. Dadurch werden sich wiederholende Arbeiten reduziert, die Ermittlungen beschleunigt und das Fehlerrisiko minimiert.

Ein Benutzer kann beispielsweise die zuletzt verwendeten Abfragen im ES|QL-Editor in Discover nutzen (und diese mit einem Stern markieren):

Die neuesten Suchanfragen sind im Dashboard integriert:

PPL bietet keine vergleichbare Funktion, sodass Benutzer auf manuelles Kopieren und Einfügen oder externe Notizen angewiesen sind, um Abfragen wiederzuverwenden. Der Unterschied liegt nicht nur in der Bequemlichkeit; er spiegelt die Strategie von Elastic wider, ES|QL als eine wirklich integrierte Sprache innerhalb des Kibana-Ökosystems aufzubauen. Mit Funktionen wie „Letzte Abfragen“ optimiert der ES|QL Editor nicht nur die täglichen Arbeitsabläufe, sondern legt auch den Grundstein für fortgeschrittenere Funktionen, die sich derzeit in der technischen Vorschau befinden, und gewährleistet so eine kontinuierliche Weiterentwicklung des Benutzererlebnisses.

Fazit

ES|QL ist mehr als nur eine Syntax; es spiegelt die Strategie von Elastic wider, die Art und Weise zu verbessern, wie Benutzer Daten suchen, erkunden und analysieren. Mit intelligenter Autovervollständigung, kontextbezogenen empfohlenen Abfragen, Hilfestellungen im Editor und Tools wie Inspect beschleunigt der ES|QL Editor das Lernen, reduziert Fehler und vereinfacht komplexe Arbeitsabläufe wie die Clusterübergreifende Analyse. Die Integration in Kibana ermöglicht die nahtlose Verbindung von Abfragen mit Dashboards, Warnmeldungen und Visualisierungen für einen unterbrechungsfreien Workflow.

Zusammenfassend lässt sich sagen, dass ES|QL nicht einfach nur eine weitere Pipe-Sprache ist; es ist eine durchdacht entwickelte Abfrage-Engine in Verbindung mit einer intuitiven Benutzeroberfläche, die die Art und Weise, wie Sie mit Ihren Daten interagieren, grundlegend neu definiert und ein integriertes, intelligentes und sich ständig weiterentwickelndes Erlebnis bietet, das sich deutlich von der oft sequenziellen und weniger geführten Natur von OpenSearch PPL abhebt.

Was kommt als Nächstes?

Dieser Blog kratzt nur an der Oberfläche von ES|QL. Zukünftige Beiträge werden sich eingehender mit Vergleichen mit OpenSearch PPL befassen und Geodaten-, Visualisierungs- und kommende Editorfunktionen wie Controls (bereits in Dashboards verfügbar), Registerkarten zur Erkundung mehrerer Daten, Hintergrundsuche, erweiterte Abfragehistorie und FUSE untersuchen.

Testen Sie ES|QL noch heute!

Sie können ES|QL in vollständig verwalteten Elasticsearch Serverless -Projekten mit einer kostenlosen Testversion ausprobieren. Es ist auch in Versionen ab 8.11 verfügbar, bietet aber das beste Nutzungserlebnis in den Versionen 8.19 und 9.1.

Legen Sie in wenigen Minuten in Ihrer lokalen Umgebung mit einem einzigen Befehl los:

Heute geben wir die allgemeine Verfügbarkeit des neuen Indexmodus von Elasticsearch, logsdb, bekannt, der den Speicherbedarf von Protokolldaten im Vergleich zu aktuellen Versionen von Elasticsearch ohne logsdb um bis zu 65 % reduziert . Diese dramatische Verbesserung ermöglicht es Beobachtungs- und Sicherheitsteams, die Sichtbarkeit zu erweitern, ohne ihr Budget zu überschreiten, und gleichzeitig alle Daten für die Analyse sofort zugänglich zu halten.

Logsdb optimiert die Datenreihenfolge, eliminiert Duplikate durch die dynamische Rekonstruktion nicht gespeicherter Feldwerte mit synthetic _source und verbessert die Komprimierung mithilfe fortschrittlicher Algorithmen und Codecs. Dabei wird die spaltenorientierte Speicherung in Elasticsearch für eine effiziente Log-Speicherung und -abfrage genutzt.

Verbessern Sie die Analytik und senken Sie die Kosten, indem Sie die Speichereffizienz mit dem logsdb-Indexmodus steigern

Logs liefern entscheidende Signale zur Erkennung und Behebung von Beobachtbarkeits- und Sicherheitsproblemen — und ihr Nutzen nimmt zu, da Fortschritte in der KI die Analyse textbasierter Daten erleichtern. Daher sind effiziente Speicherung und leistungsstarker Zugriff wichtiger denn je.

Leider führt das wachsende Log-Volumen, das durch Infrastrukturen und Anwendungen erzeugt wird, zu steigenden Kosten und zwingt zu Kompromissen, die die Analyse behindern: die Erfassung einschränken, die Aufbewahrung reduzieren oder neue Daten in isolierte Archivstufen verschieben.

Logsdb geht diese Herausforderungen direkt an. Mit größerer Speichereffizienz können Sie mehr Daten erfassen und den Aufwand für komplizierte Datenfilterung vermeiden. Sie können Logs länger aufbewahren, um das Threat-Hunting, die Incident-Response und die Einhaltung von Compliance-Anforderungen zu unterstützen. Und da alle Daten stets durchsuchbar sind, können Sie schnelle Einblicke gewinnen, unabhängig davon, wie groß Ihr Datensatz wird.

Technische Innovation hinter dem logsdb-Indexmodus

Der logsdb-Indexmodus reduziert den Festplattenbedarf von Log-Daten erheblich durch intelligente Indexsortierung, synthetische _source und erweiterte Komprimierung. Durch die Implementierung kann der Speicherbedarf für Log-Daten um bis zu 65 % reduziert werden, im Vergleich zu neueren Versionen von Elasticsearch ohne logsdb. Obwohl logsdb derzeit bei der Indizierung mehr CPU verwendet, senkt die effiziente Speicherung die Gesamtkosten für die meisten Kunden. Für Kunden, die eine langfristige Speicherung benötigen, erwarten wir eine Reduzierung der Gesamtbetriebskosten (TCO) um bis zu 50 %.

Durch die intelligente Indexsortierung wird die Speichereffizienz um bis zu 30 % verbessert und die Abfragelatenz bei einigen Protokolldatensätzen verringert, indem ähnliche Daten nahe beieinander lokalisiert werden. Standardmäßig sortiert es Indizes nach Hostname und @Zeitstempel. Wenn Ihre Daten geeignetere Felder enthalten, können Sie diese stattdessen angeben.

Erweiterte Komprimierung reduziert den Speicherbedarf für textlastige Daten wie Protokolle durch Zstandard-Komprimierung (Zstd), Delta-Kodierung, Lauflängenkodierung und andere intelligente Codecs, die automatisch ausgewählt werden, erheblich. Doc-Werte, die in einem für Komprimierung und Leistung optimierten Spaltenformat gespeichert werden, ermöglichen eine effiziente Speicherung und Abfrage von Feldwerten zum Sortieren, Aggregieren und Skripten.

Mithilfe von Synthetic _source können Unternehmen ihren Speicherbedarf um weitere 20–40 % senken, indem sie das _source-Feld verwerfen und es bei Bedarf ganz oder teilweise rekonstruieren. Obwohl die Funktion manchmal mehr Rechenleistung für die Indizierung und Abfrage erfordert, zeigen Tests, dass sie messbare Nettoeffizienzverbesserungen liefert. Synthetic _source basiert auf fast zwei Jahren Produktionseinsatz mit Metriken und bietet zahlreiche Verbesserungen für Protokolle, einschließlich der Unterstützung für fast alle Feldtypen.

Die resultierenden Speicherplatzeinsparungen werden durch die Phasen des Index-Lebenszyklus weitergegeben. Eine Speicherreduzierung von 65 % in der Hot-Tier-Ebene führt zu einer entsprechenden Reduzierung in den Hot-, Cold- und Frozen-Tiers und verringert auch den Speicherbedarf für Snapshots im Bucket-Speicher.

Keine Kompromisse bei der Transparenz: Bewahren Sie alle Logs für die Beobachtbarkeit und Sicherheit auf

Logs sind die Basis für die Transparenz von Infrastruktur und Anwendungen und bieten das einfachste und wesentlichste Signal für das Monitoring und die Fehlerbehebung. Allerdings steigen die Kosten, wenn die Logging-Mengen zunehmen. Diese Herausforderung zwingt Kunden dazu, komplexe Filter- und Verwaltungsrichtlinien zu implementieren, Daten vorzeitig zu löschen und relevante Logs in Speichern abzulegen, die einen Tag oder länger benötigen, um vor der Analyse wiederhergestellt zu werden. Ohne einen vollständigen, leicht durchsuchbaren und zugänglichen Datensatz ist es erheblich schwieriger, Probleme zu identifizieren und zu beheben.

Der Logsdb-Indexmodus basiert auf bahnbrechenden Elasticsearch-Funktionen wie durchsuchbaren Snapshots und automatischem Import , um diese Schwachstellen für Betriebs- und Sicherheitsteams zu beheben:

Kosten senken: Logsdb reduziert den Speicherbedarf von Protokollen um bis zu 65 %, sodass Unternehmen ihre Speicherkosten senken und gleichzeitig mehr Daten speichern können. Dies führt zu Kosteneinsparungen auf allen Speicherebenen – von „Hot“ bis „Frozen“ – und einer höheren Produktivität für die Beobachtungs- und Sicherheitsteams, die diese Daten verwenden.

Bewahren Sie wertvolle Daten auf: Logsdb speichert alle Ihre Protokolldaten und verbessert die Betriebseffizienz, ohne auf zusätzliche Tools oder komplizierte Filter angewiesen zu sein. Mit Funktionen wie „synthetic_source“ bewahren Sie den Wert der Daten, ohne das gesamte Quelldokument zu speichern.

Erweitern Sie die Sichtbarkeit: Logsdb bietet effizienten Zugriff auf alle Daten auf einer Plattform, ohne separate Silos für Beobachtbarkeit, Sicherheit und historische Daten. Für Site Reliability Engineers (SREs) beschleunigt es die Problemlösung, indem es die Analyse von Protokollen neben Metriken, Traces und Geschäftsdaten ermöglicht. Ebenso beschleunigt es für Security Operations Center (SOC)-Teams die Untersuchung und Behebung, indem es blinde Flecken beseitigt.

Optimieren Sie den Datenzugriff: Mit Logsdb können SRE-Teams verwertbare Daten zur Fehlerbehebung, Trendanalyse und Analyse effizient speichern. Ebenso können SOC-Teams alle ihre Daten schnell und ohne exorbitante Kosten zu Untersuchungszwecken und zur Bedrohungssuche durchsuchen.

Logsdb ist bereit für Ihre Umgebung

Der Indexmodus „Logsdb“ von Elasticsearch ist für Kunden mit Elastic Cloud Hosted und Self-Managed ab Version 8.17 allgemein verfügbar und für Protokolle in Elastic Cloud Serverless standardmäßig aktiviert.

Grundlegende logsdb-Funktionen (einschließlich intelligenter Indexsortierung und erweiterter Komprimierung) sind für Unternehmen mit Standard-, Gold- und Platinum-Lizenzen verfügbar. Vollständige logsdb-Funktionen, die die Speicheranforderungen weiter reduzieren (einschließlich synthetic _source), stehen serverlosen Kunden und Unternehmen mit einer Enterprise-Lizenz zur Verfügung.

Elasticsearch logsdb in Aktion

Logsdb ermöglicht es Ihnen, alle Ihre Log-Daten zu behalten und die Betriebseffizienz zu verbessern, ohne das Erfassen einzuschränken oder Daten zu verwerfen oder zu isolieren. Mit Funktionen wie intelligenter Indexsortierung, erweiterter Komprimierung und synthetic _source können Sie die benötigten Daten innerhalb eines für Sie passenden Budgets speichern und analysieren.

Möchten Sie es selbst erleben? Testen Sie Elastic kostenlos.

Die Entscheidung über die Veröffentlichung der in diesem Blogeintrag beschriebenen Leistungsmerkmale und Features sowie deren Zeitpunkt liegt allein bei Elastic. Es ist möglich, dass noch nicht verfügbare Leistungsmerkmale oder Features nicht rechtzeitig oder überhaupt nicht veröffentlicht werden.