Elasticsearch-Features

Ein Cluster ist eine Sammlung von einem oder mehreren Knoten (Servern), die zusammen Ihre Daten enthalten und föderierte Indexierungs- und Suchfunktionen über alle Knoten bereitstellen. Elasticsearch-Cluster verwenden primäre und Replikat-Shards, um Failoverfunktionen bereitzustellen, wenn ein Knoten ausfällt. Wenn eine primäre Shard ausfällt, übernimmt ein Replikat ihre Aufgaben.

Wenn ein Knoten den Cluster aus irgendeinem Grund verlässt (absichtlich oder unbeabsichtigt), reagiert der Master-Knoten, indem er den Knoten durch ein Replikat ersetzt und die Shards neu ausbalanciert. Diese Aktionen schützen den Cluster vor Datenverlusten, indem sichergestellt wird, dass jede Shard so bald wie möglich vollständig repliziert wird.

Der Master-Knoten in Ihrem Elasticsearch-Cluster entscheidet automatisch, welche Shards zu welchen Knoten zugeordnet werden, und wann Shards zwischen Knoten verschoben werden, um die Balance im Cluster zu erhalten.

Wenn Ihre Auslastung wächst, skaliert Elasticsearch mit Ihnen. Fügen Sie weitere Daten und Anwendungsfälle hinzu, und wenn die Ressourcen knapp werden, können Sie einfach einen weiteren Knoten zu Ihrem Cluster hinzufügen, um Kapazität und Zuverlässigkeit zu verbessern. Wenn Sie weitere Knoten zu einem Cluster hinzufügen, werden die Replikat-Shards automatisch zugeordnet, um Sie auf die Zukunft vorzubereiten.

Wenn Sie benutzerdefinierte Knotenattribute als Awareness-Attribute verwenden, kann Elasticsearch Ihre physische Hardwarekonfiguration bei der Zuweisung von Shards berücksichtigen. Wenn Elasticsearch weiß, welche Knoten sich auf demselben physischen Server, im gleichen Rack oder in derselben Zone befinden, können die primäre Shard und ihre Replikate so verteilt werden, dass das Risiko für den Verlust aller Shard-Kopien bei einem Ausfall minimiert wird.

Mit der Cluster-übergreifenden Replikation (Cross-Cluster Replication, CCR) können Sie Indizes aus Remote-Clustern in einen lokalen Cluster replizieren. Diese Funktion eignet sich für zahlreiche Anwendungsfälle in Produktionsumgebungen.

Die rechenzentrumsübergreifende Replikation ist schon seit einiger Zeit eine Anforderung für missionskritische Anwendungen in Elasticsearch und wurde bisher zum Teil mit externen Technologien umgesetzt. Mit der rechenzentrumsübergreifenden Replikation in Elasticsearch sind keine zusätzlichen Technologien erforderlich, um Daten über Rechenzentren, Geografien oder Elasticsearch-Cluster hinweg zu replizieren.

Mit dem Index-Lifecycle-Management (ILM) können die Benutzer Richtlinien definieren und automatisieren, um festzulegen, wie lange ein Index in jeder der vier Phasen verbleibt, und welche Aktionen für den Index in jeder Phase ausgeführt werden. Auf diese Weise lassen sich die Betriebskosten besser planen, da die Daten in verschiedenen Ressourcenebenen abgelegt werden können.

Daten-Tiers bieten eine formalisierte Möglichkeit, Daten auf „heiße“, „warme“ und „kalte“ Knoten aufzuteilen. Dabei kommt ein Knotenrollenattribut zum Einsatz, das automatisch die Index-Lifecycle-Management-Richtlinie für Ihre Knoten definiert. Durch die Zuweisung von „Heiß“-, „Warm“- und „Kalt“-Rollen zu Knoten lässt sich der Prozess der Umschichtung von Daten von teurem Speicherplatz mit hoher Performance auf Speicherplatzoptionen mit geringeren Kosten und geringerer Performance vereinfachen und automatisieren, ohne dass darunter die Möglichkeit leidet, Daten abzufragen und Erkenntnisse zu gewinnen.

Elasticsearch-Indizes behalten bestimmte Strukturen im Arbeitsspeicher, um diese schnell durchsuchen und indexieren zu können. Um die Speicherauslastung zu reduzieren (und die Betriebskosten zu senken), kann Elasticsearch selten verwendete Daten in eingefrorenen Indizes aufbewahren, die nicht im Arbeitsspeicher vorgehalten werden. Bei einer Abfrage werden diese Daten vorübergehend in den Arbeitsspeicher geladen und nach Abschluss der Abfrage wieder freigegeben.

Als im Hintergrund laufende Snapshot-Manager bieten Snapshot-Lifecycle-Management(SLM)-APIs Administratoren die Möglichkeit zu definieren, in welcher Abfolge die Snapshots eines Elasticsearch-Clusters angelegt werden sollen. Dank einer dedizierten Benutzeroberfläche können Nutzer mit SLM Aufbewahrungseinstellungen für SLM-Richtlinien konfigurieren und Snapshots automatisch anlegen und löschen lassen sowie die Häufigkeit der Snapshot-Erstellung einrichten. So kann sichergestellt werden, dass Cluster-Backup ausreichend häufig erstellt werden, um die Einhaltung der Kunden-SLAs zu gewährleisten.

Ein Snapshot ist eine Sicherung aus einem aktiven Elasticsearch-Cluster. Snapshots können entweder für einzelne Indizes oder für ein gesamtes Cluster erstellt und in einem Repository in einem freigegebenen Dateisystem gespeichert werden. Außerdem sind Plugins verfügbar, mit denen Sie Remote-Repositorys unterstützen können.

Mit durchsuchbaren Snapshots erhalten Sie die Möglichkeit, Daten in Ihren Snapshots direkt abzufragen – in einem Bruchteil der Zeit, die eine herkömmliche Wiederherstellung von Daten aus einem Snapshot benötigen würde. Möglich gemacht wird dies dadurch, dass nur die Teile des jeweiligen Snapshot-Index gelesen werden, die für die Erfüllung der Anfrage notwendig sind. Zusammen mit der Daten-Tier für „kalte“ Daten können durchsuchbare Snapshots Ihre Datenspeicherkosten deutlich reduzieren, da die Replikat-Shards unter vollständiger Erhaltung der Durchsuchbarkeit in Objektspeichersystemen wie Amazon S3, Azure Storage oder Google Cloud Storage gesichert werden.

Mit einem Source-only-Repository können Sie extrem kleine Source-only-Snapshots erstellen, die bis zu 50 % weniger Platz auf dem Laufwerk belegen. Source-only-Snapshots enthalten gespeicherte Felder und Index-Metadaten. Sie enthalten keine Index- oder Dokumentwertstrukturen und sind nach dem Wiederherstellen nicht durchsuchbar.

Verlaufsdaten sind oft extrem hilfreich für die Analyse, werden allerdings oft nicht aufbewahrt, weil es kostspielig ist, riesige Datenmengen zu archivieren. Die Aufbewahrungsfristen werden daher eher aus finanziellen Gründen begrenzt als durch die Nützlichkeit umfassender Verlaufsdaten. Mit der Rollup-Funktion können Sie Verlaufsdaten zusammenfassen und speichern, um sie weiterhin für Analysen zu können, jedoch zu einem Bruchteil der Speicherungskosten für Rohdaten.

Datenstreams sind eine bequeme und skalierbare Möglichkeit, kontinuierlich generierte Zeitreihendaten zu ingestieren, zu suchen und zu verwalten.

Transformationen sind zweidimensionale Datenstrukturen in Tabellenform, die indizierte Daten „leichter verdaulich“ machen. Transformationen führen Aggregationen aus, die Ihre Daten in einen neuen, Entity-zentrischen Index überführen. Durch Transformieren und Zusammenfassen Ihrer Daten können Sie sie auf verschiedene Art und Weise visualisieren und analysieren und sie auch als Quelle für andere Machine-Learning-Analysen bereitstellen.

Mit der Upgrade-Assistant-API können Sie den Upgradestatus Ihres Elasticsearch-Clusters überprüfen und Indizes neu indizieren, die in der vorherigen Hauptversion erstellt wurden. Der Assistent hilft Ihnen dabei, Ihre Umgebung auf die nächste Hauptversion von Elasticsearch vorzubereiten.

Die Verwaltung von API-Schlüsseln muss so flexibel sein, dass Nutzer ihre eigenen Schlüssel verwalten können, die den Zugang zu ihren jeweiligen Rollen einschränken. Über eine dedizierte Benutzeroberfläche können Nutzer API-Schlüssel erstellen und diese zur Bereitstellung langfristig gültiger Anmeldeinformationen für die Interaktion mit Elasticsearch nutzen, ein Verfahren, das bei automatisierten Skripts oder bei der Workflow-Integration in andere Software gang und gäbe ist.

Es gibt Einstellungen, die besonders sicherheitsrelevant sind und bei denen es nicht ausreicht, die Werte allein über Dateisystemberechtigungen zu schützen. In diesen Fällen bieten Elasticsearch einen Schlüsselspeicher, der dabei hilft, den unerlaubten Zugriff auf sicherheitsrelevante Cluster-Einstellungen zu verhindern. Für zusätzliche Sicherheit kann der Schlüsselspeicher mit einem Passwort geschützt werden.

Sie können netzwerkbasierte Angriffe auf die Daten in Elasticsearch-Knoten abwehren, indem Sie den Datenverkehr mit SSL/TLS verschlüsseln, Zertifikate für die Knotenauthentifizierung verwenden, usw.

Der Elastic Stack implementiert zwar keine Verschlüsselung für ruhende Daten, aber wir empfehlen trotzdem, eine Verschlüsselung auf Laufwerksebene für alle Hostcomputer zu konfigurieren. Auch die in den Snapshot-Zielen gespeicherten inaktiven Daten müssen verschlüsselt werden.

Mit der rollenbasierten Zugriffssteuerung (Role-based Access Control, RBAC) können Sie Benutzer autorisieren, indem Sie Rollen Privilegien und Benutzern oder Gruppen Rollen zuweisen.

Die Sicherheitsfunktionen des Elastic Stack stellen außerdem einen Mechanismus für die attributbasierte Zugriffssteuerung (Attribute-based Access Control, ABAC) bereit, mit dem Sie Attribute verwenden können, um den Zugriff auf Dokumente in Suchabfragen und Aggregationen einzuschränken. Außerdem können Sie eine Zugriffsrichtlinie in einer Rollendefinition implementieren, um festzulegen, dass die Benutzer ein Dokument nur lesen dürfen, wenn sie alle erforderlichen Attribute haben.

Mit der Sicherheit auf Feldebene können Sie einschränken, auf welche Felder die Benutzer Lesezugriff haben. Insbesondere können Sie einschränken, welche Felder für dokumentbasierte Lese-APIs verfügbar sind.

Aktivieren Sie die Auditing-Funktionen, um sicherheitsrelevante Ereignisse wie Authentifizierungsfehler und abgelehnte Verbindungen im Blick zu behalten. Loggen Sie diese Ereignisse, um Ihren Cluster auf verdächtige Aktivitäten zu überwachen und bei einem Angriff Beweise sammeln zu können.

Sie können die IP-Filterung auf Anwendungs-Clients, Knoten-Clients oder Transport-Clients sowie auf andere Knoten anwenden, die versuchen, dem Cluster beizutreten. Wenn die IP-Adresse eines Knotens in der Negativliste enthalten ist, erlauben die Elasticsearch-Sicherheitsfunktionen zwar eine Verbindung mit Elasticsearch, aber diese wird sofort geschlossen und es werden keine Anfragen verarbeitet.

xpack.security.transport.filter.allow: "192.168.0.1"
xpack.security.transport.filter.deny: "192.168.0.0/24"

xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ]
xpack.security.transport.filter.deny: _all

xpack.security.transport.filter.allow: "2001:0db8:1234::/48"
xpack.security.transport.filter.deny: "1234:0db8:85a3:0000:0000:8a2e:0370:7334"

xpack.security.transport.filter.allow: localhost
xpack.security.transport.filter.deny: '*.google.com'

Die Sicherheitsfunktionen des Elastic Stack authentifizieren Benutzer mithilfe von Realms und einem oder mehreren Token-basierten Authentifizierungsdiensten. Realms werden verwendet, um Benutzer auf Basis von Authentifizierungs-Tokens aufzulösen und zu authentifizieren. Die Sicherheitsfunktionen stellen eine Reihe von integrierten Realms bereit.

Der Elastic Stack unterstützt Single Sign-on (SSO) in Kibana mit SAML und verwendet Elasticsearch als Backend-Dienst. Mit der SAML-Authentifizierung können sich die Benutzer mit einem externen Identitätsanbieter wie etwa Okta oder Auth0 bei Kibana anmelden.

Falls Sie ein Authentifizierungssystem verwenden, das nicht mit den vorkonfigurierten Sicherheitsfunktionen des Elastic Stack unterstützt wird, können Sie einen benutzerdefinierten Realm für die Authentifizierung Ihrer Benutzer erstellen.

Es gibt gute Gründe, warum Unternehmen jeder Größe für Ihr Alerting auf den Elastic Stack setzen. Daten aus beliebigen Quellen und in beliebigen Formaten werden zuverlässig und sicher ingestiert, und Analysten können wichtige Daten in Echtzeit durchsuchen, analysieren und visualisieren, jeweils mit benutzerdefiniertem und zuverlässigem Alerting.

Wie möchten Sie benachrichtigt werden? Wählen Sie aus einer Vielzahl von Alerting-Optionen mit vorkonfigurierten Integrationen für E‑Mail, IBM Resilient, Jira, Microsoft Teams, PagerDuty, ServiceNow und Slack aus. Zudem besteht die Möglichkeit der Integration Ihrer bestehenden Monitoring-Infrastruktur oder eines beliebigen anderen Drittanbietersystems und eines leistungsstarken Webhook-Outputs.

Elasticsearch verwendet standardmäßige RESTful APIs und JSON. Außerdem entwickeln und pflegen wir Clients in vielen anderen Sprachen, wie Java, Python, .NET, SQL und PHP. Dazu ist unsere Community fleißig dabei, weitere Clients zu entwickeln. Sie sind benutzerfreundlich, intuitiv und setzen – ganz im Stil von Elasticsearch – Ihrem Ideenreichtum keine Grenzen.

Elasticsearch stellt eine komplette Abfrage-DSL (domain-specific language, domänenspezifische Sprache) auf JSON-Basis bereit, mit der Sie Abfragen definieren können. Die Abfrage-DSL stellt leistungsstarke Suchoptionen für die Volltextsuche bereit, inklusive Begriffs- und Satzabgleich, Fuzziness, Platzhalter, regulärer Ausdrücke, verschachtelter Abfragen, Geo-Abfragen und mehr.

GET /_search
{
  "query": {
    "match" : {
      "message" : {
        "query" : "this is a test",
        "operator" : "and"
      }
    }
  }
}

Elasticsearch SQL ist ein Feature, mit dem Sie SQL-ähnliche Abfragen in Echtzeit an Elasticsearch stellen können. Egal ob über die REST-Schnittstelle, in der Befehlszeile oder per JDBC, jeder Client kann SQL verwenden, um Daten nativ in Elasticsearch zu suchen und zu aggregieren.

EQL (Event Query Language) wurde speziell für die Abfrage spezifischer Ereignisabfolgen entwickelt und ist damit ideal für Security-Analytics-Anwendungsfälle geeignet.

Der Elasticsearch SQL JDBC ist ein leistungsstarker JDBC-Treiber für Elasticsearch mit vollem Funktionsumfang. Dieser Type-4-Treiber ist ein plattformunabhängiger, eigenständiger, reiner Java-Treiber, der sich direkt mit der Datenbank verbindet und JDBC-Aufrufe in Elasticsearch SQL konvertiert.

Der Elasticsearch SQL ODBC-Treiber ist ein 3.80 ODBC-Treiber für Elasticsearch mit vollem Funktionsumfang. Dieser Core-Treiber stellt alle Funktionen bereit, die in der Elasticsearch SQL ODBC API verfügbar sind, und wandelt ODBC-Aufrufe in Elasticsearch SQL um.

Der Tableau-Connector für Elasticsearch ermöglicht es Nutzern von Tableau Desktop und Tableau Server, einfach und schnell auf Daten in Elasticsearch zuzugreifen.

Elasticsearch stellt eine Vielzahl von Tools bereit, mit denen Sie in der Befehlszeile Sicherheitsfunktionen konfigurieren und andere Aufgaben ausführen können.

Mit den Dokument-APIs können Sie CRUD-Operationen (create, read, update, delete) für einzelne Dokumente oder über mehrere Dokumente hinweg ausführen.

Mit den Such-APIs von Elasticsearch können Sie mehr als nur eine Volltextsuche implementieren. Sie können auch Suggester (Begriff, Satz, Vervollständigung und mehr) implementieren, Rankings auswerten und sogar Feedback dazu hinterlassen, warum ein Dokument in der Suche zurückgegeben bzw. nicht zurückgegeben wurde.

Mit dem Aggregations-Framework können Sie aggregierte Daten auf Basis einer Suchabfrage bereitstellen. Dieses Framework verwendet einfache Bausteine, die sogenannten Aggregationen, mit denen Sie komplexe Zusammenfassungen der Daten erstellen können. Eine Aggregation ist eine Arbeitseinheit, die Analysedaten über eine Reihe von Dokumenten generiert.

Mit den Ingest-APIs können Sie CRUD-Operationen für Ihre Daten-Pipelines ausführen oder die Simulate-Pipeline-API verwenden, um eine bestimmte Pipeline für eine Gruppe von Dokumenten auszuführen.

Eine Vielzahl von Management-APIs ermöglicht das programmgesteuerte Verwalten von Elasticsearch-Clustern. Es gibt APIs für die Verwaltung von Indizes, Mappings, Clusters, Knoten, Lizenzierung, Sicherheit und vielem mehr. Und falls Sie Ihre Ausgaben in einem für Menschen lesbaren Format brauchen, können Sie die Cat-APIs verwenden.

Elasticsearch für Apache Hadoop (Elasticsearch-Hadoop oder ES-Hadoop) ist eine kostenlose und offene kleine Bibliothek, die eigenständig und autark ist und die Interaktion zwischen Hadoop-Aufträgen und Elasticsearch ermöglicht. Sie können sie nutzen, um mühelos eingebettete dynamische Suchanwendungen zu entwickeln, die Ihre Hadoop-Daten bereitstellen, oder um mithilfe von Volltextsuche, Geodatenabfragen und Aggregationen im Handumdrehen tiefgehende Analysen durchzuführen.

Elasticsearch für Apache Hadoop bietet eine einzigartige Unterstützung für Apache Hive, ein Data Warehouse-System für Hadoop mit Funktionen für eine mühelose Datenzusammenfassung, Ad-Hoc-Abfragen und die Analyse großer Datensätze in Hadoop-kompatiblen Dateisystemen.

Elasticsearch für Apache Hadoop bietet eine einzigartige Unterstützung für Apache Pig, eine Plattform zum Analysieren großer Datensätze, die aus einer High-Level-Sprache zur Entwicklung von Datenanalyseprogrammen und einer Infrastruktur zur Auswertung dieser Programme besteht.

Elasticsearch für Apache Hadoop bietet eine einzigartige Unterstützung für Apache Spark, ein schnelles und vielseitig einsetzbares Cluster-Berechnungssystem. Diese Lösung stellt High-Level-APIs in Java, Scala und Python sowie ein optimiertes Module für allgemeine Ausführungsgraphen bereit.

Elasticsearch für Apache Hadoop bietet eine einzigartige Unterstützung für Apache Storm, ein kostenloses verteiltes Open-Source-Echtzeitberechnungssystem. Mit Storm können Sie unbegrenzte Datenströme zuverlässig verarbeiten und erhalten Echtzeitfunktionen analog zu den von Hadoop bereitgestellten Batchverarbeitungsfunktionen.

Dank der JDBC- und ODBC-Schnittstellen können die Elasticsearch SQL-Funktionen von einer Vielzahl externer BI-Anwendungen verwendet werden.

Elasticsearch ist eine kostenlose und offene sprachagnostische Anwendung und kann daher problemlos mit Plugins und Integrationen erweitert werden. Plugins ermöglichen die individuelle Ergänzung der Kernfunktionen von Elasticsearch, während Integrationen externe Tools oder Module sind, die den Umgang mit Elasticsearch erleichtern.

Der Einstieg war noch nie so einfach. Sie können Elasticsearch und Kibana als Archiv oder mit einem Paket-Manager herunterladen und installieren. Fangen Sie im Handumdrehen damit an, Daten zu indexieren, zu analysieren und zu visualisieren. Mit der Standarddistribution können Sie außerdem „Platinum“-Funktionen wie Machine Learning, Sicherheit, Graph-Analytics und vieles mehr 30 Tage lang kostenlos ausprobieren.

Elastic Cloud ist unsere wachsende Familie von SaaS-Angeboten, mit denen Sie Elastic-Produkte und ‑Lösungen in der Cloud bereitstellen, verwalten und skalieren können. Ob benutzerfreundliche gehostete und verwaltete Elasticsearch-Benutzeroberfläche oder leistungsfähige Lösungen für die Suche – Elastic Cloud ist das Sprungbrett für die mühelose Nutzung der Vorteile von Elastic. Probieren Sie unsere Elastic Cloud-Produkte 14 Tage lang kostenlos aus – keine Kreditkarte erforderlich.

Mit Elastic Cloud Enterprise (ECE) können Sie Elasticsearch und Kibana in beliebiger Größe und auf jeder Infrastruktur bereitstellen und in einer einzigen Konsole verwalten. Sie können frei auswählen, wo Sie Elasticsearch und Kibana ausführen möchten: auf physischer Hardware, in einer virtuellen Umgebung, in einer privaten Cloud, in einem privaten Bereich innerhalb einer öffentlichen Cloud oder einfach nur in einer öffentlichen Cloud (zum Beispiel Google, Azure, AWS). Wir unterstützen alle Optionen.

Elastic Cloud auf Kubernetes basiert auf dem Kubernetes-Operator-Muster und erweitert die grundlegenden Orchestrierungsfunktionen von Kubernetes um die Einrichtung und die Verwaltung von Elasticsearch und Kibana auf Kubernetes zu unterstützen. Mit Elastic Cloud auf Kubernetes können Sie sämtliche Prozesse rund um die Bereitstellung, Aktualisierung, Snapshot-Erstellung, Skalierung, Hochverfügbarkeit, Sicherheit und mehr für die Ausführung von Elasticsearch in Kubernetes vereinfachen.

Mit den offiziellen Helm Charts für Elasticsearch und Kibana steht Ihr Deployment innerhalb weniger Minuten.

Mit den offiziellen Containern aus Docker Hub können Sie Elasticsearch und Kibana mühelos in Docker ausführen.