Vereinfachen Sie Ihre Elasticsearch-Operationen durch die Erkennung von Problemen in Echtzeit und durch umsetzbare Empfehlungen, um die Leistung zu optimieren und Kosten zu senken. AutoOps ist für Cloud- und selbstverwaltete Deployments verfügbar. Erfahren Sie mehr über AutoOps.
Wir stellen AutoOps für selbstverwaltete Elasticsearch-Umgebungen (On-Premise- oder privat gehostete Umgebungen) vor, wodurch die Verwaltung von Elasticsearch vereinfacht wird. Anstelle einer herkömmlichen technischen Funktionsbeschreibungzeigt dieser Blog seinen Nutzen, wie man es einrichtet und welche Art von Erkenntnissen es liefert – aus der Perspektive eines DevOps-Ingenieurs –, denn der wahre Wert von AutoOps zeigt sich am besten in der täglichen Arbeit der Verwaltung von Elasticsearch in großem Umfang.
Kapitel 1: Hintergrund – Die Komplexität der Selbstverwaltung im großen Maßstab
Der Betrieb einer groß angelegten, selbstverwalteten Datenplattform kann komplex sein.
Einen Moment lang werden die Anfragen blitzschnell beantwortet. Im nächsten Schritt kommt es zu Verzögerungen bei der Datenaufnahme und zu einem sprunghaften Anstieg der Lagerkosten. Es ist im Grunde wie die Leitung eines Zoos, nur dass die Tiere dich um 3 Uhr morgens anrufen können.
Meine Umgebung ist nicht anders: mehrere Cluster, intensive clusterübergreifende Suche (CCS) und Hunderte von Benutzern aus verschiedenen Abteilungen.
Wir nutzen Stack Monitoring für den täglichen Betrieb. Es liefert zwar Grafiken und Kennzahlen, aber es bedarf immer noch viel Fachwissen und Zeit, um die Zusammenhänge herzustellen. Die Diagnose von Engpässen oder die Entscheidung, wann Shard-Strategien angepasst werden müssen, ist nach wie vor ein manueller und fehleranfälliger Prozess. In vielen Fällen bleiben Probleme unbemerkt, bis sie zu einem Ausfall, einem Leistungsabfall oder einem unerwarteten Anstieg des Speicherbedarfs führen.
Kapitel 2: AutoOps entdecken
Dann kam die Ankündigung: AutoOps ist jetzt auch für selbstverwaltete Cluster verfügbar – sowohl für On-Premise- als auch für privat gehostete Umgebungen.
AutoOps unterstützt Elastic Cloud-Nutzer schon seit langem dabei, Deployments effizienter zu verwalten. Diese Vorteile stehen nun auch selbstverwalteten Clustern (ECK, ECE oder Standalone) zur Verfügung, die lokal oder in privaten Cloud-Umgebungen betrieben werden.
Das Angebot von AutoOps ist verlockend:
- Echtzeit-Problemerkennung für Engpässe bei der Datenerfassung, unausgeglichene Shards, langsame Abfragen und mehr
- Konkrete Handlungsempfehlungen, die auf die Konfiguration Ihres Clusters zugeschnitten sind
- Erkenntnisse zur Ressourcenoptimierung zur Steigerung der Effizienz und Reduzierung von Verschwendung
- Einfache Einrichtung durch Installation eines schlanken Agenten – keine zusätzliche Infrastruktur erforderlich
Ehrlich gesagt, alles, was „keine zusätzliche Infrastruktur“ versprach, hatte meine volle Aufmerksamkeit.
Kapitel 3: Einrichtung in 5 Minuten (ja, wirklich)
Ich habe mir den Nachmittag freigehalten, mich mit Kaffee eingedeckt und mich auf einen langen Aufbau eingestellt. Zu meiner Überraschung dauerte es nur fünf Minuten:
- Ich habe mich in mein Elastic Cloud-Kontoeingeloggt.
- Entscheidung darüber, wo die Agenten ausgeführt werden sollen (Docker, Linux oder Kubernetes).
- Die Cluster-URL wurde eingegeben.
- Es musste nur ein einziger Befehl ausgeführt werden, der einen schlanken Metricbeat-Agenten installierte.
Das war’s. Mein Cluster war verbunden.
Es müssen keine dedizierten Überwachungscluster bereitgestellt werden. Und vor allem sendet AutoOps nur Metriken, was bedeutet, dass die Daten meines Unternehmens in meiner selbstverwalteten Umgebung verbleiben.
Schritt 1: Registrieren Sie sich bei Elastic Cloud
Schritt 2: Wählen Sie aus, wo der Agent ausgeführt werden soll.
Schritt 3: Geben Sie Ihren Elasticsearch-Endpunkt und die Authentifizierungsmethode ein.
Schritt 4: Einfacher Befehl zur Installation des Agenten
Das war's: Nach wenigen Minuten zeigt AutoOps erste Erkenntnisse an.
Weitere Einzelheiten finden Sie in der AutoOps-Onboarding-Dokumentation und in den FAQ.
Kapitel 4: Erste Erkenntnisse, erste Erfolge
Innerhalb weniger Minuten lieferte AutoOps erste Erkenntnisse, analysierte die Ursachen und gab klare Anweisungen zur Behebung der Probleme.
Zu den Höhepunkten der ersten Woche gehörten:
- Gekennzeichnete Indizes, die keiner ILM-Richtlinie zugeordnet sind und zu groß geworden sind
- Ein Cluster wies drei leere Knoten auf, die von einem früheren Wartungsauftrag übrig geblieben waren.
- Einige Knoten überschritten Wasserzeichen, und bei einigen Indizes fehlten Replikate.
- Ich habe eine fehlerhaft konfigurierte Vorlage erwischt.
- Eine langwierige Suche wurde lokalisiert und der genaue Abbruchbefehl vorgeschlagen.
AutoOps hat festgestellt, dass der Cluster die Indizierung ablehnt.
AutoOps hat festgestellt, dass einige Indizes ohne Replik konfiguriert sind.
Vor AutoOps hätten wir diese Probleme mit noch mehr Hardware gelöst. Stattdessen wies AutoOps direkt auf die Ursache hin, und die Behebung dauerte nur wenige Minuten.
Ausnahmsweise zeigte mir ein Überwachungssystem nicht nur Diagramme an, sondern erklärte mir auch, wie ich das Problem lösen konnte. Ich fragte mich, ob AutoOps auch mein Heim-WLAN diagnostizieren und mich endlich von der Rolle der IT-Abteilung für meine Familie befreien könnte…
AutoOps überwachte die Shard-Größen und gab eine Warnung aus, wenn viele Shards leer waren.
Kapitel 5: Unterstützung, die sieht, was ich sehe
Als ich zum ersten Mal einen Supportfall eröffnete, erkannte ich einen weiteren Vorteil: Die Support-Ingenieure von Elastic konnten genau dieselben Daten und Empfehlungen sehen, die ich mir ansah.
Es wandelte die Unterstützung in eine Zusammenarbeit. Statt eines ständigen Hin und Her mit Support-Tickets fühlte es sich an, als würde man mit einem Teamkollegen zusammenarbeiten, der Elasticsearch in- und auswendig kennt.
Kapitel 6: Betrieb im großen Maßstab
Vor AutoOps fühlte sich die Skalierung von Elasticsearch wie eine Mischung aus Wissenschaft, Instinkt und Erfahrungswissen an.
Jetzt ist es datengesteuert, mit klarer Transparenz und Handlungsempfehlungen:
- Transparenz der Ressourcennutzung zur Vermeidung von Überdimensionierung
- Intelligentere Shard-Zuweisung und Tiering-Empfehlungen für eine ausgewogene Leistung
- Erkenntnisse zur Indexgrößenbestimmung, die unnötigen Speicherplatz und Hardwarekosten reduzieren
- Schnellere Ursachenanalyse über mehrere Cluster hinweg
Kapitel 7: Der erste von vielen Cloud-verbundenen Diensten
AutoOps ist mehr als ein eigenständiges Tool. Es handelt sich um den ersten Dienst einer neuen Reihe von Cloud Connected Services für selbstverwaltete Kunden. Cloud Connect ermöglicht es selbstverwalteten Clustern, Elastic Cloud-Dienste zu nutzen, ohne den operativen Aufwand für die Installation und Verwaltung dieser Dienste in ihrer eigenen Umgebung tragen zu müssen. Die Funktionen werden automatisch ausgerollt, sodass Teams schneller von Verbesserungen profitieren und die Infrastruktur weniger komplex ist.
Als Nächstes: Elastic Inference Service (EIS).
Abschließende Gedanken
Die Verwaltung groß angelegter, selbstverwalteter Implementierungen muss nicht überfordernd sein.
Und wenn Sie die Abläufe noch einfacher gestalten möchten, können Sie jederzeit einige Workloads in die Elastic Cloud verlagern, egal ob Hosted oder Serverless, um Elasticsearch auf einfachste Weise auszuführen.
Wenn Sie weiterhin selbstverwaltet arbeiten möchten, verbinden Sie einen beliebigen Cluster mit einer selbstverwalteten Enterprise-Lizenz mit AutoOps in Elastic Cloud.
TLDR
Der Betrieb großer, selbstverwalteter Elasticsearch-Cluster ist komplex und zeitaufwändig. AutoOps bietet Echtzeit-Problemerkennung, umsetzbare Handlungsempfehlungen und gemeinsame Transparenz mit Elastic Support – ohne dass zusätzliche Infrastruktur verwaltet werden muss. Die Einrichtung dauert nur wenige Minuten, und die Erkenntnisse werden sofort angezeigt.