Elasticsearch searchable snapshots
Durchsuchbare Snapshots bringen eine ganz neue Dynamik in die Abwägung von Speicherkosten und Suchperformance: Dank der Durchsuchbarkeit von Daten in Snapshots auf AWS S3, Microsoft Azure Storage und Google Cloud Storage können Sie Ihre Speicherkosten um die Hälfte reduzieren.
Richten Sie den Elasticsearch Service in der Elastic Cloud ein – ein paar Klicks genügen.
Kostenlos ausprobierenErkunden Sie die Dokumentation zu durchsuchbaren Snapshots.
Dokumentation lesenLesen Sie unseren Blogpost zur Vorstellung der durchsuchbaren Snapshots.
Blogpost lesenDie Menge an Zeitreihendaten steigt in rasantem Tempo. Und je stärker die Bedeutung von Daten für die Führung und den Erfolg von Unternehmen zunimmt, desto kostspieliger kann es werden, all diese Datenmengen zu speichern und zu durchsuchen. Daten-Tiers – eine integrierte und automatisierte Form des Daten-Lifecycle-Managements – können dabei helfen, diese Speicherkosten im Griff zu halten.
Wertvolle Daten, die für schnelle Abfragen zur Verfügung stehen müssen, werden in Elasticsearch in der Tier für „heiße“ Daten gespeichert. Je älter Daten werden, desto unwichtiger werden sie und desto seltener wird nach ihnen gesucht. Diese Daten können in die Tier für „warme“ Daten verschoben werden, die aus preiswerteren, weniger performanten Rechen- und Speicherknoten besteht. Noch ältere Daten, die nur noch zu Archivierungszwecken benötigt werden, können anschließend in Snapshots in Objektspeichern wie S3 gespeichert werden. Für den Zugriff auf diese Daten ist allerdings eine Wiederherstellung erforderlich – diese Daten stehen nicht sofort für die Suche zur Verfügung.
Mit der Einführung durchsuchbarer Snapshots werden S3 und andere Objektspeicher zum Leben erweckt: Sie können jetzt die im Snapshot gespeicherten Daten direkt durchsuchen. Durch die Verwendung von durchsuchbaren Snapshots in der Tier für „kalte“ Daten lassen sich die Speicherkosten zum Preis einer geringeren Suchperformance auf die Hälfte drücken. Dazu werden die für die Resilienz benötigten Daten von den durchsuchbaren Daten getrennt, sodass Sie ein auf Ihre Bedürfnisse abgestimmtes ausgewogenes Verhältnis von Speicherkosten und Performance finden können.
Wenn Sie Elastic Cloud nutzen, können Sie dank durchsuchbarer Snapshots mit dem gleichen monatlichen Speicherplatzbudget mehr Daten speichern. Mit Vorlagen und Schiebereglern lassen sich die Speicherkapazitäten der einzelnen Daten-Tiers einfach und schnell anpassen.
Diese Tier ist der Einstiegspunkt für Zeitreihendaten. Hier werden Ihre neuesten Daten gespeichert, nach denen am häufigsten gesucht wird. Die typische Aufbewahrungszeit beträgt einen Tag. Die Knoten in dieser Tier müssen sowohl schnelles Lesen als auch schnelles Schreiben ermöglichen, wofür schnellere Hardware, z. B. SSDs, benötigt wird.
Je älter Zeitreihendaten werden, desto weniger sind sie „gefragt“ und desto geringer sind die Anforderungen an die Geschwindigkeit der Hardware. In der kostengünstigeren Tier für „warme“ Daten werden typischerweise Daten aus den letzten paar Wochen gespeichert.
Daten, die nicht mehr geändert werden, können aus den Tiers für „heiße“ oder „warme“ Daten in die Tier für „kalte“ Daten verschoben werden. Diese Tier nutzt durchsuchbare Snapshots, was die Speicherkosten deutlich senkt. Die Suchperformance ist in dieser Tier allerdings nicht so hoch wie in den anderen Tiers. Die Daten werden in zwei Schichten gespeichert: Noch durchsuchbare Daten verbleiben lokal auf dem Knoten, während die für die Resilienz erforderlichen Daten im Objektspeicher abgelegt werden.
Falls Daten einmal nicht mehr für die Suche verfügbar sind, werden sie aus dem Objektspeicher kopiert und automatisch wiederhergestellt, damit sie ohne Unterbrechung durchsucht werden können
Ich bin von den neuen Funktionen in Elasticsearch absolut begeistert – vor allem von den durchsuchbaren Snapshots. Das Speichern von Snapshots auf S3 zur günstigen Sicherung von Daten ist zwar ein übliches Architekturdesign, aber dass diese Daten nun durchsuchbar sind, erweitert unsere Möglichkeiten enorm und hat dazu geführt, dass wir unsere Total Cost of Service senken konnten.
„Kalte“ Daten mit S3-Replikaten haben sowohl aus Preis- als auch aus Performance-Sicht Vorteile. Ich bin schon gespannt, wie sich die Tier mit „eingefrorenen“ Daten hinsichtlich Brauchbarkeit und Performance schlägt.
Auf „heiß“, „warm“ und „kalt“ folgt – „eingefroren“. In der Tier für „eingefrorene“ Daten, an der wir gerade mit ganzer Kraft arbeiten, können Sie nach Daten in Snapshots suchen, die ausschließlich in S3 oder einem Objektspeicher Ihrer Wahl gespeichert sind. Stellen Sie sich vor, wie es wäre, wenn Sie bei Bedarf eine unbegrenzte Menge von Daten direkt durchsuchen könnten, ohne dabei Abstriche bei Zugriff und Suchperformance machen zu müssen – und das alles zu niedrigstmöglichen Speicherkosten. Zusammen mit Features wie der asynchronen Suche und der Hintergrundsuche wird die Tier für „eingefrorene“ Daten ein Sucherlebnis bieten, das in dieser Speicherklasse seinesgleichen sucht.