Elasticsearch-Vektordatenbank: In Minuten bereitstellen, kostengünstig auf Hunderte Milliarden skalieren

Try out vector search for yourself using this self-paced hands-on learning for Search AI. You can start a free cloud trial or try Elastic on your local machine now.

Elasticsearch ist eine der weltweit am weitesten verbreiteten Plattformen für Vektor-Workloads und unterstützt semantische Suche, Retrieval-Augmented Generation (RAG) sowie Empfehlungen für Unternehmen wie GitHub, Docusign, Seismic und viele andere. Heute kündigen wir die Elasticsearch-Vektordatenbank an – ein neues serverloses Angebot, das für vektorbasierte Anwendungen optimiert wurde. Sie bringen Ihre Dokumente und Ihre Abfragen mit, und wir kümmern uns um die Einbettungen, das Index-Tuning sowie die Infrastruktur. Und wir halten es kostengünstig und skalierbar. 

Für neue Nutzer ist dies der schnellste Weg, eine hochwertige Vektorsuche in Betrieb zu nehmen. Wenn Sie Elasticsearch bereits nutzen, bietet das neue Angebot eine Vektorsuche auf der Plattform, auf der Ihre Daten bereits gespeichert sind – ganz ohne die Einführung eines neuen Systems. Die Elasticsearch-Vektordatenbank unterstützt verschiedene Szenarien – vom Grounding eines großen Sprachmodells (LLM) über die Bereitstellung von Abruf- und Speicherfunktionen für KI-Agenten bis hin zur Bereitstellung von Hunderten Milliarden Vektoren. Starten Sie ein neues Projekt und legen Sie in wenigen Minuten los.

Eine Engine für alle Vektor-Anwendungsfälle

Die Elasticsearch-Vektordatenbank wurde für alle entwickelt, die Anwendungen mit Vektoren erstellen:

• RAG: Rufen Sie mit dem Abruf dichter und dünnbesetzter Vektoren den passenden Kontext für Ihr LLM ab oder entscheiden Sie sich für die Hybridsuche, die sowohl den Vektor- als auch den lexikalischen Abruf kombiniert. Die Qualität Ihrer Generierung verbessert sich mit der Qualität Ihres Abrufs.

• KI-Agenten: Geben Sie Agenten schnellen, gefilterten Zugriff auf Dokumente und Konversationsgedächtnis – mit den niedrigen Latenzen, die mehrstufige Agentenschleifen erfordern.

• Semantische Suche: Gleichen Sie nach Bedeutung statt nach Schlagwörtern ab – mit einem einzigen Feldtyp und ganz ohne Pipeline-Code.

• Empfehlungen und Ähnlichkeit: Finden Sie die nächsten Nachbarn über Produkte, Bilder oder beliebige andere Inhalte hinweg – und das in großem Maßstab.

Alles, was Ihre Vektor-Workloads benötigen – standardmäßig optimiert

Eine vektorbasierte Anwendung zu erstellen bedeutet, mehrere separate Komponenten miteinander zu verbinden: Einbettungsmodelle einzurichten und zu hosten, Ihre Dokumente damit zu indexieren, die Vektoren effizient zu speichern, das Einbettungsmodell auf jede Abfrage anzuwenden, mit dem Vektorspeicher abzugleichen und schließlich die Dokumente hinter den Treffern abzurufen. Die Elasticsearch-Vektordatenbank übernimmt all das für Sie – ohne zusätzliche Konfiguration oder Einrichtung.

Vektorindexierung mit vectordb_document-Indexmodus

Der vectordb_document-Indexmodus, eine neue Indexkonfiguration, die speziell für vektororientierte Workloads entwickelt wurde, ist standardmäßig aktiviert, sodass Sie die Einstellungen erhalten, die Experten wählen würden. Folgendes wird dadurch aktiviert:

• Standardmäßig bfloat16: Vektoren werden mit der halben Größe von float32 bei vernachlässigbaren Auswirkungen auf den Recall gespeichert, wodurch sich Ihr Festplattenbedarf um etwa die Hälfte reduziert, noch bevor Quantisierung überhaupt ins Spiel kommt.

• Quellvektoren sind ausgeschlossen: In Elasticsearch befinden sich Ihre Einbettungen bereits in den Indexstrukturen, die für die Suche verwendet werden; eine zweite Rohkopie in _source würde lediglich den Speicher aufblähen und das Abrufen von Ergebnissen verlangsamen. Wir schließen das Duplikat aus, damit Antworten schneller zurückgegeben werden und Sie weniger speichern müssen.

• Die richtigen Dateien werden vorab in den Cache geladen: Die Datenstrukturen, auf die Vektorabfragen zuerst zugreifen, werden vorab in den Arbeitsspeicher geladen, sodass Ihre erste (und auch noch Ihre tausendste) Abfrage blitzschnell ist.

• Parallele Zusammenführung: Durch die Zusammenführung werden Segmente zu besser organisierten Vektorstrukturen konsolidiert, was sowohl den Recall als auch die Latenz verbessert, und durch die Multithread-Ausführung dieser Zusammenführungen erreichen Sie Ihr Ziel schneller.

Vektorspeicherung, Komprimierung und Auto-Tuning

• Ihre Vektoren werden automatisch komprimiert. Better Binary Quantization (BBQ) reduziert den Vektorspeicherbedarf um das bis zu 32-Fache bei Beibehaltung der Trefferquote, und DiskBBQ verringert den Speicherbedarf für Workloads in großem Maßstab noch weiter. 

• Entscheiden Sie sich für die automatische Kalibrierung, die die Quantisierung jedes Segments auf Ihre Daten abstimmt und bei jeder Zusammenführung neu abstimmt, wenn sich die Daten verändern. Bei Tests mit 18 Datensätzen verbesserten sich die Abfragen pro Sekunde (QPS) durchschnittlich um 16,7 %, wobei sich der Recall bei den meisten von ihnen erhöhte.

Einbettungen mit vollständig verwalteter GPU-Inferenz

• Generieren Sie Einbettungen mit nativen Embedding- und Reranking-Modellen von Jina AI oder binden Sie Drittanbieter-Modelle ein – alles auf verwalteten GPUs über den Elastic Inference Service (EIS) und ganz ohne eigene Modellserver. Oder hosten Sie selbst, wenn Sie eine eigene Lösung bevorzugen.

• Der Feldtyp semantic_text verarbeitet Chunking und Einbettung sowie Abfragen automatisch – der einfachste Weg zur semantischen Suche auf dem Markt. 

Hybridsuche und gefilterte Vektorsuche

• Die Hybridsuche ist integriert und kombiniert Volltext- und Vektor-Retrieval in einer einzigen Abfrage. Kombinieren Sie die Ergebnisse mit Reciprocal Rank Fusion (RRF) oder einem beliebigen anderen Mischmechanismus nach Ihren Wünschen. Die Vektorsuche ist meist der Teil der Hybridsuche, der sich am schwersten optimal konfigurieren lässt. Mit der Elasticsearch-Vektordatenbank haben Sie alles im Griff und Ihr gesamter Hybrid-Stack wird besser. 

• Mit der gefilterten Vektorsuche wenden Sie Metadatenfilter als Teil des Vektorabrufs selbst an und nicht erst im Nachhinein, was den Recall beeinträchtigt.

Enterprise von Anfang an

Sie erhalten außerdem rollenbasierte Zugriffssteuerung (RBAC), Audit Logging und die Compliance-Zertifizierungen, die reinen Vektordatenbanken in der Regel fehlen.

Erschwinglich in großem Maßstab und vorhersehbar

Die Elasticsearch-Vektordatenbank ist so konzipiert, dass sie auch bei wachsendem Bedarf erschwinglich bleibt: Durch BBQ- und DiskBBQ-Komprimierung, die das Speicherwachstum linear und den Arbeitsspeicherbedarf gering hält, führt die Skalierung auf Hunderte von Milliarden Vektoren nicht zu explodierenden Kosten. Und was Sie tatsächlich bezahlen, basiert auf Zahlen, die Sie bereits kennen: der Zahl der von Ihnen gespeicherten Daten, der Zahl der indexierten Daten und der von Ihnen benötigten Suchkapazität. Schätzen Sie Ihre Dokumentenzahl und die Vektordimensionen sowie Ihre Abfragelast ab, und Sie können bereits vor der Erstellung des Projekts ermitteln, was Sie zahlen werden. Außerdem können Sie Ihre Rechnung am Monatsende Zeile für Zeile nachvollziehen. Es gibt keine undurchsichtigen Recheneinheiten und keine überraschenden Gebühren für Hintergrundoperationen.

Erste Schritte mit der Elasticsearch-Vektordatenbank

Ein Serverless-Vektordatenbank-Projekt erstellen

Erstellen Sie ein neues serverloses Vektordatenbank-Projekt in Elastic Cloud. Leiten Sie Ihre Daten an den Endpoint weiter, und schon können Sie mit dem Indexieren beginnen.

Einen Index mit semantic_text erstellen

Der Vektorindex-Modus übernimmt die Vektorkonfiguration. Die Verwendung von semantic_text bedeutet, dass die Einrichtung von Einbettungen und Chunking sowie die Indexeinrichtung bei verwalteter GPU-Inferenz für Sie verwaltet werden, ohne dass Sie eine Einbettungs-Pipeline erstellen müssen.

PUT my-vectors
{
"mappings": {
"properties": {
"description": { "type": "semantic_text" }
    }
  }
}

Dokumente ingestieren

Indexieren Sie Text, und die Einbettungen werden für Sie generiert.

POST /my-vectors/_doc
{
  "id": "park_rocky-mountain",
  "title": "Rocky Mountain",
  "description": "Bisected north to south by the Continental Divide, this portion of the Rockies has ecosystems varying from over 150 riparian lakes to montane and subalpine forests to treeless alpine tundra."
}

Eine semantische Suchabfrage ausführen

Fragen Sie dasselbe semantische Feld ab, das Sie gerade erstellt haben:

GET /my-vectors/_search
{
  "query": {
    "semantic": {
      "field": "description",
      "query": "a mountain range in the middle of north america"
    }
  }
}

Und Sie erhalten Ergebnisse zurück:

{
  "took": 80,
  "hits": {
    "max_score": 0.7792325,
    "hits": [
      {
        "_index": "my-vectors",
        "_score": 0.7792325,
        "_source": {
          "id": "park_rocky-mountain",
          "title": "Rocky Mountain",
          "description": "Bisected north to south by the Continental Divide, ..."
        }
      }
    ]
  }
}

Die semantische Suche ist erst der Anfang. Führen Sie rein textbasierte Abfragen aus oder kombinieren Sie beides zu hybriden Abfragen. Sie können für die volle Kontrolle sogar Ihre eigenen Vektorabfragen erstellen. Folgen Sie dem Schnellstart für die semantische Suche in der Dokumentation zur vollständigen Anleitung.

Was kommt als Nächstes für die Vektorsuche in Elasticsearch?

Wir arbeiten bereits an den nächsten Verbesserungen:

• Bessere Multi-Mandanten-Verwaltung: Wenn Ihre Daten pro Mandant getrennt bleiben müssen, bieten wir Ihnen eine Möglichkeit, dies schneller und mit weniger Code umzusetzen.

• Automatische Indexoptimierung: Vom „brandneuen Index“ bis zu „vollständig optimiert“, mit möglichst wenig Feinabstimmung.

• Kontinuierliche Infrastrukturverbesserungen: Eine laufende Optimierung der Einstellungen und Infrastruktur der Vektordatenbank, damit Sie stets den besten Durchsatz und die schnellsten Reaktionen erhalten.

Testen Sie die Elasticsearch-Vektordatenbank auf Elastic Cloud Serverless

Gelangen Sie in wenigen Minuten von einem leeren Projekt zu einer hybriden, gefilterten Vektorabfrage – mit produktionsreifen Standardeinstellungen, die das Tuning für Sie übernehmen. Erstellen Sie schnelle, skalierbare KI-Apps, keine Infrastruktur.

Starten Sie auf Elastic Cloud Serverless oder tauchen Sie ein in die vollständige Dokumentation und die API-Referenz.