Elasticsearch 9.0 & 8.18: Speziell für Entwickler entwickelt, mit einer Extraportion rasanter Performance – 5x schneller als OpenSearch

BBQ (Better Binary Quantization), erstmals in 8.16 als technische Vorschau eingeführt, ist nun allgemein verfügbar und bietet eine leistungsstarke Alternative zu traditionellen Quantisierungstechniken wie der Produktquantisierung (PQ). 

Unsere Kunden wie Roboflow speichern und aktualisieren immer größere Mengen (also Milliarden) an Vektordaten und hätten früher etwas wie PQ in Betracht ziehen müssen, um deren Relevanz und Leistung zu pflegen, aber ihre bestehende Hardware effektiver zu nutzen. Jetzt haben sie Zugang zum BBQ. 

BBQ verfügt nun über einen aktualisierten Algorithmus, der dank SIMD eine bis zu 20 % höhere Trefferquote und einen 8–30-fach höheren Durchsatz für eine effiziente und präzise Suche ermöglicht. Elastic ist der erste Anbieter von Vektordatenbanken, der diesen Ansatz implementiert hat und so schnellere Ergebnisse bei realen Suchvorgängen bei gleichzeitig reduziertem Rechenaufwand ermöglicht. 

Im Rahmen unserer Mission, Apache Lucene zur besten Vektordatenbank zu machen, und als Verfechter der Verbreitung dieser Innovationen in der Community, haben wir diese Funktionen kürzlich in Lucene integriert. 

Im Vergleich zu OpenSearch FAISS bietet Elasticsearch BBQ bis zu 5-mal schnellere Abfragen und einen 3,9-mal höheren Durchsatz über alle Recall-Level hinweg – und das bei gleichbleibender Genauigkeit. BBQ wurde für Geschwindigkeit und Effizienz entwickelt und reduziert die Latenz deutlich, wodurch es sich ideal für große Produktionsumgebungen eignet.

Das quantisierte Vektor-Rescoring verfügt nun über eine vereinfachte API, die das Entwicklererlebnis weiter verbessert. BBQ führt einen Vollindex-Scan mit einem kleinen Prädiktorvektor durch, übersampelt die Ergebnisse und ordnet sie dann mit dem größeren Vektor neu. Mit der neuen API einfach die Oversampling-Rate definieren und Elasticsearch das Reranking nahtlos abwickeln lassen.

Mit dieser Version werden nun auch mehrstufige Interaktionsmodelle wie ColPali und ColBERT mit MaxSim! unterstützt.

Mit dieser Version haben Entwickler sofortigen Zugriff auf ELSER, unser Sparse-Vektor-Modell, und e5, als optimiertes mehrsprachiges dichtes Vektormodell für die semantische Suche. Semantisches Reranking ist auch mit unserem Elastic Rerank -Modell möglich, was für diejenigen, die ihre Relevanz erhöhen möchten, ohne die Form ihrer gespeicherten Daten zu verändern, von besonderem Vorteil sein kann. 

Das Hinzufügen eigener Modelle zu Ihren bestehenden Elastic-Modellen sollte kein Problem darstellen. Dank unserer offenen Inferenz-API können Sie die neu hinzugefügte Integration einfach nutzen, um die kürzlich beigesteuerten JinaAI-Einbettungen und Reranking-Funktionen oder das Reranking von Watsonx.ai für semantisches Reranking zu verwenden. 

Als Beispiel beginnt die semantische Suche mit einem einzigen Mapping semantic_text:

In dieser Version werden sich Fans der hybriden Suche freuen zu hören, dass Retriever – die Entwicklerabstraktion, die wir in früheren Versionen der Abfragesprache (DSL) für bessere Kompatibilität und Benutzerfreundlichkeit hinzugefügt haben – nun die Möglichkeit bieten, lineares und generisches Rescoring sowie Reciprocal Rank Fusion (RRF) – eine hervorragende Standardtechnik zur Normalisierung von Ergebnissen über verschiedene Suchtypen hinweg – einfach in Retriever zu integrieren.

Wir fügen der Elasticsearch Query Language (ES|QL) weiterhin spannende neue Befehle hinzu, aber es gibt einen neuen Befehl, der in der Abfragesprache (DSL) bisher nicht verfügbar war. Lassen Sie uns gemeinsam eine neue Möglichkeit zur Datenabfrage mit der Leistungsfähigkeit von Elasticsearch kennenlernen:

Mehr über diese und andere Funktionen erfahren Sie in den Versionshinweisen.

Bestehende Elastic Cloud-Kunden können viele dieser Funktionen direkt über die Elastic Cloud-Konsole nutzen. Nutzen Sie Elastic in der Cloud noch nicht? Starten Sie eine kostenlose Testphase.

Sie möchten schnell auf Ihrem Laptop loslegen? Führen Sie curl -fsSL https://elastic.co/start-local | sh aus und starten Sie in wenigen Minuten. 

Sie können auch den Elastic Stack und unsere Produkte für die Cloud-Orchestrierung, Elastic Cloud Enterprise und Elastic Cloud auf Kubernetes, herunterladen, um eine selbstverwaltete Lösung zu erhalten.

Die Entscheidung über die Veröffentlichung der in diesem Blogeintrag beschriebenen Leistungsmerkmale und Features sowie deren Zeitpunkt liegt allein bei Elastic. Es ist möglich, dass noch nicht verfügbare Leistungsmerkmale oder Features nicht rechtzeitig oder überhaupt nicht veröffentlicht werden.

In diesem Blogpost haben wir möglicherweise generative KI-Tools von Drittanbietern verwendet oder darauf Bezug genommen, die von ihren jeweiligen Eigentümern betrieben werden. Elastic hat keine Kontrolle über die Drittanbieter-Tools und übernimmt keine Verantwortung oder Haftung für ihre Inhalte, ihren Betrieb oder ihre Anwendung sowie für etwaige Verluste oder Schäden, die sich aus Ihrer Anwendung solcher Tools ergeben. Gehen Sie vorsichtig vor, wenn Sie KI-Tools mit personenbezogenen, sensiblen oder vertraulichen Daten verwenden. Alle von Ihnen eingegebenen Daten können für das Training von KI oder andere Zwecke verwendet werden. Es gibt keine Garantie dafür, dass von Ihnen bereitgestellte Informationen sicher oder vertraulich behandelt werden. Setzen Sie sich vor Gebrauch mit den Datenschutzpraktiken und den Nutzungsbedingungen generativer KI-Tools auseinander. 

Elastic, Elasticsearch, ESRE, Elasticsearch Relevance Engine und zugehörige Marken, Waren- und Dienstleistungszeichen sind Marken oder eingetragene Marken von Elastic N.V. in den USA und anderen Ländern. Alle anderen Unternehmens- und Produktnamen sind Marken, Logos oder eingetragene Marken ihrer jeweiligen Eigentümer.