Wir präsentieren die Elasticsearch Relevance Engine™ – eine moderne Suche für die KI-Revolution

blog-720x420_(1).png

Heute präsentieren wir die Elasticsearch Relevance Engine (ESRE) mit neuen Funktionen für die Erstellung extrem relevanter KI-Suchanwendungen. ESRE basiert auf dem technologischen Vorsprung von Elastic im Suchbereich und auf mehr als zwei Jahren Forschung und Entwicklung im Bereich Machine Learning. Die Elasticsearch Relevance Engine kombiniert die Stärken von KI mit der textbasierten Suche von Elastic. Mit ESRE erhalten Entwickler eine vollständige Suite aus komplexen Abrufalgorithmen und Integrationsmöglichkeiten mit umfangreichen Sprachmodellen (Large Language Model, LLM). Außerdem ist die Lösung über eine einfache und einheitliche API verfügbar, der die Elastic-Community bereits vertraut, und Entwickler in aller Welt können sofort damit anfangen, ihre Suchrelevanz zu verbessern.

Video thumbnail

Mit den konfigurierbaren Funktionen der Elasticsearch Relevance Engine können Sie die Relevanz Ihrer Suchfunktionen auf die folgenden Arten verbessern:

  • Erweiterte Relevanzrangfolgenfunktionen anwenden, wie etwa BM25f, eine wichtige Komponente der Hybridsuche
  • Dichteeinbettungen mit der Elastic-Vektordatenbank erstellen, speichern und durchsuchen
  • Text mit einer Vielzahl von Aufgaben und Modellen für natürliche Sprache verarbeiten
  • Entwicklern die Möglichkeit bieten, in Elastic eigene Transformationsmodelle für geschäftsspezifische Anwendungsbereiche zu nutzen und zu verwalten
  • Integrationen mit externen Transformationsmodellen wie etwa GPT-3 und 4 von OpenAI per API erstellen, um intuitive Zusammenfassungen von Inhalten auf Basis der in Elasticsearch-Deployments konsolidierten Kundendatenspeichern abzurufen
  • ML-gestützte Suchfunktionen ohne Modelltraining und -Pflege mit dem vorkonfigurierten Learned Sparse Encoder Model von Elastic für extrem relevante, semantische Suchfunktionen über eine Vielzahl von Fachgebieten hinweg anbieten
  • Müheloses Kombinieren dichter und weniger dichter Abrufmethoden mit Reciprocal Rank Fusion (RRF), einer Hybrid-Bewertungsmethode, mit der Entwickler ihre KI-Suchmaschine für ihre einzigartige Mischung aus natürlicher Sprache und Schlüsselwortabfragen optimieren können
  • Integrieren externer Tools wie etwa LangChain, um komplexe Datenpipelines und generative KI-Anwendungen zu erstellen

Die Weiterentwicklung von Suchmodellen wird durch einen ständigen Bedarf nach der Verbesserung von Relevanz und unseren Interaktionen mit Suchanwendungen vorangetrieben. Extrem relevante Suchergebnisse verbessern die Kundenbindung in Such-Apps mit signifikanten Downstream-Auswirkungen auf Erträge und Produktivität. LLMs und generative KI bieten heutzutage noch umfangreichere Suchfunktionen: Diese Modelle verstehen Nutzerabsichten und antworten mit beispielloser Genauigkeit.

Jeder Fortschritt in diesem Bereich liefert mehr Relevanz und löst neue Herausforderungen, die durch aufkommende Technologien und dynamisches Nutzerverhalten entstehen. Egal, ob wir die Schlüsselwortsuche erweitern, um semantische Sucherlebnisse bereitzustellen, oder ob wir neue Suchformen für Bilder und Videos entwickeln, neue Technologien erfordern einzigartige Tools, um den Nutzern ein besseres Erlebnis zu bieten. Analog dazu verlangt die heutige, von KI geprägte Welt nach einem neuen und extrem skalierbaren Entwickler-Toolkit, das auf einem Tech-Stack mit erprobten und von Kunden getesteten Funktionen basiert.

Angesichts der Präsenz von KI, der immer stärkeren Nutzung von Technologien wie ChatGPT und zunehmender Ausprägung von LLM-Funktionen brennen viele Entwickler darauf, diese neuen Technologien zur Verbesserung ihrer Anwendungen einzusetzen. Die Elasticsearch Relevance Engine eröffnet eine neue Generation an Möglichkeiten in der Welt der generativen KI und bietet leistungsstarke Tools, die allen Entwicklern sofort zur Verfügung stehen.

Die Elasticsearch Relevance Engine ist ab sofort auf Elastic Cloud verfügbar, dem einzigen gehosteten Elasticsearch-Angebot, das alle Funktionen und Merkmale der neuen Version enthält. Wenn Sie Ihre Lösungen lieber selbst verwalten möchten, können Sie auch den Elastic Stack und unsere Produkte für die Cloud-Orchestrierung (Elastic Cloud Enterprise und Elastic Cloud auf Kubernetes) herunterladen.

Möchten Sie mehr über die Elasticsearch Relevance Engine™ erfahren? Lesen Sie diese technischen Blogeinträge:

Überwinden der Einschränkungen generativer KI-Modelle

Mit der Elasticsearch Relevance Engine™ können sich Entwickler schnell weiterentwickeln und den Herausforderungen in den Bereichen natürliche Sprachverarbeitung begegnen, inklusive generativer KI.

  1. Unternehmensdaten/Kontext: Das Modell hat möglicherweise nicht die erforderlichen internen Kenntnisse in einem bestimmten Fachbereich. Dieses Problem hängt mit dem Datensatz zusammen, mit dem das Modell trainiert wurde. Um die von LLMs generierten Daten und Inhalte anzupassen, müssen Unternehmen einen Weg finden, die Modelle mit proprietären Daten zu füttern, damit sie relevante und geschäftsspezifische Informationen liefern können.
  2. Überragende Relevanz: Die Elasticsearch Relevance Engine erleichtert die Integration von Daten aus privaten Quellen: Sie müssen lediglich Vektoreinbettungen generieren und speichern, um Kontext mit der semantischen Suche abrufen zu können. Vektoreinbettungen sind numerische Darstellungen von Wörtern, Phrasen oder Dokumenten, mit denen LLMs die Bedeutung von Wörtern und deren Beziehungen zueinander verstehen. Diese Einbettungen verbessern die Ausgaben von Transformationsmodellen im Hinblick auf Geschwindigkeit und Skalierbarkeit. Mit ESRE können Entwickler außerdem ihre eigenen Transformationsmodelle in Elastic verwenden oder Modelle von Drittanbietern integrieren.

    Durch die zunehmende Nutzung von Late-Interaction-Modellen können wir diese Funktionen außerdem vorkonfiguriert und ohne umfangreiches Training oder Tuning mit Datensätzen von Drittanbietern bereitstellen. Nicht jedes Entwicklungsteam verfügt über die Ressourcen und Kenntnisse, um Machine-Learning-Modelle zu trainieren und zu warten oder um die Kompromisse im Hinblick auf Skalierbarkeit, Performance und Geschwindigkeit abschätzen zu können. Daher umfasst die Elasticsearch Relevance Engine auch den Elastic Learned Sparse Encoder, ein speziell für die semantische Suche in vielfältigen Domänen entwickeltes Abrufmodell. Dieses Modell kombiniert spärliche Einbettungen mit einer herkömmlichen, schlüsselwortbasierten BM25-Suche zu einem benutzerfreundlichen RRF-Bewertungsmodell (Reciprocal Rank Fusion) für die Hybrid-Suche. ESRE bietet Entwicklern vom ersten Tag an Relevanz und Hybrid-Suchtechniken mit Machine-Learning-Unterstützung.
  3. Datenschutz und Sicherheit: Datenschutz ist ein entscheidendes Kriterium dafür, wie Unternehmen proprietäre Daten im Netzwerk und zwischen Komponenten nutzen und sicher übertragen. Dies gilt auch im Hinblick auf innovative Sucherlebnisse.

    Mit der nativen Unterstützung für rollen- und attributbasierte Zugriffssteuerung von Elastic können Sie sicherstellen, dass Ihre Daten nur für die passenden Rollen sichtbar sind, sogar in Chats und Anwendungen, in denen die Nutzer Fragen stellen können. Mit Elasticsearch können Sie dafür sorgen, dass bestimmte Dokumente für privilegierte Personen immer verfügbar sind. Auf diese Weise kann Ihr Unternehmen sämtliche Anforderungen in Bezug auf Datenschutz und Zugriffssteuerung über alle Suchanwendungen hinweg erfüllen.

    Bei besonders strengen Datenschutzanforderungen sind Unternehmen oft verpflichtet, dafür zu sorgen, dass die Daten das Unternehmensnetzwerk nicht verlassen. ESRE liefert die passenden Tools für den Schutz Ihrer Unternehmensdaten, egal ob Sie Deployments in physisch vom Netz getrennten Umgebungen implementieren oder den Zugriff auf sichere Netzwerke schützen müssen.
  4. Größe und Kosten: Umfangreiche Sprachmodelle sind aufgrund der Anforderungen im Hinblick auf Datenvolumen, Rechenleistung und Arbeitsspeicher für viele Unternehmen unerschwinglich. Trotzdem müssen Unternehmen, die eigene generative KI-Anwendungen wie Chatbots erstellen möchten, LLMs mit ihren internen Daten kombinieren.

    Mit der Elasticsearch Relevance Engine können Unternehmen mühelos relevante Ergebnisse mit präzisen Kontextanforderungen liefern, um ihr Datenvolumen ohne großen Arbeits- und Kostenaufwand zu reduzieren.
  5. Veraltet: Das Modell entwickelt sich nie über den Zeitpunkt hinaus, an dem die Trainingsdaten erfasst wurden. Darum sind die von generativen KI-Modellen erstellten Inhalte und Daten immer nur so aktuell wie die Daten, mit denen die Modelle trainiert wurden. Die Integration von Unternehmensdaten ist entscheidend, um zeitnahe Ergebnisse von LLMs zu erhalten.
  6. Halluzinationen: Beim Beantworten von Fragen oder in Unterhaltungen kann es vorkommen, dass Modelle Informationen erfinden, die zwar vertrauenswürdig klingen, aber in Wirklichkeit nicht auf Fakten basieren. Dies ist ein weiterer Grund dafür, dass es für den Erfolg in einem geschäftlichen Kontext so wichtig ist, diese Modelle mit kontextbezogenem und maßgeschneidertem Wissen zu füttern.

    Mit der Elasticsearch Relevance Engine können Entwickler ihre eigenen Datenspeicher über ein Kontextfenster mit generativen KI-Modellen verknüpfen. Die zusätzlichen Suchergebnisse liefern aktuelle Informationen, die aus privaten Quellen oder speziellen Fachbereichen stammen können. Daher liefern diese Modelle genauere Antworten als Modelle, die nur das sogenannte „parametrische“ Wissen nutzen.

Vektordatenbank als Turbo

Die Elasticsearch Relevance Engine basiert auf einer resilienten, für den Produktionseinsatz entwickelten Vektordatenbank. Diese Datenbank liefert Entwicklern ein Fundament für umfassende semantische Suchanwendungen. Mit der Elastic-Plattform können Entwicklungsteams Dichtevektorabfragen nutzen, um Fragen intuitiv zu beantworten, ohne sich dabei durch Schlüsselwörter oder Synonyme einschränken zu lassen. Sie können multimodale Sucherlebnisse mit unstrukturierten Daten wie etwa Bildern erstellen und sogar Benutzerprofile modellieren, um personalisierte Übereinstimmungen und Suchergebnisse in den Bereichen Produkt- und Jobsuche oder auch für Partnersuchanwendungen zurückzugeben. Diese NLP-Transformationsmodelle unterstützen außerdem Machine-Learning-Aufgaben wie etwa Standpunktanalysen, Erkennung benannter Entitäten (Named Entity Recognition, NER) und Textklassifizierung. Mit der Vektordatenbank von Elastic können Entwickler extrem skalierbare und leistungsstarke Einbettungen für tatsächliche Produktionsanwendungen erstellen, speichern und abfragen.

Elasticsearch liefert hochrelevante Suchergebnisse. In Kombination mit ESRE liefert Elasticsearch Kontextfenster für generative KI-Anwendungen, die mit proprietären Unternehmensdaten verknüpft sind. Auf diese Weise können Entwickler herausragende und zielgenaue Sucherlebnisse erstellen. Die Suchergebnisse werden anhand der ursprünglichen Nutzerabfrage zurückgegeben, und Entwickler können diese Daten an das Sprachmodell ihrer Wahl übergeben, um die Antwort mit zusätzlichem Kontext anzureichern. Elastic optimiert Funktionen zum Beantworten von Fragen und für die Personalisierung mit relevanten Kontextdaten aus dem privaten und maßgeschneiderten Inhaltsspeicher Ihres Unternehmens.

Überragende vorkonfigurierte Relevanz für alle Entwickler

Mit der Veröffentlichung der Elasticsearch Relevance Engine ist das proprietäre Elastic-Abrufmodell allgemein verfügbar. Sie können das Modell jederzeit herunterladen und zusammen mit unserem Katalog an Ingestionsmechanismen wie dem Elastic-Web-Crawler, unseren Connectoren und unserer API einsetzen. Entwickler können das im vorkonfigurierten Zustand mit ihrem durchsuchbaren Datenbestand einsetzen, und es ist klein genug, um in den Arbeitsspeicher eines Laptops zu passen. Der Elastic Learned Sparse Encoder bietet domänenübergreifende semantische Suchfunktionen für Anwendungsfälle wie etwa Wissensdatenbanken, akademische Veröffentlichungen, Legal Discovery und Patentdatenbanken und liefert ohne Anpassung oder Training hochrelevante Suchergebnisse. 

Praktische Tests zeigen immer wieder, dass Hybrid-Bewertungstechniken besonders gut darin sind, relevante Suchergebnisse zu liefern. Bislang fehlte uns dafür eine wichtige Komponente: RRF.  Ab sofort können Sie RRF für Ihre Anwendungssuche nutzen, um Vektor- und textgebundene Suchfunktionen miteinander zu kombinieren. 

Machine Learning ist der modernste Weg, um relevante Suchergebnisse mit semantischem Kontext anzureichern. Leider sind die Anforderungen im Hinblick auf Kosten, Komplexität und Ressourcen für viele Entwickler unüberwindbar und verhindern so eine effektive Implementierung. Entwickler brauchen oft Hilfe von spezialisierten Machine-Learning- oder Data-Science-Teams, um extrem relevante KI-gesteuerte Sucherlebnisse zu erstellen. Diese Teams wenden viel Zeit dafür auf, passende Modelle auszuwählen, sie anhand von domänenspezifischen Datensätzen zu trainieren und die dynamischen Modelle zu pflegen, wenn sich Daten und deren Beziehungen zueinander im Lauf der Zeit ändern.

Finden Sie heraus, wie Go1 die Elastic-Vektordatenbank für ein skalierbares, semantisches Sucherlebnis nutzt.

Entwickler, die keinen Zugang zu spezialisierten Teams haben, können jetzt auch semantische Sucherlebnisse implementieren und die Vorteile der KI-gestützten Suchrelevanz nutzen, ohne dafür die Ressourcen und die Fachkenntnisse zu benötigen, die für alternative Lösungen erforderlich sind. Ab sofort stehen die notwendigen Bausteine für ein relevantes, modernes und intelligentes Sucherlebnis all unseren Kunden zur Verfügung.

Jetzt ausprobieren

Entdecken Sie diese Funktionen und vieles mehr.

Wenn Sie bereits Elastic Cloud-Kunde sind, können Sie direkt in der Elastic Cloud-Konsole auf viele dieser Features zugreifen. Nutzen Sie Elastic noch nicht in der Cloud? Finden Sie heraus, wie Sie Elasticsearch mit LLMs und generativer KI nutzen können.

Die Entscheidung über die Veröffentlichung der in diesem Blogpost beschriebenen Leistungsmerkmale und Funktionen oder deren Zeitpunkt liegt allein bei Elastic. Es ist möglich, dass nicht bereits verfügbare Leistungsmerkmale oder Funktionen nicht rechtzeitig oder überhaupt nicht veröffentlicht werden.

Elastic, Elasticsearch, Elasticsearch Relevance Engine, ESRE, Elastic Learned Sparse Encoder und zugehörige Marken, Waren- und Dienstleistungszeichen sind Marken oder eingetragene Marken von Elastic N.V. in den USA und anderen Ländern. Alle weiteren Marken- oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen der jeweiligen Eigentümer.