In diesem Artikel werden wir diese Feldtypen, ihre jeweiligen Anwendungsbereiche und ihren Zusammenhang mit Strategien zur Einbettungsgenerierung und -nutzung sowohl bei der Indizierung als auch bei der Abfrage besprechen.

Dichter Vektortyp

Der Feldtyp dense_vector in Elasticsearch dient zur Speicherung dichter Vektoren, die numerische Darstellungen von Daten wie Text, Bildern und Audio darstellen, wobei nahezu alle Dimensionen relevant sind. Diese Vektoren werden mithilfe von Einbettungsmodellen generiert, die von Plattformen wie OpenAI, Cohere oder Hugging Face bereitgestellt werden, und sind so konzipiert, dass sie die Gesamtsemantik der Daten erfassen, auch wenn diese keine exakten Begriffe mit anderen Dokumenten teilen.

In Elasticsearch können dichte Vektoren je nach verwendetem Modell bis zu 4096 Dimensionen haben. Das Modell all-MiniLM-L6-v2 erzeugt beispielsweise Vektoren mit 384 Dimensionen, während das Modell text-embedding-ada-002 von OpenAI Vektoren mit 1536 Dimensionen erzeugt.

Das Feld dense_vector wird üblicherweise als Standardtyp für die Speicherung dieser Art von Einbettungen verwendet, wenn eine größere Kontrolle erforderlich ist, z. B. durch die Verwendung vorab generierter Vektoren, die Anwendung benutzerdefinierter Ähnlichkeitsfunktionen oder die Integration mit externen Modellen.

Wann und warum sollte man dense_vector-Typ verwenden?

Dichte Vektoren eignen sich hervorragend, um semantische Ähnlichkeiten zwischen Sätzen, Absätzen oder ganzen Dokumenten zu erfassen. Sie eignen sich hervorragend, wenn es darum geht, die Gesamtbedeutung von Texten zu vergleichen, selbst wenn diese nicht dieselben Begriffe verwenden.

Das dichte Vektorfeld ist ideal, wenn Sie bereits eine externe Embedding-Generierungspipeline mit Modellen von Plattformen wie OpenAI, Cohere oder Hugging Face verwenden und diese Vektoren nur manuell speichern und abfragen möchten. Dieser Feldtyp bietet eine hohe Kompatibilität mit Einbettungsmodellen und volle Flexibilität bei der Generierung und Abfrage, sodass Sie steuern können, wie die Vektoren erzeugt, indiziert und während der Suche verwendet werden.

Darüber hinaus unterstützt es verschiedene Formen der semantischen Suche, mit Abfragen wie k-NN oder script_score für Fälle, in denen es notwendig ist, die Ranking-Logik anzupassen. Diese Möglichkeiten machen den dichten Vektor ideal für Anwendungen wie RAG (Retrieval-Augmented Generation), Empfehlungssysteme und personalisierte Suchen auf der Grundlage von Ähnlichkeit.

Schließlich ermöglicht Ihnen das Feld, die Relevanzlogik anzupassen, indem Sie Funktionen wie cosineSimilarity, dotProduct oder l2norm verwenden, um das Ranking an die Bedürfnisse Ihres Anwendungsfalls anzupassen.

Dichte Vektoren bleiben die beste Option für diejenigen, die Flexibilität, Anpassungsmöglichkeiten und Kompatibilität mit fortgeschrittenen Anwendungsfällen wie den oben genannten benötigen.

Wie verwendet man die Abfrage für den Datentyp „dichter Vektor“?

Bei Suchen in Feldern, die als dense_vector definiert sind, wird die k-nächste-Nachbarn-Abfrage verwendet. Diese Abfrage dient dazu, Dokumente zu finden, deren Dichtevektor dem Abfragevektor am nächsten kommt. Nachfolgend ein Beispiel für die Anwendung einer k-NN-Abfrage auf ein dichtes Vektorfeld:

Zusätzlich zur k-NN-Abfrage besteht die Möglichkeit, bei Bedarf die Dokumentenbewertung anzupassen, indem man die script_score-Abfrage verwendet und sie mit Vektorvergleichsfunktionen wie cosineSimilarity, dotProduct oder l2norm kombiniert, um die Relevanz kontrollierter zu berechnen. Siehe das Beispiel:

Wer tiefer in die Materie einsteigen möchte, dem empfehle ich den Artikel „Wie man die Vektorsuche in Elasticsearch einrichtet“.

Sparse Vektortyp

Der Feldtyp sparse_vector dient zum Speichern von dünnbesetzten Vektoren. Dabei handelt es sich um numerische Darstellungen, bei denen die meisten Werte null sind und nur wenige Terme ein signifikantes Gewicht haben. Dieser Vektortyp ist in termbasierten Modellen wie SPLADE oder ELSER (Elastic Learned Sparse EncodeR) üblich.

Wann und warum sollte man den Sparse-Vektor-Typ verwenden?

Sparse Vektoren sind ideal, wenn Sie eine präzisere Suche in lexikalischen Begriffen benötigen, ohne dabei semantische Intelligenz einzubüßen. Sie stellen den Text als Token/Wert-Paare dar und heben nur die relevantesten Begriffe mit zugehörigen Gewichtungen hervor, was für Klarheit, Kontrolle und Effizienz sorgt.

Dieser Feldtyp ist besonders nützlich, wenn Sie Vektoren auf der Grundlage von Begriffen generieren, wie beispielsweise in den Modellen ELSER oder SPLADE, die jedem Token unterschiedliche Gewichte zuweisen, basierend auf seiner relativen Bedeutung im Text.

Für den Fall, dass Sie den Einfluss bestimmter Wörter in der Suchanfrage steuern möchten, ermöglichen Ihnen Sparse-Vektor-Typen, die Gewichtung der Begriffe manuell anzupassen, um die Rangfolge der Ergebnisse zu optimieren.

Zu den wichtigsten Vorteilen zählen die Transparenz bei der Suche, da klar ersichtlich ist, warum ein Dokument als relevant eingestuft wurde, und die Speichereffizienz, da nur Token mit einem Wert ungleich Null gespeichert werden, im Gegensatz zu dichten Vektoren, die alle Dimensionen speichern.

Darüber hinaus sind dünnbesetzte Vektoren die ideale Ergänzung in hybriden Suchstrategien und können sogar mit dichtbesetzten Vektoren kombiniert werden, um lexikalische Präzision mit semantischem Verständnis zu verbinden.

Wie verwendet man die Abfrage für den Datentyp „dünnbesetzter Vektor“?

Mit der sparse_vector -Abfrage können Sie nach Dokumenten auf Basis eines Abfragevektors im Token/Wert-Format suchen. Nachfolgend finden Sie ein Beispiel für die Abfrage:

Falls Sie ein trainiertes Modell bevorzugen, können Sie einen Inferenzendpunkt verwenden, der den Abfragetext automatisch in einen Sparse-Vektor umwandelt:

Um dieses Thema weiter zu vertiefen, empfehle ich die Lektüre von „Understanding sparse vector embeddings with trained ML models“.

Semantischer Texttyp

Der Feldtyp semantic_text ist die einfachste und unkomplizierteste Möglichkeit, die semantische Suche in Elasticsearch zu nutzen. Die Generierung von Einbettungen erfolgt automatisch sowohl zur Indexierungs- als auch zur Abfragezeit über einen Inferenz-Endpunkt. Das bedeutet, dass Sie sich keine Gedanken über das manuelle Generieren oder Speichern von Vektoren machen müssen.

Wann und warum sollte man semantischen Text verwenden?

Das Feld semantic_text ist ideal für diejenigen, die mit minimalem technischem Aufwand und ohne manuelle Vektorbearbeitung beginnen möchten. Dieses Feld automatisiert Schritte wie die Generierung von Einbettungen und die Vektorsuche, wodurch die Einrichtung schneller und bequemer wird.

Sie sollten die Verwendung semantic_text in Betracht ziehen, wenn Sie Wert auf Einfachheit und Abstraktion legen, da dadurch die Komplexität der manuellen Konfiguration von Mappings, Embedding-Generierung und Ingestion-Pipelines entfällt. Wählen Sie einfach das Inferenzmodell aus, und Elasticsearch kümmert sich um den Rest.

Zu den wichtigsten Vorteilen gehören die automatische Generierung von Einbettungen, die sowohl während der Indizierung als auch während der Abfrage erfolgt, und das sofort einsatzbereite Mapping, das vorkonfiguriert ist, um das ausgewählte Inferenzmodell zu unterstützen.

Darüber hinaus bietet das Feld native Unterstützung für die automatische Aufteilung langer Texte (Text Chunking), wodurch große Texte in kleinere Abschnitte unterteilt werden können, von denen jeder seine eigene Einbettung hat, was die Suchgenauigkeit verbessert. Dies steigert die Produktivität enorm, insbesondere für Teams, die schnell Mehrwert liefern wollen, ohne sich mit der zugrundeliegenden Technik der semantischen Suche auseinandersetzen zu müssen.

Allerdings bietet semantic_text zwar Geschwindigkeit und Einfachheit, hat aber auch einige Einschränkungen. Es ermöglicht die Verwendung marktüblicher Modelle, sofern diese als Inferenzendpunkte in Elasticsearch verfügbar sind. Es unterstützt jedoch keine extern generierten Einbettungen, wie es mit dem Feld dense_vector möglich ist.

Wenn Sie mehr Kontrolle darüber benötigen, wie Vektoren generiert werden, Ihre eigenen Einbettungen verwenden möchten oder mehrere Felder für fortgeschrittene Strategien kombinieren müssen, bieten die Felder dense_vector und sparse_vector die Flexibilität, die für individuellere oder domänenspezifische Szenarien erforderlich ist.

Wie man die Abfrage für semantischen Texttyp verwendet

Vor semantic_text war es notwendig, je nach Art der Einbettung (dicht oder dünn) eine andere Abfrage zu verwenden. Für dünn besetzte Felder wurde eine sparse_vector -Abfrage verwendet, während für dense_vector -Felder KNN-Abfragen erforderlich waren.

Bei der semantischen Textsuche wird die Suche mithilfe der semantischen Abfrage durchgeführt, die automatisch den Abfragevektor generiert und ihn mit den Einbettungen der indizierten Dokumente vergleicht. Mit dem Typ semantic_text können Sie einen Inferenzendpunkt definieren, um die Abfrage einzubetten. Wenn jedoch kein Endpunkt angegeben wird, wird derselbe Endpunkt, der während der Indizierung verwendet wurde, auf die Abfrage angewendet.

Um mehr zu erfahren, empfehle ich die Lektüre des Artikels Elasticsearch new semantic_text mapping: Simplifying semantic search.

Fazit

Bei der Auswahl der Methode zum Mapping von Embeddings in Elasticsearch ist es wichtig zu verstehen, wie Sie die Vektoren generieren möchten und welchen Grad an Kontrolle Sie darüber benötigen. Wenn Sie Wert auf Einfachheit legen, ermöglicht das semantische Textfeld eine automatische und skalierbare semantische Suche und ist damit ideal für viele erste Anwendungsfälle. Wenn mehr Kontrolle, feinabgestimmte Leistung oder die Integration mit benutzerdefinierten Modellen erforderlich ist, bieten die dichten Vektorfelder und die dünnbesetzten Vektorfelder die notwendige Flexibilität.

Der ideale Feldtyp hängt von Ihrem Anwendungsfall, der verfügbaren Infrastruktur und dem Reifegrad Ihres Machine-Learning-Stacks ab. Am wichtigsten ist jedoch, dass Elastic die Werkzeuge bietet, um moderne und hochgradig anpassungsfähige Suchsysteme zu entwickeln.

Referenzen

• Semantischer Textfeldtyp

• Sparse Vektorfeldtyp

• Dichtes Vektorfeld

• Semantische Anfrage

• Sparse Vektorabfrage

• kNN-Suche

• Elasticsearch: Neues semantisches Textmapping: Vereinfachung der semantischen Suche

• Verständnis von spärlichen Vektoreinbettungen mit trainierten ML-Modellen

Filter und Facetten im Vergleich

Bevor wir beginnen, definieren wir zunächst, was Filter und Facetten sind. Filter sind vordefinierte Attribute, die verwendet werden, um eine Reihe von Ergebnissen einzuschränken. Auf einem Marktplatz stehen beispielsweise Filter schon vor der eigentlichen Suche zur Verfügung. Der Benutzer kann vor der Suche nach „PS5“ eine Kategorie auswählen, zum Beispiel „Videospiele“, und so die Suche auf eine spezifischere Teilmenge anstatt der gesamten Datenbank eingrenzen. Dadurch erhöhen sich die Chancen auf relevantere Ergebnisse erheblich.

Facetten funktionieren ähnlich wie Filter, sind aber erst nach der Durchführung der Suche verfügbar. Mit anderen Worten: Die Suche liefert Ergebnisse, und auf deren Grundlage wird eine neue Liste von Verfeinerungsoptionen generiert. Bei der Suche nach einer PS5-Konsole werden beispielsweise Aspekte wie Speicherkapazität, Versandkosten und Farbe angezeigt, um den Nutzern bei der Auswahl des idealen Produkts zu helfen.

Nachdem wir nun Filter und Facetten definiert haben, wollen wir die Auswirkungen der klassischen und der auf maschinellem Lernen (ML) basierenden Ansätze auf ihre Implementierung und Verwendung erörtern. Jede Methode hat Vor- und Nachteile, die die Effizienz der Suche beeinflussen.

Klassischer Ansatz für Filter und Facetten

Bei diesem Ansatz werden Filter und Facetten manuell anhand vordefinierter Regeln definiert. Dies bedeutet, dass die zur Verfeinerung der Suche verfügbaren Attribute festgelegt und im Voraus geplant sind, wobei die Katalogstruktur und die Bedürfnisse der Nutzer berücksichtigt werden.

Auf einem Marktplatz können beispielsweise Kategorien wie „Elektronik“ oder „Mode“ über spezifische Filter wie Marke, Format und Preisspanne verfügen. Diese Regeln werden statisch erstellt, um eine einheitliche Sucherfahrung zu gewährleisten, erfordern jedoch manuelle Anpassungen, sobald neue Produkte oder Kategorien auftauchen.

Obwohl dieser Ansatz Vorhersagbarkeit und Kontrolle über die angezeigten Filter und Facetten bietet, kann er an seine Grenzen stoßen, wenn neue Trends entstehen, die eine dynamische Anpassung erfordern.

Vorteile:

• Vorhersagbarkeit und Kontrolle: Da Filter und Facetten manuell definiert werden, wird die Verwaltung einfacher.

• Geringe Komplexität: Es müssen keine Modelle trainiert werden.

• Wartungsfreundlichkeit: Da die Regeln vordefiniert sind, können Anpassungen und Korrekturen schnell vorgenommen werden.

Nachteile:

• Neuindizierung für neue Filter erforderlich: Wenn ein neues Attribut als Filter verwendet werden soll, muss der gesamte Datensatz neu indiziert werden, um sicherzustellen, dass die Dokumente diese Information enthalten.

• Fehlende dynamische Anpassung: Filter sind statisch und passen sich nicht automatisch an Änderungen im Nutzerverhalten an.

Implementierung von Filtern/Facetten – Klassischer Ansatz

In Dev Tools, Kibana, werden wir eine Demonstration von Filtern/Facetten mit dem klassischen Ansatz erstellen.

Zuerst definieren wir die Zuordnung zur Strukturierung des Index:

Die Felder „Marke“ und „Speicherort “ sind als Schlüsselwort festgelegt, sodass sie direkt in Aggregationen (Facetten) verwendet werden können. Das Preisfeld ist vom Typ Float, wodurch die Erstellung von Preisspannen ermöglicht wird.

Im nächsten Schritt werden die Produktdaten indexiert:

Nun wollen wir klassische Aspekte herausfiltern, indem wir die Ergebnisse nach Marke, Speicherort und Preisspanne gruppieren. In der Abfrage wurde Größe:0 definiert. In diesem Szenario besteht das Ziel darin, nur die Aggregationsergebnisse abzurufen, ohne die Dokumente einzubeziehen, die der Abfrage entsprechen.

Die Antwort wird Zählungen für Marke, Lager und Preis enthalten und so zur Erstellung von Filtern und Facetten beitragen.

Ansatz, der auf Machine Learning/KI basiert, für Filter und Facetten

Bei diesem Ansatz analysieren Modelle des maschinellen Lernens (ML), einschließlich Techniken der künstlichen Intelligenz (KI), Datenattribute, um relevante Filter und Facetten zu generieren. Anstatt sich auf vordefinierte Regeln zu stützen, nutzt ML/KI die Merkmale indexierter Daten. Dies ermöglicht die dynamische Entdeckung neuer Facetten und Filter.

Vorteile:

• Automatische Aktualisierungen: Neue Filter und Facetten werden automatisch generiert, ohne dass manuelle Anpassungen erforderlich sind.

• Entdeckung neuer Attribute: Es kann bisher unberücksichtigte Datenmerkmale als Filter identifizieren und so das Sucherlebnis bereichern.

• Reduzierter manueller Aufwand: Das Team muss keine Filterregeln mehr ständig definieren und aktualisieren, da die KI aus den verfügbaren Daten lernt.

Nachteile:

• Wartungsaufwand: Die Verwendung von Modellen kann eine Vorvalidierung erfordern, um die Konsistenz der generierten Filter sicherzustellen.

• Erfordert Expertise in den Bereichen Maschinelles Lernen und Künstliche Intelligenz: Die Lösung erfordert qualifizierte Fachkräfte, die die Modellleistung feinabstimmen und überwachen.

• Risiko irrelevanter Filter: Wenn das Modell nicht gut kalibriert ist, kann es Facetten generieren, die für die Benutzer nicht nützlich sind.

• Kosten: Der Einsatz von ML und KI kann die Inanspruchnahme von Dienstleistungen Dritter erfordern, was die Betriebskosten erhöht.

Es ist wichtig zu beachten, dass selbst bei einem gut kalibrierten Modell und einer gut formulierten Eingabeaufforderung die generierten Facetten noch einen Überprüfungsschritt durchlaufen sollten. Diese Validierung kann manuell oder auf der Grundlage von Moderationsregeln erfolgen, um sicherzustellen, dass die Inhalte angemessen und sicher sind. Dies ist zwar nicht unbedingt ein Nachteil, aber dennoch ein wichtiger Aspekt, um die Qualität und Eignung der Facetten sicherzustellen, bevor sie den Nutzern zur Verfügung gestellt werden.

Implementierung von Filtern/Facetten – KI-Ansatz

In dieser Demonstration verwenden wir ein KI-Modell, um Produkteigenschaften automatisch zu analysieren und relevante Attribute vorzuschlagen. Mithilfe einer gut strukturierten Eingabeaufforderung extrahieren wir Informationen aus dem Katalog und wandeln diese in Filter und Facetten um. Im Folgenden stellen wir jeden einzelnen Schritt des Prozesses vor.

Zunächst werden wir die Inference API verwenden, um einen Endpunkt für die Integration mit einem ML-Dienst zu registrieren. Nachfolgend ein Beispiel für die Integration mit dem Dienst von OpenAI.

Nun definieren wir die Pipeline, um die Eingabeaufforderung auszuführen und die vom Modell generierten neuen Filter zu erhalten.

Eine Simulation dieser Pipeline für das Produkt „PlayStation 5“ wird mit folgender Beschreibung durchgeführt:

Atemberaubendes Spielerlebnis: Bestaunen Sie die beeindruckende Grafik und erleben Sie die Funktionen der neuen PS5.

Atemberaubendes Eintauchen: Entdecken Sie ein intensiveres Spielerlebnis mit Unterstützung für haptisches Feedback, adaptive Trigger und 3D-Audiotechnologie.

Schlankes Design: Mit der PS5 Digital Edition erhalten Gamer leistungsstarke Gaming-Technologie in einem schlanken, kompakten Design.

1 TB Speicherplatz: Dank 1 TB integriertem SSD-Speicher sind Ihre Lieblingsspiele immer griffbereit und warten nur darauf, von Ihnen gespielt zu werden.

Abwärtskompatibilität und Game Boost: Die PS5-Konsole kann über 4.000 PS4-Spiele abspielen. Mit Game Boost können Sie sogar in einigen der besten PS4-Konsolenspiele schnellere und flüssigere Bildwiederholraten genießen.

Betrachten wir nun die von dieser Simulation generierte Prompt-Ausgabe.

Nun wird dem neuen Index ein neues Feld, dynamic_facets, hinzugefügt, um die von der KI generierten Facetten zu speichern.

Mithilfe der Reindex API werden wir den Videospiele- Index auf videogames_1 neu indizieren und dabei die generate_filter_ai- Pipeline anwenden. Diese Pipeline generiert während der Indizierung automatisch dynamische Facetten.

Nun führen wir eine Suche durch und rufen die neuen Filter ab:

Ergebnisse:

Zur Veranschaulichung der Umsetzung der einzelnen Aspekte folgt unten ein einfaches Frontend:

Der hier dargestellte UI-Code befindet sich hier.

Fazit

Beide Ansätze zur Erstellung von Filtern und Facetten haben ihre Vor- und Nachteile. Der klassische Ansatz, der auf manuellen Regeln basiert, bietet Kontrolle und niedrigere Kosten, erfordert jedoch ständige Aktualisierungen und passt sich nicht dynamisch an neue Produkte oder Funktionen an.

Andererseits automatisiert der auf KI und maschinellem Lernen basierende Ansatz die Facettenextraktion, wodurch die Suche flexibler wird und die Entdeckung neuer Attribute ohne manuelles Eingreifen ermöglicht wird. Allerdings kann dieser Ansatz in der Umsetzung und Aufrechterhaltung komplexer sein und erfordert eine Kalibrierung, um konsistente Ergebnisse zu gewährleisten.

Die Wahl zwischen klassischen und KI-basierten Ansätzen hängt von den Bedürfnissen und der Komplexität des Unternehmens ab. Bei einfacheren Szenarien, in denen die Datenattribute stabil und vorhersehbar sind, kann der klassische Ansatz effizienter und einfacher zu warten sein, wodurch unnötige Kosten für Infrastruktur und KI-Modelle vermieden werden. Andererseits kann der Einsatz von ML/KI zur Extraktion von Facetten einen erheblichen Mehrwert bieten, das Sucherlebnis verbessern und die Filterung intelligenter gestalten.

Wichtig ist es zu beurteilen, ob die Automatisierung die Investition rechtfertigt oder ob eine traditionellere Lösung die Geschäftsanforderungen bereits effektiv erfüllt.

Über Amazon Nova

Amazon Nova ist eine Familie von künstlichen Intelligenzmodellen von Amazon, die auf Amazon Bedrock verfügbar sind und auf hohe Leistung und Kosteneffizienz ausgelegt sind. Diese Modelle arbeiten mit Text-, Bild- und Videoeingaben, erzeugen Textausgaben und sind für unterschiedliche Anforderungen an Genauigkeit, Geschwindigkeit und Kosten optimiert.

Amazon Nova Hauptmodelle

• Amazon Nova Micro: Dieses Modell konzentriert sich ausschließlich auf Textverarbeitung und ist schnell und kostengünstig. Es eignet sich ideal für Übersetzungen, logisches Schlussfolgern, Codevervollständigung und die Lösung mathematischer Probleme. Mit einer Generierungsrate von über 200 Token pro Sekunde eignet es sich ideal für Anwendungen, die sofortige Reaktionen erfordern.

• Amazon Nova Lite: Ein kostengünstiges multimodales Modell, das Bilder, Videos und Text schnell verarbeiten kann. Es zeichnet sich durch seine Schnelligkeit und Genauigkeit aus und ist für interaktive und hochvolumige Anwendungen geeignet, bei denen Kosten ein wichtiger Faktor sind.

• Amazon Nova Pro: Die fortschrittlichste Option, die hohe Genauigkeit, Geschwindigkeit und Kosteneffizienz vereint. Ideal für komplexe Aufgaben wie Videozusammenfassung, Frage-Antwort-Systeme, Softwareentwicklung und KI-Agenten. Expertenrezensionen bestätigen seine hervorragende Text- und Bildverarbeitungsfähigkeit sowie seine Fähigkeit, Anweisungen zu befolgen und automatisierte Arbeitsabläufe auszuführen.

Die Amazon Nova-Modelle eignen sich für eine Vielzahl von Anwendungen, von der Content-Erstellung und Datenanalyse bis hin zur Softwareentwicklung und KI-gestützten Prozessautomatisierung.

Im Folgenden zeigen wir Ihnen, wie Sie Amazon Nova-Modelle in Verbindung mit Elasticsearch für die automatisierte Analyse von Produktbewertungen verwenden können.

Was wir tun werden:

1. Erstellen Sie einen Endpunkt über die Inference API, der Amazon Bedrock mit Elasticsearch integriert.

2. Erstellen Sie eine Pipeline mithilfe des Inference Processors, die Aufrufe an den Inference API-Endpunkt durchführt.

3. Indexieren Sie Produktbewertungen und generieren Sie mithilfe der Pipeline automatisch eine Analyse der Bewertungen.

4. Analysieren Sie die Ergebnisse der Integration.

Erstellung eines Endpoint in der Inference API mit Amazon Nova Lite

Zunächst konfigurieren wir die Inference API, um Amazon Bedrock mit Elasticsearch zu integrieren. Wir definieren Amazon Nova Lite, ID amazon.nova-lite-v1:0, als das zu verwendende Modell, da es ein ausgewogenes Verhältnis zwischen Geschwindigkeit, Genauigkeit und Kosten bietet.

Hinweis: Sie benötigen gültige Zugangsdaten, um Amazon Bedrock nutzen zu können. Die Dokumentation zum Erhalt von Zugriffsschlüsseln finden Sie hier:

Erstellung der Pipeline für die Bewertungsanalyse

Nun erstellen wir eine Verarbeitungspipeline, die den Inferenzprozessor verwendet, um eine Überprüfungsanalyseaufforderung auszuführen. Diese Aufforderung sendet die Bewertungsdaten an Amazon Nova Lite, das Folgendes ausführt:

• Sentimentklassifizierung (positiv, negativ oder neutral).

• Zusammenfassung der Rezension.

• Schlüsselwortgenerierung.

• Authentizitätsmessung (authentisch | verdächtig | generisch).

Indexierungsrezensionen

Wir indexieren Produktbewertungen nun mithilfe der Bulk-API. Die zuvor erstellte Pipeline wird automatisch angewendet und fügt die vom Nova-Modell generierte Analyse den indizierten Dokumenten hinzu.

Abfragen und Analysieren der Ergebnisse

Zum Schluss führen wir eine Abfrage durch, um zu sehen, wie das Amazon Nova Lite-Modell die Rezensionen analysiert und klassifiziert. Durch Ausführen von GET products/_search erhalten wir die Dokumente, die bereits mit den aus dem Rezensionsinhalt generierten Feldern angereichert sind.

Das Modell ermittelt die vorherrschende Stimmung (positiv, neutral oder negativ), generiert prägnante Zusammenfassungen, extrahiert relevante Schlüsselwörter und schätzt die Authentizität jeder Rezension ein. Diese Felder helfen dabei, die Meinung des Kunden zu verstehen, ohne den gesamten Text lesen zu müssen.

Zur Interpretation der Ergebnisse betrachten wir Folgendes:

• Sentiment, das die allgemeine Wahrnehmung des Produkts durch den Konsumenten widerspiegelt.

• Die Zusammenfassung, in der die wichtigsten Punkte hervorgehoben werden.

• Schlüsselwörter, die verwendet werden können, um ähnliche Rezensionen zu gruppieren oder Feedbackmuster zu identifizieren.

• Authentizität, die ein Indikator dafür ist, ob die Rezension vertrauenswürdig erscheint. Dies ist nützlich für die Kuratierung oder Moderation.

Fazit

Die Integration von Amazon Nova Lite und Elasticsearch demonstrierte, wie Sprachmodelle Rohrezensionen in strukturierte und wertvolle Informationen umwandeln können. Durch die Verarbeitung der Rezensionen mittels einer Pipeline konnten wir Stimmungsanalyse, Authentizität, Zusammenfassungen und Schlüsselwörter automatisch und konsistent extrahieren.

Die Ergebnisse zeigen, dass das Modell den Kontext der Rezensionen verstehen, Nutzermeinungen klassifizieren und die relevantesten Punkte jeder Erfahrung hervorheben kann. Dadurch entsteht ein wesentlich umfangreicherer Datensatz, der zur Verbesserung der Suchfunktionen genutzt werden kann.

Dieser Blogbeitrag untersucht, wie große Sprachmodelle (LLMs) verwendet werden können, um Synonyme automatisch zu identifizieren und zu generieren, sodass diese Begriffe programmatisch in die Synonym-API von Elasticsearch geladen werden können.

Wann verwendet man Synonyme?

Die Verwendung von Synonymen kann im Vergleich zur Vektorsuche eine schnellere und kostengünstigere Lösung sein. Die Implementierung ist einfacher, da sie keine tiefgreifenden Kenntnisse über Einbettungen oder einen komplexen Vektor-Ingestionsprozess erfordert.

Darüber hinaus ist der Ressourcenverbrauch geringer, da die Vektorsuche für die Einbettungsindizierung und den Abruf eine größere Speicherkapazität und einen größeren Arbeitsspeicher benötigt.

Ein weiterer wichtiger Aspekt ist die Regionalisierung der Suche. Mithilfe von Synonymen ist es möglich, Begriffe an die jeweilige Sprache und die lokalen Gepflogenheiten anzupassen. Dies ist in Situationen nützlich, in denen Einbettungen möglicherweise nicht mit regionalen Ausdrücken oder länderspezifischen Begriffen übereinstimmen. Beispielsweise können manche Wörter oder Akronyme je nach Region unterschiedliche Bedeutungen haben, werden aber von den lokalen Nutzern selbstverständlich als Synonyme behandelt. In Brasilien ist das recht üblich. „Abacaxi“ und „ananás“ bezeichnen die gleiche Frucht (Ananas), wobei der zweite Begriff in einigen Regionen des Nordostens gebräuchlicher ist. Ähnlich verhält es sich mit dem im Südosten bekannten „pão francês“, das im Nordosten als „pão careca“ bekannt ist.

Wie kann man LLMs verwenden, um Synonyme zu generieren?

Um Synonyme automatisch zu erhalten, können wir LLMs verwenden, die den Kontext eines Begriffs analysieren und passende Variationen vorschlagen. Dieser Ansatz ermöglicht die dynamische Erweiterung von Synonymen und gewährleistet so eine umfassendere und genauere Suche, ohne auf ein festes Wörterbuch angewiesen zu sein.

In dieser Demonstration verwenden wir ein LLM, um Synonyme für E-Commerce-Produkte zu generieren. Viele Suchanfragen liefern aufgrund von Variationen in den Suchbegriffen nur wenige oder gar keine Ergebnisse. Mit Synonymen können wir dieses Problem lösen. Eine Suche nach „Smartphone“ kann beispielsweise verschiedene Modelle von Mobiltelefonen umfassen, um sicherzustellen, dass die Nutzer die Produkte finden, die sie suchen.

Voraussetzungen

Bevor wir beginnen, müssen wir die Umgebung einrichten und die erforderlichen Abhängigkeiten definieren. Wir werden die von Elastic bereitgestellte Lösung nutzen, um Elasticsearch und Kibana lokal in Docker auszuführen. Der Code wird in Python, Version 3.9.6, mit folgenden Abhängigkeiten geschrieben:

Erstellung des Produktindex

Zunächst erstellen wir einen Index der Produkte ohne Synonymunterstützung. Dies ermöglicht es uns, Abfragen zu validieren und sie dann mit einem Index zu vergleichen, der Synonyme enthält.

Um den Index zu erstellen, laden wir einen Produktdatensatz per Massenimport mit folgendem Befehl in den Kibana DevTools:

Synonyme mit LLM generieren

In diesem Schritt verwenden wir ein LLM, um dynamisch Synonyme zu generieren. Um dies zu erreichen, werden wir die OpenAI-API integrieren und ein geeignetes Modell sowie eine entsprechende Eingabeaufforderung definieren. Der LLM erhält die Produktkategorie und den Produktnamen, wobei darauf geachtet wird, dass die Synonyme kontextuell relevant sind.

Aus dem erstellten Produktindex rufen wir alle Artikel der Kategorie „Elektronik“ ab und senden deren Namen an das LLM. Die erwartete Ausgabe sieht in etwa so aus:

Mit den generierten Synonymen können wir diese mithilfe der Synonyms API in Elasticsearch registrieren.

Synonyme mit der Synonyms-API verwalten

Die Synonyms-API bietet eine effiziente Möglichkeit, Synonymgruppen direkt im System zu verwalten. Jedes Synonymset besteht aus Synonymregeln, nach denen eine Gruppe von Wörtern bei Suchanfragen als gleichwertig behandelt wird.

Beispiel für die Erstellung eines Synonymsets

Dadurch entsteht eine Menge namens „meine-Synonyme-Menge“, in der „hello“ und „hi“ sowie „bye“ und „goodbye“ als gleichwertig behandelt werden.

Implementierung der Synonymerstellung für den Produktkatalog

Nachfolgend ist die Methode aufgeführt, die für den Aufbau eines Synonymsets und dessen Einfügen in Elasticsearch zuständig ist. Die Synonymregeln werden auf der Grundlage der vom LLM vorgeschlagenen Synonymzuordnung generiert. Jede Regel hat eine ID, die dem Produktnamen im Slug-Format entspricht, und die vom LLM berechnete Liste der Synonyme.

Nachfolgend die Anfragenutzlast zum Erstellen des Synonymsets:

Nachdem im Cluster ein Synonymset erstellt wurde, können wir zum nächsten Schritt übergehen, nämlich der Erstellung eines neuen Index mit Synonymunterstützung unter Verwendung des definierten Sets.

Der vollständige Python-Code mit den von LLM generierten Synonymen und der durch die Synonyms-API definierten Erstellung von Synonymsätzen ist unten aufgeführt:

Erstellen eines Index mit Synonymunterstützung

Es wird ein neuer Index erstellt, in dem alle Daten aus dem Index products neu indiziert werden. Dieser Index verwendet synonyms_filter, der den zuvor erstellten products-synonyms-set anwendet.

Nachfolgend die Indexzuordnung, die für die Verwendung von Synonymen konfiguriert ist:

Neuindizierung des Index products

Nun werden wir die Reindex-API verwenden, um die Daten vom Index products in den neuen Index products_02 zu migrieren, der auch Synonymunterstützung beinhaltet. Der folgende Code wurde in den Kibana DevTools ausgeführt:

Nach der Migration wird der Index products_02 gefüllt sein und kann Suchanfragen mithilfe des konfigurierten Synonymsets validieren.

Suche mit Synonymen validieren

Lassen Sie uns die Suchergebnisse der beiden Indizes vergleichen. Wir werden die gleiche Abfrage auf beiden Indizes ausführen und überprüfen, ob die Synonyme verwendet werden, um Ergebnisse abzurufen.

Suche im Index products (ohne Synonyme)

Wir werden Kibana verwenden, um Suchvorgänge durchzuführen und die Ergebnisse zu analysieren. Im Menü „Analytics > Discovery“ erstellen wir eine Datenansicht, um die Daten aus den von uns erstellten Indizes zu visualisieren.

Klicken Sie innerhalb von Discovery auf Datenansicht und definieren Sie einen Namen und ein Indexmuster. Für den Index "Produkte" verwenden wir das Muster "Produkte ". Anschließend wiederholen wir den Vorgang, um eine neue Datenansicht für den Index "products_02" zu erstellen, wobei wir das Muster "products_02 " verwenden.

Nachdem die Datenansichten konfiguriert sind, können wir zu Analytics > Discovery zurückkehren und die Validierungen starten.

Hier erhalten wir nach Auswahl der DataView-Produkte und einer Suche nach dem Begriff „Tablet“ keine Ergebnisse, obwohl wir wissen, dass es Produkte wie „Kindle Paperwhite“ und „Apple iPad Air“ gibt.

Suche im Index products_02 (unterstützt Synonyme)

Bei der Durchführung derselben Abfrage in der Datenansicht "products_synonyms", die Synonyme unterstützt, wurden die Produkte erfolgreich abgerufen. Dies beweist, dass die konfigurierte Synonymgruppe korrekt funktioniert und sicherstellt, dass verschiedene Variationen der Suchbegriffe die erwarteten Ergebnisse liefern.

Das gleiche Ergebnis lässt sich erzielen, indem man dieselbe Abfrage direkt in den Kibana DevTools ausführt. Suchen Sie einfach im Index products_02 mithilfe der Elasticsearch Search API:

Fazit

Die Implementierung von Synonymen in Elasticsearch verbesserte die Genauigkeit und Abdeckung der Produktkatalogsuche. Der entscheidende Unterschied bestand in der Verwendung eines LLM, das Synonyme automatisch und kontextbezogen generierte, wodurch die Notwendigkeit vordefinierter Listen entfiel. Das Modell analysierte Produktnamen und Kategorien und stellte dabei relevante Synonyme für den E-Commerce sicher.

Darüber hinaus vereinfachte die Synonyms-API die Wörterbuchverwaltung, sodass Synonymsätze dynamisch geändert werden können. Mit diesem Ansatz wurde die Suche flexibler und besser an unterschiedliche Suchanfragen der Nutzer anpassbar.

Dieser Prozess kann durch neue Daten und Modellanpassungen kontinuierlich verbessert werden, wodurch ein immer effizienteres Forschungserlebnis gewährleistet wird.

Referenzen

Elasticsearch lokal ausführen

https://www.elastic.co/guide/en/elasticsearch/reference/current/run-elasticsearch-locally.html

Synonyms API

https://www.elastic.co/guide/en/elasticsearch/reference/current/synonyms-apis.html

In diesem Artikel erklären wir, wie Sie Airbyte für die Datenaufnahme in Elasticsearch konfigurieren. Dabei gehen wir auf wichtige Konzepte, Voraussetzungen und die schrittweise Integration ein.

Grundkonzepte von Airbyte

Airbyte basiert auf mehreren grundlegenden Nutzungskonzepten. Im Folgenden heben wir die wichtigsten hervor:

• Quellen: Definiert den Ursprung der zu extrahierenden Daten.

• Ziele: Definiert, wohin die Daten gesendet und gespeichert werden.

• Verbindungen: Konfiguriert die Beziehung zwischen Quelle und Ziel, einschließlich der Synchronisierungsfrequenz.

Airbyte-Integration mit Elasticsearch

In dieser Demonstration führen wir eine Integration durch, bei der Daten, die in einem S3-Bucket gespeichert sind, in einen Elasticsearch-Index migriert werden. Wir zeigen Ihnen, wie Sie die Quelle (S3) und das Ziel (Elasticsearch) in Airbyte konfigurieren.

Voraussetzungen

Um dieser Demonstration folgen zu können, müssen folgende Voraussetzungen erfüllt sein:

1. Erstellen Sie einen Bucket in AWS, in dem die JSON-Dateien mit den Daten gespeichert werden.

2. Installieren Sie Airbyte lokal mit Docker.

3. Erstellen Sie einen Elasticsearch-Cluster in Elastic Cloud, um die aufgenommenen Daten zu speichern.

Im Folgenden werden wir jeden dieser Schritte detailliert beschreiben.

Airbyte installieren

Airbyte kann lokal mit Docker oder in der Cloud ausgeführt werden, wobei mit der Nutzung Kosten verbunden sind. Für diese Demonstration verwenden wir die lokale Version mit Docker.

Die Installation kann einige Minuten dauern. Nach Befolgung der Installationsanweisungen ist Airbyte unter folgender Adresse erreichbar: http://localhost:8000.

Nach dem Einloggen können wir mit der Konfiguration der Integration beginnen.

Erstellen des Buckets

In diesem Schritt benötigen Sie ein AWS-Konto, um einen S3-Bucket zu erstellen. Darüber hinaus ist es unerlässlich, die korrekten Berechtigungen festzulegen, indem eine Richtlinie und ein IAM-Benutzer erstellt werden, um den Zugriff auf den Bucket zu ermöglichen.

In den Bucket laden wir JSON-Dateien mit verschiedenen Log-Einträgen hoch, die später zu Elasticsearch migriert werden. Die Dateiprotokolle haben folgenden Inhalt:

Nachfolgend sind die in den Bucket geladenen Dateien aufgeführt:

Elastic Cloud-Konfiguration

Um die Demonstration zu vereinfachen, verwenden wir Elastic Cloud. Falls Sie noch kein Konto besitzen, können Sie hier ein kostenloses Testkonto erstellen: Elastic Cloud-Registrierung.

Nach der Konfiguration der Bereitstellung in Elastic Cloud benötigen Sie Folgendes:

• Die URL des Elasticsearch-Servers.

• Ein Benutzer, der auf Elasticsearch zugreifen kann.

Um die URL zu erhalten, gehen Sie zu Deployments > My deployment, suchen Sie unter Anwendung nach Elasticsearch und klicken Sie auf 'Endpunkt kopieren'.

Um den Benutzer anzulegen, befolgen Sie die folgenden Schritte:

1. Zugriff auf Kibana > Stack-Management > Benutzer.

2. Erstellen Sie einen neuen Benutzer mit der Rolle des Superusers.

3. Füllen Sie die Felder aus, um den Benutzer zu erstellen.

Nachdem wir nun alles eingerichtet haben, können wir mit der Konfiguration der Konnektoren in Airbyte beginnen.

Quellanschluss konfigurieren

In diesem Schritt erstellen wir den Quellkonnektor für S3. Dazu rufen wir die Airbyte-Benutzeroberfläche auf und wählen im Menü die Option „Quelle“ aus. Als Nächstes suchen wir nach dem S3-Anschluss. Im Folgenden beschreiben wir die erforderlichen Schritte zur Konfiguration des Konnektors:

1. Öffnen Sie Airbyte und gehen Sie zum Menü „Quellen“.

2. Suchen und wählen Sie den S3-Anschluss aus.

3. Konfigurieren Sie die folgenden Parameter:

   1. Quellname: Geben Sie einen Namen für die Datenquelle an.

   2. Zustellungsmethode: Datensätze replizieren (empfohlen für strukturierte Daten).

   3. Datenformat: Wählen Sie das JSON-Format.

   4. Stream-Name: Definieren Sie den Namen des Index in Elasticsearch.

   5. Bucket-Name: Geben Sie den Namen des Buckets in AWS ein.

   6. AWS-Zugriffsschlüssel und AWS-Geheimschlüssel: Geben Sie die Zugangsdaten ein.

Klicken Sie auf „Quelle einrichten“ und warten Sie auf die Validierung.

Konfigurationszielkonnektor

In diesem Schritt konfigurieren wir den Zielkonnektor, und zwar Elasticsearch. Dazu rufen wir das Menü auf und wählen die Option „Ziel“. Anschließend suchen wir nach Elasticsearch und klicken auf das angezeigte Ergebnis. Nun fahren wir mit der Konfiguration dieser Verbindung fort:

1. Öffnen Sie Airbyte und gehen Sie zum Menü „Ziele“.

2. Suchen und wählen Sie den Elasticsearch-Connector aus.

3. Konfigurieren Sie die folgenden Parameter:

   1. Authentifizierungsmethode: Benutzername/Passwort auswählen.

   2. Benutzername und Passwort: Verwenden Sie die in Kibana erstellten Zugangsdaten.

   3. Server-Endpunkt: Fügen Sie die aus Elastic Cloud kopierte URL ein.

Klicken Sie auf „Ziel einrichten“ und warten Sie auf die Bestätigung.

Erstellen der Quell- und Zielverbindung

Sobald Quelle und Ziel erstellt sind, wird die Verbindung zwischen ihnen hergestellt, womit die Integration abgeschlossen ist.

Nachfolgend finden Sie die Anweisungen zum Herstellen der Verbindung:

1. Im Menü gehen Sie zu Verbindungen und klicken Sie auf Erste Verbindung erstellen.

2. Im nächsten Bildschirm können Sie eine bestehende Quelle auswählen oder eine neue erstellen. Da wir bereits eine Quelle erstellt haben, wählen wir Quelle S3 aus.

3. Im nächsten Schritt muss das Reiseziel ausgewählt werden. Da wir den Elasticsearch-Connector bereits erstellt haben, wird dieser zur Vervollständigung der Konfiguration ausgewählt.

Im nächsten Schritt muss der Synchronisierungsmodus und das zu verwendende Schema definiert werden. Da nur das Protokollschema erstellt wurde, ist dies die einzige auswählbare Option.

4. Wir fahren nun mit dem Schritt „Verbindung konfigurieren“ fort. Hier können wir den Namen der Verbindung und die Häufigkeit der Integrationsausführung festlegen. Die Frequenz kann auf drei Arten konfiguriert werden:

• Cron: Führt die Synchronisierungen gemäß dem benutzerdefinierten Cron-Ausdruck aus (z. B. 0 0 15 * * ?, Jeden Tag um 15:00 Uhr);

• Geplant: Führt die Synchronisierungen im angegebenen Zeitintervall aus (z. B. alle 24 Stunden, alle 2 Stunden);

• Manuell: Synchronisierungen manuell ausführen.

Für diese Demonstration wählen wir die Option „Manuell“.

Durch Klicken auf „Verbindung einrichten“ wird abschließend die Verbindung zwischen Quelle und Ziel hergestellt.

Synchronisierung von Daten von S3 zu Elasticsearch

Wenn Sie zum Bildschirm „Verbindungen“ zurückkehren, können Sie die erstellte Verbindung sehen. Um den Vorgang auszuführen, klicken Sie einfach auf Synchronisieren. Ab diesem Zeitpunkt beginnt die Migration der Daten von S3 zu Elasticsearch.

Wenn alles reibungslos verläuft, erhalten Sie den Synchronisierungsstatus.

Datenvisualisierung in Kibana

Nun werden wir zu Kibana wechseln, um die Daten zu analysieren und zu überprüfen, ob sie korrekt indiziert wurden. Im Abschnitt „Kibana Discovery“ erstellen wir eine Datenansicht namens „logs“. Damit können wir die Daten untersuchen, die nur im Protokollindex vorhanden sind, der nach der Synchronisierung erstellt wurde.

Nun können wir die indizierten Daten visualisieren und Analysen daran durchführen. Auf diese Weise haben wir den gesamten Migrationsablauf mit Airbyte validiert, wo wir die im Bucket vorhandenen Daten geladen und in Elasticsearch indiziert haben.

Fazit: Integration von Airbyte und Elasticsearch

Airbyte erwies sich als effizientes Werkzeug zur Datenintegration, mit dem wir mehrere Quellen und Ziele automatisiert verbinden konnten. In diesem Tutorial haben wir gezeigt, wie man Daten aus einem S3-Bucket in einen Elasticsearch-Index einliest, und dabei die wichtigsten Schritte des Prozesses hervorgehoben.

Dieser Ansatz erleichtert die Aufnahme großer Datenmengen und ermöglicht Analysen innerhalb von Elasticsearch, wie z. B. komplexe Suchvorgänge, Aggregationen und Datenvisualisierungen.

Referenzen

Quickstart Airbyte:

https://docs.airbyte.com/using-airbyte/getting-started/oss-quickstart#part-1-install-abctl

Kernkonzepte:

https://docs.airbyte.com/using-airbyte/core-concepts/

Was ist LlamaIndex?

LlamaIndex ist ein Framework, das die Erstellung von Agenten und Workflows erleichtert, die auf großen Sprachmodellen (LLMs) basieren und mit spezifischen oder privaten Daten interagieren. Es ermöglicht die Integration von Daten aus verschiedenen Quellen (APIs, PDFs, Datenbanken) in LLMs und ermöglicht so Aufgaben wie Recherche, Informationsgewinnung und die Generierung kontextbezogener Antworten.

Schlüsselkonzepte:

• Agenten: Intelligente Assistenten, die LLMs verwenden, um Aufgaben auszuführen, die von einfachen Antworten bis hin zu komplexen Aktionen reichen.

• Workflows: Mehrstufige Prozesse, die Agenten, Datenkonnektoren und Tools für fortgeschrittene Aufgaben kombinieren.

• Kontexterweiterung: Eine Technik, die das LLM mit externen Daten anreichert und so seine Trainingsbeschränkungen überwindet.

LlamaIndex- Integration mit Elasticsearch:

Elasticsearch kann auf verschiedene Weise mit LlamaIndex verwendet werden:

• Datenquelle: Verwenden Sie den Elasticsearch Reader, um Dokumente zu extrahieren.

• Einbettungsmodell: Daten werden für semantische Suchen in Vektoren kodiert.

• Vektorspeicherung: Verwenden Sie Elasticsearch als Repository für die Suche nach vektorisierten Dokumenten.

• Erweiterter Speicher: Konfigurieren Sie Strukturen wie Dokumentzusammenfassungen oder Wissensgraphen.

Verwendung von LlamaIndex und Elasticsearch zum Erstellen einer FAQ-Suche

Datenaufbereitung

Wir werden die FAQ zum Elasticsearch-Dienst als Beispiel verwenden. Jede Frage wurde von der Webseite extrahiert und in einer separaten Textdatei gespeichert. Sie können jeden beliebigen Ansatz zur Organisation der Daten verwenden; in diesem Beispiel haben wir uns dafür entschieden, die Dateien lokal zu speichern.

Beispieldatei:

Nach dem Speichern aller Fragen sieht das Verzeichnis folgendermaßen aus:

Installation der Abhängigkeiten

Die Datenerfassung und -suche werden wir mit Hilfe der Programmiersprache Python implementieren; ich habe Version 3.9 verwendet. Als Voraussetzung müssen die folgenden Abhängigkeiten installiert werden:

Elasticsearch und Kibana werden mit Docker erstellt und über docker-compose.yml so konfiguriert, dass sie in Version 8.16.2 ausgeführt werden. Dadurch wird die Schaffung der lokalen Umgebung erleichtert.

Dokumentenaufnahme mit LlamaIndex

Die Dokumente werden mithilfe von LlamaIndex in Elasticsearch indexiert. Zuerst laden wir die Dateien mit SimpleDirectoryReader, das das Laden von Dateien aus einem lokalen Verzeichnis ermöglicht. Nach dem Laden der Dokumente werden wir sie mithilfe des VectorStoreIndex indizieren.

Die Vektorspeicher in LlamaIndex sind für das Speichern und Verwalten von Dokumenteneinbettungen zuständig. LlamaIndex unterstützt verschiedene Arten von Vektorspeichern, und in diesem Fall verwenden wir Elasticsearch. Im StorageContext konfigurieren wir die Elasticsearch-Instanz. Da der Kontext lokal ist, waren keine zusätzlichen Parameter erforderlich. Für Konfigurationen in anderen Umgebungen konsultieren Sie bitte die Dokumentation, um die erforderlichen Parameter zu überprüfen: ElasticsearchStore-Konfiguration.

Standardmäßig verwendet LlamaIndex das OpenAI text-embedding-ada-002- Modell zur Generierung von Einbettungen. In diesem Beispiel verwenden wir jedoch das Modell text-embedding-3-small . Wichtig zu beachten ist, dass für die Nutzung des Modells ein OpenAI-API-Schlüssel erforderlich ist.

Nachfolgend finden Sie den vollständigen Code für die Dokumentenaufnahme.

Nach der Ausführung werden die Dokumente wie unten dargestellt im FAQ- Index indexiert:

Suche mit RAG

Um Suchvorgänge durchzuführen, konfigurieren wir den ElasticsearchStore- Client, indem wir die Felder index_name und es_url mit der Elasticsearch-URL belegen. In retrieval_strategy haben wir die AsyncDenseVectorStrategy für Vektorsuchen definiert. Es stehen auch andere Strategien zur Verfügung, wie zum Beispiel AsyncBM25Strategy (Stichwortsuche) und AsyncSparseVectorStrategy (dünnbesetzte Vektoren). Weitere Einzelheiten finden Sie in der offiziellen Dokumentation.

Als nächstes wird ein VectorStoreIndex- Objekt erstellt, in dem wir den vector_store mithilfe des ElasticsearchStore-Objekts konfigurieren. Mit der Methode as_retriever führen wir die Suche nach den relevantesten Dokumenten für eine Anfrage durch und legen die Anzahl der zurückgegebenen Ergebnisse über den Parameter similarity_top_k auf 5 fest.

Der nächste Schritt ist RAG. Die Ergebnisse der Vektorsuche werden in eine formatierte Eingabeaufforderung für das LLM integriert, wodurch eine kontextbezogene Antwort auf Basis der abgerufenen Informationen ermöglicht wird.

In der PromptTemplate definieren wir das Prompt-Format, das Folgendes umfasst:

• Kontext ({context_str}): Vom Abrufer abgerufene Dokumente.

• Anfrage ({query_str}): die Frage des Benutzers.

• Anleitung: Richtlinien für das Modell, um kontextbezogen zu reagieren, ohne auf externes Wissen zurückzugreifen.

Schließlich verarbeitet das LLM die Eingabeaufforderung und gibt eine präzise und kontextbezogene Antwort zurück.

Der vollständige Code ist unten aufgeführt:

Nun können wir unsere Suche durchführen, zum Beispiel: „Sind Elastic-Dienste kostenlos?“, und erhalten eine kontextbezogene Antwort, die auf den FAQ-Daten selbst basiert.

Zur Erstellung dieser Antwort wurden folgende Dokumente verwendet:

Fazit

Anhand von LlamaIndex haben wir demonstriert, wie man ein effizientes FAQ-Suchsystem mit Unterstützung für Elasticsearch als Vektordatenbank erstellt. Die Dokumente werden mithilfe von Einbettungen erfasst und indexiert, wodurch Vektorsuchen ermöglicht werden. Mithilfe einer PromptTemplate werden die Suchergebnisse in den Kontext eingebunden und an das LLM gesendet, das auf Basis der abgerufenen Dokumente präzise und kontextbezogene Antworten generiert.

Dieser Workflow integriert die Informationsabfrage mit der kontextbezogenen Antwortgenerierung, um genaue und relevante Ergebnisse zu liefern.

Referenzen

https://www.elastic.co/guide/en/cloud/current/ec-faq-getting-started.html

https://docs.llamaindex.ai/en/stable/api_reference/readers/elasticsearch/

https://docs.llamaindex.ai/en/stable/module_guides/indexing/vector_store_index/

https://docs.llamaindex.ai/en/stable/examples/query_engine/custom_query_engine/

https://www.elastic.co/search-labs/integrations/llama-index

Die Facettensuche ist ein leistungsstarkes Werkzeug in E-Commerce-Plattformen. Es hilft dabei, Suchergebnisse anhand der Eigenschaften der angezeigten Elemente zu organisieren und zu verfeinern. Facetten werden zwar oft mit Filtern verwechselt, funktionieren aber anders. Filter sind feste Attribute, die durch Informationen definiert werden, die immer im Index vorhanden sind, wie zum Beispiel die Kategorie oder das Format eines Produkts. Facetten hingegen sind dynamisch und werden aus den Ergebnissen der ausgeführten Suche generiert.

Stellen Sie sich einen Bekleidungskatalog vor: Felder wie „Kategorie“ (z. B. T-Shirts, Hosen) oder „Geschlecht“ (z. B. männlich, weiblich) sind Filter, die dabei helfen, die Ergebnisse einzugrenzen. Die Facetten spiegeln jedoch spezifische Eigenschaften der in den Ergebnissen angezeigten Produkte wider, wie z. B. gängige Farben, verfügbare Größen oder Materialien. Dies ermöglicht ein anpassungsfähigeres und kontextbezogeneres Sucherlebnis.

Unten sehen Sie ein Bild, auf dem wir mit einem Filter interagieren und die danach gefilterten Suchergebnisse sehen können.

Wie KI die Facettengenerierung verbessern kann

Künstliche Intelligenz wird oft mit semantischer Suche und Einbettungen in Verbindung gebracht, aber was ist mit Facetten? Wie kann KI genutzt werden, um Facetten für jede Suche nützlicher und kontextspezifischer zu gestalten?

Eine interessante Möglichkeit besteht darin, mithilfe von KI neue Kategorisierungen zu erstellen, die über die traditionellen Klassifizierungen im Index hinausgehen. Durch die Analyse spezifischer Merkmale des Inhalts können diese neuen Kategorien eine reichhaltigere und präzisere Kontextualisierung ermöglichen, wodurch die einzelnen Aspekte relevanter und besser auf die Bedürfnisse der Nutzer abgestimmt werden. Dies ermöglicht eine aussagekräftigere Verfeinerung der Ergebnisse im Vergleich zu den ursprünglichen Dokumentenkategorien.

Wie KI die Filmklassifizierung für bessere Suchergebnisse verfeinern kann

Lassen Sie uns die folgenden Filme analysieren, die alle aktuell dem Genre Drama zugeordnet sind:

• Requiem für einen Traum Zusammenfassung: Die drogeninduzierten Utopien von vier Bewohnern von Coney Island zerbrechen, als ihre Sucht immer tiefer wird.

• Amerikanische Schönheit Zusammenfassung: Ein sexuell frustrierter Vorstadtvater gerät in eine Midlife-Crisis, nachdem er sich in die beste Freundin seiner Tochter verliebt hat.

• Good Will Hunting Kurzfassung: Will Hunting, ein Hausmeister am MIT, hat ein Talent für Mathematik, braucht aber die Hilfe eines Psychologen, um in seinem Leben eine Richtung zu finden.

Diese Genreklassifizierung erfasst weder die subtilen Unterschiede noch die einzigartigen Kontexte der einzelnen Filme. Durch den Einsatz von KI zur Analyse von Inhaltsangaben und zentralen Themen können wir neue Kategorien erstellen, die den wahren Kontext jedes Films besser widerspiegeln. Zum Beispiel:

• Requiem für einen Traum – Neue Kategorie: „Sucht und Abhängigkeit“

• American Beauty – Neue Kategorie: „Midlife-Crisis“

• Good Will Hunting – Neue Kategorie: „Intellektueller Kampf“

Durch diese neuen Kategorien werden die Suchergebnisse wesentlich präziser und bieten den Nutzern gleichzeitig aussagekräftigere Filter zur Verfeinerung ihrer Ergebnisse. Dieser Ansatz ist besonders effektiv, wenn die ursprünglichen Kategorien zu allgemein gehalten sind, da er es den Nutzern ermöglicht, leichter genau das zu finden, wonach sie suchen.

Erstellen neuer Kategorien mit GPT-4: Beispiel für die Facettensuche

In diesem Beispiel zeigen wir, wie ein KI-Modell verwendet werden kann, um neue Filmkategorien zu erstellen, die präziser sind und besser auf den Kontext des jeweiligen Werkes abgestimmt sind. Um diesen Prozess zu demonstrieren, werden wir die Elastic-Simulationspipeline zusammen mit dem OpenAI-Inferenzdienst verwenden. Es wird eine Pipeline mit mehreren Prozessoren erstellt, darunter der Skriptprozessor, der für die Erstellung der Eingabeaufforderung zuständig ist, die im Inferenzprozessor ausgeführt werden soll und die neuen Kategorien bestimmen kann. Die anderen Prozessoren werden verwendet, um die während der Pipeline-Ausführung erzeugten Daten und Hilfsfelder zu bearbeiten. Erwähnenswert ist, dass diese Logik auch auf andere ähnliche Werkzeuge oder Modelle angewendet werden kann.

Als erstes müssen wir den Inferenz-Endpunkt erstellen, in dem wir den Dienst als OpenAI, das für den Zugriff auf den Dienst erforderliche Token und das Modell definieren. In diesem Beispiel verwende ich gpt-4o-mini. Für weitere Details zum OpenAI-Inferenzdienst klicken Sie hier.

Nachdem der Endpunkt erstellt wurde, können wir ihn nun verwenden, um die neuen Kategorien zu erstellen. Nachfolgend finden Sie eine Pipeline, die den gesamten Prozess der Dokumentendatenmanipulation und der Generierung von Eingabeaufforderungen übernimmt. Ich werde die Funktion jedes Prozessors im Detail erläutern.

Der erste Prozessor ist für die Erstellung der Eingabeaufforderung zuständig. Es ist sehr wichtig, die Anweisungen klar und detailliert zu formulieren, damit die KI die Themen korrekt analysieren und identifizieren kann. In dieser Aufgabenstellung bitte ich um zwei Themen, die auf der Analyse von Titel, Beschreibung und Genre der Filme basieren.

Die nächste Pipeline ist die Inferenzpipeline. Sie empfängt die Eingabeaufforderung und sendet sie an unseren generate_topics_ia- Endpunkt. Die vom Modell generierte Antwort wird im Ergebnisfeld gespeichert.

Als Nächstes werden 3 Prozessoren verwendet, um die Antwort zu bearbeiten und sie im Themenfeld festzulegen, zusätzlich zum Entfernen temporärer Felder, die ich erstellt habe.

Bei der Ausführung dieser Pipeline erhalten wir die folgenden Ergebnisse:

Beachten Sie, dass wir neue Kategorien haben, die stärker mit dem Kontext der Filme zusammenhängen, auch wenn einige ursprünglich aus demselben Genre stammen.

Wir können diese neuen Kategorien nun verwenden und sie zusammen mit dem Dokument indexieren. Auf diese Weise erhalten wir bei der Erstellung der Facetten neben der Hauptkategorie auch spezifischere Unterkategorien, die auf den Kontext der Filme abgestimmt sind.

Darüber hinaus ist es möglich, diese neuen Kategorien zu vektorisieren und sie in Vektorsuchen zu verwenden. Dies bedeutet, dass die neuen Kategorien nicht nur als Filter dienen, sondern auch zur Berechnung semantischer Ähnlichkeiten mit den Suchbegriffen verwendet werden können, wodurch die Relevanz der präsentierten Ergebnisse weiter erhöht wird.

Vollständige Pipeline:

Fazit

Der Einsatz von KI zur Verbesserung der Suchergebnisse kann das Sucherlebnis grundlegend verändern, indem die Ergebnisse spezifischer und kontextbezogener werden. Im Gegensatz zu festen Kategorien, die oft sehr allgemein gehalten sind, können KI-generierte Kategorien den Kontext besser widerspiegeln. Wenn wir beispielsweise Filme neu klassifizieren, können wir Kontextinformationen erfassen, die in den primären Kategorien fehlen, und so viel relevantere Gruppierungen vornehmen.

Diese neuen Kategorien können dem Index hinzugefügt werden, um nicht nur die Facettierung zu verbessern, sondern auch Vektorsuchen zu ermöglichen. Das Ergebnis ist ein effizienteres Sucherlebnis mit Filtern, die besser auf den Kontext abgestimmt sind.

Referenzen

https://www.elastic.co/guide/en/elasticsearch/reference/current/infer-service-openai.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/simulate-pipeline-api.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/script-processor.html

Apache Airflow ist eine Plattform, die zum Erstellen, Planen und Überwachen von Arbeitsabläufen entwickelt wurde. Es dient zur Orchestrierung von ETL-Prozessen, Datenpipelines und anderen komplexen Arbeitsabläufen und bietet Flexibilität und Skalierbarkeit. Die visuelle Benutzeroberfläche und die Echtzeit-Überwachungsfunktionen machen das Pipeline-Management zugänglicher und effizienter und ermöglichen es Ihnen, den Fortschritt und die Ergebnisse Ihrer Ausführungen zu verfolgen. Nachfolgend sind die vier Hauptpfeiler aufgeführt:

• Dynamisch: Pipelines werden in Python definiert, was eine dynamische und flexible Workflow-Generierung ermöglicht.

• Erweiterbar: Airflow lässt sich in eine Vielzahl von Umgebungen integrieren, benutzerdefinierte Operatoren können erstellt und spezifischer Code nach Bedarf ausgeführt werden.

• Elegant: Pipelines werden sauber und explizit geschrieben.

• Skalierbar: Dank seiner modularen Architektur nutzt es eine Message Queue, um eine beliebige Anzahl von Workern zu orchestrieren.

In der Praxis kann Airflow in Szenarien wie den folgenden eingesetzt werden:

• Datenimport: Orchestrieren Sie die tägliche Datenaufnahme in eine Datenbank wie Elasticsearch.

• Protokollüberwachung: Verwaltung der Erfassung und Verarbeitung von Protokolldateien, die anschließend in Elasticsearch analysiert werden, um Fehler oder Anomalien zu identifizieren.

• Integration mehrerer Datenquellen: Informationen aus verschiedenen Systemen (APIs, Datenbanken, Dateien) werden in einer einzigen Ebene in Elasticsearch kombiniert, was die Suche und Berichterstellung vereinfacht.

Verständnis von gerichteten azyklischen Graphen (DAGs) in der Luftströmung

In Airflow werden Workflows durch DAGs (gerichtete azyklische Graphen) dargestellt. Ein DAG ist eine Struktur, die die Reihenfolge definiert, in der Aufgaben ausgeführt werden. Die Hauptmerkmale von DAGs sind:

• Zusammensetzung aus unabhängigen Aufgaben: Jede Aufgabe stellt eine Arbeitseinheit dar und ist so konzipiert, dass sie unabhängig ausgeführt werden kann.

• Sequenzierung: Die Reihenfolge, in der die Aufgaben ausgeführt werden, ist im DAG explizit definiert.

• Wiederverwendbarkeit: DAGs sind so konzipiert, dass sie wiederholt ausgeführt werden können, was die Prozessautomatisierung erleichtert.

Luftstromkomponenten

Das Airflow-Ökosystem besteht aus mehreren Komponenten, die zusammenarbeiten, um Aufgaben zu orchestrieren:

• Scheduler: Verantwortlich für die Planung von DAGs und die Zuweisung von Aufgaben zur Ausführung an die Worker.

• Ausführender: Steuert die Ausführung von Aufgaben und delegiert diese an Mitarbeiter.

• Webserver: Bietet eine grafische Benutzeroberfläche zur Interaktion mit DAGs und Tasks.

• Dags-Ordner: Ordner, in dem wir in Python geschriebene DAGs speichern.

• Metadaten: Datenbank, die als Repository für das Tool dient und vom Scheduler und Executor zur Speicherung des Ausführungsstatus verwendet wird.

Apache Airflow und Elasticsearch

Wir werden die Verwendung von Apache Airflow und Elasticsearch zur Orchestrierung von Aufgaben und zur Indizierung von Ergebnissen in Elasticsearch demonstrieren. Ziel dieser Demonstration ist es, eine Aufgabenpipeline zu erstellen, um Datensätze in einem Elasticsearch-Index zu aktualisieren. Dieser Index enthält eine Datenbank mit Filmen, in der Benutzer Bewertungen abgeben und andere Bewertungen vergeben können. Stellt man sich ein Szenario mit Hunderten von täglichen Bewertungen vor, ist es notwendig, die Bewertungsstatistik stets aktuell zu halten. Hierfür wird ein DAG entwickelt, der täglich ausgeführt wird und für das Abrufen der neuen konsolidierten Ratings sowie die Aktualisierung der Datensätze im Index zuständig ist.

Im DAG-Ablauf gibt es eine Aufgabe zum Abrufen der Bewertungen, gefolgt von einer Aufgabe zur Validierung der Ergebnisse. Falls die Daten nicht vorhanden sind, wird der DAG zu einer Fehleraufgabe weitergeleitet. Andernfalls werden die Daten in Elasticsearch indexiert. Ziel ist es, das Bewertungsfeld von Filmen in einem Index zu aktualisieren, indem die Bewertungen mithilfe einer Methode abgerufen werden, die den Mechanismus zur Berechnung der Punktzahlen beinhaltet.

Verwendung von Apache Airflow und Elasticsearch mit Docker

Um eine containerisierte Umgebung zu erstellen, verwenden wir Apache Airflow mit Docker. Folgen Sie den Anweisungen im Leitfaden „Airflow in Docker ausführen“, um Airflow praktisch einzurichten.

Was Elasticsearch betrifft, werde ich einen Cluster auf Elastic Cloud verwenden, aber wenn Sie es vorziehen, können Sie Elasticsearch auch mit Docker konfigurieren. Es wurde bereits ein Index erstellt, der einen Filmkatalog mit den indexierten Filmdaten enthält. Das Feld „Bewertung“ dieser Filme wird aktualisiert.

Erstellung des DAG

Nach der Installation via Docker wird eine Ordnerstruktur erstellt, die unter anderem den Ordner „dags“ enthält. In diesem Ordner müssen wir unsere DAG-Dateien ablegen, damit Airflow sie erkennt.

Zuvor müssen wir sicherstellen, dass die notwendigen Abhängigkeiten installiert sind. Hier sind die Abhängigkeiten für dieses Projekt:

Wir werden die Datei update_ratings_movies.py erstellen und mit der Codierung der Aufgaben beginnen.

Nun importieren wir die benötigten Bibliotheken:

Wir werden den ElasticsearchPythonHook verwenden, eine Komponente, die die Integration zwischen Airflow und einem Elasticsearch-Cluster vereinfacht, indem sie die Verbindung und die Verwendung externer APIs abstrahiert.

Als Nächstes definieren wir den DAG und geben seine Hauptargumente an:

• dag_id: der Name des DAG.

• start_date: wann der DAG startet.

• schedule: definiert die Periodizität (in unserem Fall täglich).

• doc_md: Dokumentation, die importiert und in der Airflow-Oberfläche angezeigt wird.

Definition der Aufgaben

Nun definieren wir die Aufgaben des DAG. Die erste Aufgabe besteht darin, die Daten zur Filmbewertung abzurufen. Wir werden den PythonOperator verwenden, wobei task_id auf 'get_movie_ratings' gesetzt ist. Der Parameter python_callable ruft die Funktion auf, die für das Abrufen der Bewertungen zuständig ist.

Als nächstes müssen wir überprüfen, ob die Ergebnisse gültig sind. Hierfür verwenden wir eine Bedingung mit einem BranchPythonOperator. Die task_id wird zu 'validate_result', und die python_callable ruft die Validierungsfunktion auf. Der Parameter op_args wird verwendet, um das Ergebnis der vorherigen Aufgabe, 'get_movie_ratings', an die Validierungsfunktion zu übergeben.

Wenn die Validierung erfolgreich ist, werden wir die Daten aus der 'get_movie_ratings' -Aufgabe nehmen und in Elasticsearch indizieren. Um dies zu erreichen, erstellen wir eine neue Aufgabe, 'index_movie_ratings', die den PythonOperator verwendet. Der Parameter op_args übergibt die Ergebnisse der Aufgabe 'get_movie_ratings' an die Indexierungsfunktion.

Wenn die Validierung einen Fehler anzeigt, fährt der DAG mit einer Fehlerbenachrichtigungsaufgabe fort. In diesem Beispiel geben wir einfach eine Meldung aus, aber in einem realen Szenario könnten wir Warnmeldungen konfigurieren, um über die Fehler zu informieren.

Abschließend definieren wir die Aufgabenabhängigkeiten und stellen sicher, dass sie in der richtigen Reihenfolge ausgeführt werden:

Hier folgt nun der vollständige Code unseres DAG:

Visualisierung der DAG-Ausführung

In der Apache Airflow-Oberfläche können wir die Ausführung der DAGs visualisieren. Gehen Sie einfach auf die Registerkarte „DAGs“ und suchen Sie den von Ihnen erstellten DAG.

Im Folgenden können wir die Ausführung der Aufgaben und ihre jeweiligen Status visualisieren. Durch die Auswahl einer Ausführung für ein bestimmtes Datum können wir auf die Protokolle der einzelnen Aufgaben zugreifen. Beachten Sie, dass wir in der index_movie_ratings -Aufgabe die Indexierungsergebnisse im Index sehen können und dass sie erfolgreich abgeschlossen wurde.

In den anderen Registerkarten können Sie auf zusätzliche Informationen zu den Aufgaben und dem DAG zugreifen, die Ihnen bei der Analyse und Lösung potenzieller Probleme helfen.

Fazit

In diesem Artikel haben wir gezeigt, wie man Apache Airflow mit Elasticsearch integriert, um eine Datenerfassungslösung zu erstellen. Wir haben gezeigt, wie man den DAG konfiguriert, die Aufgaben definiert, die für das Abrufen, Validieren und Indizieren von Filmdaten zuständig sind, und wie man die Ausführung dieser Aufgaben in der Airflow-Oberfläche überwacht und visualisiert.

Dieser Ansatz lässt sich leicht an verschiedene Datentypen und Arbeitsabläufe anpassen, wodurch Airflow zu einem nützlichen Werkzeug für die Orchestrierung von Datenpipelines in unterschiedlichen Szenarien wird.

Referenzen

Apache AirFlow

https://airflow.apache.org/

Apache Airflow mit Docker installieren

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Elasticsearch Python Hook

https://airflow.apache.org/docs/apache-airflow-providers-elasticsearch/stable/hooks/elasticsearch_python_hook.html

Python-Operator

https://airflow.apache.org/docs/apache-airflow/stable/howto/operator/python.html

Voraussetzungen

• Docker und Docker Compose: Stellen Sie sicher, dass Docker und Docker Compose auf Ihrem Rechner installiert sind.

• Python 3.x: Zum Ausführen der Producer- und Consumer-Skripte.

Einführung in Apache Kafka

Apache Kafka ist eine verteilte Streaming-Plattform, die hohe Skalierbarkeit und Verfügbarkeit sowie Fehlertoleranz ermöglicht. In Kafka erfolgt die Datenverwaltung über die Hauptkomponenten:

• Broker: zuständig für die Speicherung und Verteilung von Nachrichten zwischen Produzenten und Konsumenten.

• Zookeeper: verwaltet und koordiniert die Kafka-Broker und kontrolliert den Zustand des Clusters, die Partitionsleiter und die Verbraucherinformationen.

• Themen: Kanäle, auf denen Daten veröffentlicht und zur Nutzung gespeichert werden.

• Konsumenten und Produzenten: Während Produzenten Daten an die Themen senden, rufen Konsumenten diese Daten ab.

Diese Komponenten arbeiten zusammen und bilden das Kafka-Ökosystem, das ein robustes Framework für das Datenstreaming bietet.

Projektstruktur

Um den Datenerfassungsprozess zu verstehen, haben wir ihn in Phasen unterteilt:

• Infrastrukturbereitstellung: Einrichtung der Docker-Umgebung zur Unterstützung von Kafka, Elasticsearch und Kibana.

• Producer-Erstellung: Implementierung des Kafka-Producers, der Daten an das Logs-Topic sendet.

• Consumer Creation: Entwicklung des Kafka-Consumers zum Lesen und Indizieren von Nachrichten in Elasticsearch.

• Aufnahmevalidierung: Überprüfung und Validierung der gesendeten und empfangenen Daten.

Infrastrukturkonfiguration mit Docker Compose

Wir haben Docker Compose verwendet, um die notwendigen Dienste zu konfigurieren und zu verwalten. Nachfolgend finden Sie den Docker Compose-Code, der die für die Integration von Apache Kafka, Elasticsearch und Kibana erforderlichen Dienste einrichtet und so einen Datenaufnahmeprozess sicherstellt.

Sie können direkt über das Elasticsearch Labs GitHub- Repository auf die Datei zugreifen.

Datenübertragung mit dem Kafka Producer

Der Produzent ist für das Senden von Nachrichten an das Log-Thema verantwortlich. Durch das Senden von Nachrichten in Stapeln wird die Netzwerknutzungseffizienz gesteigert. Optimierungen sind mit den Einstellungen batch_size und linger_ms möglich, die die Anzahl bzw. die Latenz der Stapel steuern. Die Konfiguration acks='all' gewährleistet, dass Nachrichten dauerhaft gespeichert werden, was für wichtige Protokolldaten unerlässlich ist.

Beim Starten des Producers werden die Nachrichten in Batches an das Topic gesendet, wie unten dargestellt:

Konsum und Indizierung von Daten mit dem Kafka Consumer

Der Consumer ist so konzipiert, dass er Nachrichten effizient verarbeitet, indem er Batches aus dem Logs-Topic empfängt und diese in Elasticsearch indexiert. Mit auto_offset_reset='latest' wird sichergestellt, dass der Consumer mit der Verarbeitung der neuesten Nachrichten beginnt und die älteren ignoriert, und max_poll_records=10 begrenzt den Batch auf 10 Nachrichten. Bei fetch_max_wait_ms=2000 wartet der Konsument bis zu 2 Sekunden, um genügend Nachrichten zu sammeln, bevor er den Batch verarbeitet.

Im Hauptzyklus verarbeitet der Consumer die Logmeldungen, speichert sie in Elasticsearch und indexiert sie, um eine kontinuierliche Datenaufnahme zu gewährleisten.

Datenvisualisierung in Kibana

Mit Kibana können wir die von Kafka aufgenommenen und in Elasticsearch indexierten Daten untersuchen und validieren. Durch den Zugriff auf die Entwicklertools in Kibana können Sie die indizierten Nachrichten anzeigen und überprüfen, ob die Daten den Erwartungen entsprechen. Wenn beispielsweise unser Kafka-Producer 5 Batches mit jeweils 10 Nachrichten sendet, sollten wir insgesamt 50 Datensätze im Index sehen.

Um die Daten zu überprüfen, können Sie die folgende Abfrage im Abschnitt „Entwicklertools“ verwenden:

Abwehr:

Darüber hinaus bietet Kibana die Möglichkeit, Visualisierungen und Dashboards zu erstellen, die die Analyse intuitiver und interaktiver gestalten können. Nachfolgend sehen Sie einige Beispiele der von uns erstellten Dashboards und Visualisierungen, die die Daten in verschiedenen Formaten veranschaulichen und so unser Verständnis der verarbeiteten Informationen verbessern.

Datenaufnahme mit Kafka Connect

Kafka Connect ist ein Dienst, der die Integration zwischen Datenquellen und Zielen (Senken) wie Datenbanken oder Dateisystemen erleichtert. Es arbeitet mit vordefinierten Konnektoren, die den Datentransfer automatisch abwickeln. In unserem Fall fungiert Elasticsearch als Datensenke.

Mit Kafka Connect können wir den Datenaufnahmeprozess vereinfachen und die Notwendigkeit eliminieren, den Datenaufnahme-Workflow manuell in Elasticsearch zu implementieren. Mit dem passenden Konnektor ermöglicht Kafka Connect die direkte Indizierung von Daten, die an ein Kafka-Topic gesendet werden, in Elasticsearch – mit minimalem Einrichtungsaufwand und ohne zusätzliche Programmierung.

Arbeiten mit Kafka Connect

Um Kafka Connect zu implementieren, fügen wir den kafka-connect-Dienst zu unserem Docker Compose-Setup hinzu. Ein wichtiger Bestandteil dieser Konfiguration ist die Installation des Elasticsearch-Connectors, der für die Datenindizierung zuständig ist.

Nach der Konfiguration des Dienstes und der Erstellung des Kafka Connect-Containers wird eine Konfigurationsdatei für den Elasticsearch-Connector benötigt. Diese Datei definiert wichtige Parameter wie zum Beispiel:

• connection.url: Verbindungs-URL für Elasticsearch.

• topics: Das Kafka-Thema, das der Connector überwachen wird (in diesem Fall "logs").

• type.name: Dokumenttyp in Elasticsearch (typischerweise _doc).

• value.converter: Konvertiert Kafka-Nachrichten in das JSON-Format.

• value.converter.schemas.enable: Gibt an, ob das Schema einbezogen werden soll.

• schema.ignore und key.ignore: Einstellungen zum Ignorieren von Kafka-Schemas und -Schlüsseln während der Indizierung.

Nachfolgend der Befehl curl zum Erstellen des Elasticsearch-Connectors in Kafka Connect:

Mit dieser Konfiguration beginnt Kafka Connect automatisch mit der Erfassung der an das Topic "logs" gesendeten Daten und deren Indizierung in Elasticsearch. Dieser Ansatz ermöglicht die vollautomatische Datenerfassung und -indizierung ohne zusätzlichen Programmieraufwand und vereinfacht so den gesamten Integrationsprozess.

Fazit

Durch die Integration von Kafka und Elasticsearch entsteht eine leistungsstarke Pipeline für die Datenerfassung und -analyse in Echtzeit. Dieser Leitfaden bietet einen grundlegenden Ansatz für den Aufbau einer robusten Datenerfassungsarchitektur mit nahtloser Visualisierung und Analyse in Kibana, die sich zukünftig an komplexere Anforderungen anpassen lässt.

Darüber hinaus vereinfacht die Verwendung von Kafka Connect die Integration zwischen Kafka und Elasticsearch zusätzlich, wodurch die Notwendigkeit von zusätzlichem Code zur Verarbeitung und Indizierung von Daten entfällt. Kafka Connect ermöglicht es, Daten, die an ein bestimmtes Thema gesendet werden, mit minimalem Konfigurationsaufwand automatisch in Elasticsearch zu indizieren.

Neben der Integration der Hybridsuche zeigen wir Ihnen, wie Sie Funktionen hinzufügen können, die Ihre Suchlösung noch robuster machen. Dazu gehören Facettenmarketing und personalisierte Produktwerbung. Darüber hinaus zeigen wir Ihnen, wie Sie mit dem Behavioral Analytics Tool von Elastic Benutzerinteraktionen erfassen und wertvolle Erkenntnisse gewinnen können.

In dieser Implementierung sehen Sie, wie Sie sowohl die Benutzeroberfläche erstellen, die es Benutzern ermöglicht, die Suchergebnisse anzuzeigen und mit ihnen zu interagieren, als auch die API, die für die Rückgabe der Informationen zuständig ist. Die Links zu den Repositories mit dem Quellcode finden Sie unten:

• https://github.com/elastic/elasticsearch-labs/tree/main/supporting-blog-content/hybrid-search-for-an-e-commerce-product-catalogue/product-store-search

• https://github.com/elastic/elasticsearch-labs/tree/main/supporting-blog-content/hybrid-search-for-an-e-commerce-product-catalogue/app-product-store

Wir haben diesen Leitfaden in mehrere Schritte unterteilt, von der Erstellung des Index bis hin zur Implementierung erweiterter Funktionen wie Facettierung und Ergebnispersonalisierung. Am Ende verfügen Sie über eine robuste Suchlösung, die Sie im E-Commerce einsetzen können.

Umgebungseinrichtung für die hybride E-Commerce-Suche

Bevor wir mit der Implementierung beginnen, müssen wir die Umgebung einrichten. Sie können entweder einen Dienst auf Elastic Cloud oder eine containerisierte Lösung zur Verwaltung von Elasticsearch nutzen. Wenn Sie sich für die Containerisierung entscheiden, finden Sie eine Konfiguration über Docker Compose in diesem Repository: docker-compose.yml.

Indexerstellung und Produktkatalog-Einführung

Der Index wird auf Basis eines Katalogs von Kosmetikprodukten erstellt, der Felder wie Name, Beschreibung, Foto, Kategorie und Schlagwörter enthält. Felder, die für die Volltextsuche verwendet werden, wie „Name“ und „Beschreibung“, werden als text abgebildet, während Felder, die für Aggregationen verwendet werden, wie „Kategorie“ und „Marke“, als keyword abgebildet werden, um die Facettierung zu ermöglichen.

Das Feld „Beschreibung“ wird für die Vektorsuche verwendet, da es mehr Kontextinformationen zu den Produkten liefert. Dieses Feld wird als dense_vector, definiert und speichert die Vektordarstellung der Beschreibung.

Die Indexzuordnung erfolgt wie folgt:

Das Skript zur Erstellung des Indexes finden Sie hier.

Einbettungsgeneration

Zur Vektorisierung der Produktbeschreibungen verwenden wir das Modell all-MiniLM-L6-v2. In diesem Fall ist die Anwendung für die Generierung der Einbettungen vor der Indizierung verantwortlich. Eine weitere Möglichkeit wäre, das Modell in den Elasticsearch-Cluster zu importieren, aber für diese lokale Umgebung haben wir uns dafür entschieden, die Vektorisierung direkt innerhalb der Anwendung durchzuführen.

Wir nutzten den auf Kaggle verfügbaren Kosmetikdatensatz, um den Index zu füllen, und um die Effizienz der Datenerfassung zu verbessern, verwendeten wir die Stapelverarbeitung. Während dieser Aufnahmephase werden wir die Einbettungen für das Feld "description" generieren und sie im neuen Feld "description_embeddings" indizieren.

Der gesamte Datenerfassungsprozess kann direkt über das im Repository verfügbare Jupyter Notebook verfolgt und ausgeführt werden. Das Notebook bietet eine Schritt-für-Schritt-Anleitung, wie die Daten gelesen, verarbeitet und in Elasticsearch indexiert werden, was eine einfache Reproduktion und das Experimentieren ermöglicht.

Sie können das Notebook unter folgendem Link aufrufen: Ingestion Notebook.

Implementierung der Hybridsuche

Implementieren wir nun die hybride Suche. Für die schlüsselwortbasierte Suche verwenden wir die Abfrage multi_match , die auf die Felder "Name", "Kategorie" und "Beschreibung" abzielt. Dadurch wird sichergestellt, dass Dokumente abgerufen werden, die den Suchbegriff in einem dieser Felder enthalten.

Für die Vektorsuche verwenden wir die KNN-Abfrage. Der Suchbegriff muss vor der Ausführung der Abfrage vektorisiert werden. Dies geschieht mithilfe der Methode, die den Eingabebegriff vektorisiert. Beachten Sie, dass für den Suchbegriff dasselbe Modell verwendet wird, das während der Datenaufnahme verwendet wurde.

Die Kombination beider Suchvorgänge erfolgt mithilfe des Reciprocal Rank Fusion (RRF) -Algorithmus, der die Ergebnisse der beiden Abfragen zusammenführt und die Suchgenauigkeit durch Reduzierung von Rauschen erhöht. RRF ermöglicht die Kombination von schlüsselwortbasierter und Vektorsuche und verbessert so das Verständnis der Benutzeranfrage.

Ergebnisse im Vergleich: Stichwortsuche vs. Hybridsuche

Vergleichen wir nun die Ergebnisse einer herkömmlichen Stichwortsuche mit denen einer Hybridsuche. Bei der Suche nach „Foundation für trockene Haut“ mittels Stichwortsuche erhalten wir folgende Ergebnisse:

1. Revlon ColorStay Make-up für normale/trockene Haut: Revlon ColorStay Make-up bietet langanhaltende Deckkraft mit einer leichten Formel, die nicht verläuft, verblasst oder abfärbt. Mit Time-Release-Technologie ist diese ölfreie, feuchtigkeitsausgleichende Formel speziell für normale oder trockene Haut entwickelt, um kontinuierlich Feuchtigkeit zu spenden. Eigenschaften: Angenehmes Tragegefühl und bis zu 24 Stunden Halt. Mittlere bis hohe Deckkraft. Erhältlich in einer Reihe wunderschöner Farbtöne.

2. Maybelline Dream Smooth Mousse Foundation – Beschreibung: Warum Sie sie lieben werden: Die einzigartige, cremig-aufgeschlagene Foundation sorgt für ein 100 % babyweiches Hautgefühl.\n\nHaut Spendet 14 Stunden lang Feuchtigkeit – nie rau oder trocken. Die leichte Formel bietet optimale Feuchtigkeitspflege. Verschmilzt nahtlos mit der Haut und sorgt den ganzen Tag für ein frisches Gefühl. Ölfrei, parfümfrei, dermatologisch getestet, allergiegetestet, nicht komedogen – verstopft die Poren nicht. Sicher. Für empfindliche Haut.

Analyse: Bei der Suche nach „Foundation für trockene Haut“ wurden die Ergebnisse durch die exakte Übereinstimmung zwischen den Suchbegriffen und den Produkttiteln und -beschreibungen erzielt. Diese Übereinstimmung spiegelt jedoch nicht immer die beste Wahl wider. Zum Beispiel ist Revlon ColorStay Makeup für normale/trockene Haut eine gute Wahl, da es speziell für trockene Haut entwickelt wurde. Obwohl es ölfrei ist, ist seine Formel so konzipiert, dass sie für kontinuierliche Feuchtigkeitsversorgung sorgt. Im Gegensatz dazu erhielten wir auch die Maybelline Dream Smooth Mousse Foundation, die zwar ölfrei ist und Feuchtigkeit spendet, aber generell eher für fettige oder Mischhaut empfohlen wird, da ölfreie Produkte sich eher auf die Kontrolle des Öls konzentrieren, als die zusätzliche Feuchtigkeit zu spenden, die für trockene Haut notwendig ist. Dies verdeutlicht die Grenzen von schlüsselwortbasierten Suchen, die Produkte liefern können, die den spezifischen Bedürfnissen von Menschen mit trockener Haut nicht vollständig gerecht werden.

Wenn man nun dieselbe Suche mit dem hybriden Ansatz durchführt:

1. CoverGirl Outlast Stay Luminous Foundation Creamy Natural (820): Beschreibung: Die CoverGirl Outlast Stay Luminous Foundation eignet sich perfekt, um ein taufrisches Finish und einen subtilen Glow zu erzielen. Es ist ölfrei und hat eine nicht fettende Formel, die Ihrer Haut einen natürlichen Glanz verleiht, der den ganzen Tag anhält! Diese Foundation hält den ganzen Tag, spendet der Haut Feuchtigkeit und sorgt gleichzeitig für eine makellose Deckkraft. Analyse: Dieses Produkt passt gut, da es die Feuchtigkeitszufuhr betont, was für Anwender mit trockener Haut von entscheidender Bedeutung ist. Die Begriffe „spendet Feuchtigkeit“ und „glänzendes Finish“ entsprechen der Absicht des Nutzers, eine Foundation für trockene Haut zu finden. Die Vektorsuche hat wahrscheinlich das Konzept der Feuchtigkeitsversorgung verstanden und es mit dem Bedarf an einer Foundation in Verbindung gebracht, die trockene Haut berücksichtigt.

2. Revlon ColorStay Make-up für normale/trockene Haut: Beschreibung: Revlon ColorStay Make-up bietet langanhaltende Deckkraft mit einer leichten Formel, die nicht verklumpt, verblasst oder abfärbt. Dank der Time Release Technology ist diese ölfreie, feuchtigkeitsausgleichende Formel speziell für normale oder trockene Haut entwickelt worden, um kontinuierlich Feuchtigkeit zu spenden. Analyse: Dieses Produkt geht direkt auf die Bedürfnisse von Anwendern mit trockener Haut ein, indem es ausdrücklich darauf hinweist, dass es für normale oder trockene Haut formuliert ist. Die „Feuchtigkeitsausgleichsformel“ und die kontinuierliche Feuchtigkeitszufuhr eignen sich hervorragend für alle, die eine Foundation suchen, die auf trockene Haut abgestimmt ist. Die Vektorsuche lieferte dieses Ergebnis erfolgreich, nicht nur aufgrund der Übereinstimmung mit den Schlüsselwörtern, sondern auch aufgrund des Fokus auf Feuchtigkeitsversorgung und der spezifischen Erwähnung von trockener Haut als Zielgruppe.

3. Serum Foundation – Beschreibung: Serum Foundations sind leichte Formulierungen mit mittlerer Deckkraft, die in einer umfassenden Farbpalette mit 21 Farbtönen erhältlich sind. Diese Foundations bieten eine moderate Deckkraft, die natürlich aussieht und sich wie ein sehr leichtes Serum anfühlt. Sie sind sehr niedrigviskos und werden mit der mitgelieferten Pumpe oder, falls gewünscht, mit der separat erhältlichen Glaspipette dosiert. Analyse: In diesem Fall wird die leichte Serum-Foundation mit natürlichem Tragegefühl hervorgehoben, was den Bedürfnissen von Menschen mit trockener Haut entgegenkommt, da diese oft nach Produkten suchen, die sanft und feuchtigkeitsspendend sind und ein nicht maskenhaftes Finish bieten. Die Vektorsuche erfasste wahrscheinlich den breiteren Kontext der leichten, natürlichen Deckkraft und der serumartigen Textur, die mit Feuchtigkeitsspeicherung und einem angenehmen Auftragen verbunden ist, wodurch sie für trockene Haut relevant wird, obwohl der Begriff "trockene Haut" nicht explizit erwähnt wird.

Facettenimplementierung

Facetten sind unerlässlich, um Suchergebnisse effizient zu verfeinern und zu filtern und den Nutzern eine gezieltere Navigation zu ermöglichen, insbesondere in Szenarien mit einer großen Produktvielfalt, wie beispielsweise im E-Commerce. Sie ermöglichen es den Nutzern, die Ergebnisse anhand von Attributen wie Kategorie, Marke oder Preis anzupassen, wodurch die Suche präziser wird. Zur Implementierung dieser Funktion verwenden wir Termaggregationen auf den Feldern category und brand , die während der Indexerstellungsphase als keyword definiert wurden.

Den vollständigen Code für die Implementierung finden Sie hier.

Nachfolgend die Facetten-Ergebnisse der Suche nach „Foundation für trockene Haut“:

Ergebnisse anpassen: Angeheftete Abfragen

In einigen Fällen kann es von Vorteil sein, bestimmte Produkte in den Suchergebnissen hervorzuheben. Hierfür verwenden wir angeheftete Suchanfragen, die es ermöglichen, dass bestimmte Produkte ganz oben in den Suchergebnissen erscheinen. Im Folgenden führen wir eine Suche nach dem Begriff „Foundation“ durch, ohne dabei Produkte zu bewerben:

In unserem Beispiel können wir Produkte bewerben, die mit dem Etikett „Glutenfrei“ gekennzeichnet sind. Durch die Verwendung der Produkt-IDs stellen wir sicher, dass diese in den Suchergebnissen priorisiert werden. Konkret werden wir die folgenden Produkte bewerben: Serum Foundation (ID: 1043), Coverage Foundation (ID: 1042) und Realist Invisible Setting Powder (ID: 1039).

Wir verwenden spezifische Produkt-IDs, um sicherzustellen, dass diese in den Suchergebnissen priorisiert werden. Die Abfragestruktur enthält eine Liste von Produkt-IDs, die oben "angeheftet" werden sollen (in diesem Fall die IDs 1043, 1042 und 1039), während die übrigen Ergebnisse dem organischen Suchverlauf folgen und eine Kombination von Bedingungen wie der Textabfrage in den Feldern "Name", "Kategorie" und "Beschreibung" verwenden. Auf diese Weise können Artikel gezielt beworben werden, wodurch ihre Sichtbarkeit gewährleistet wird, während die übrige Suche weiterhin auf der üblichen Relevanz basiert.

Nachfolgend sehen Sie das Ergebnis der Abfrageausführung mit den beworbenen Produkten:

Den vollständigen Abfragecode finden Sie hier.

Analyse des Suchverhaltens mithilfe von Verhaltensanalysen

Bis jetzt haben wir bereits Funktionen hinzugefügt, um die Relevanz der Suchergebnisse zu verbessern und die Auffindbarkeit von Produkten zu erleichtern. Nun vervollständigen wir unsere Suchlösung, indem wir eine Funktion integrieren, die uns hilft, das Suchverhalten der Nutzer zu analysieren und Muster wie Suchanfragen mit oder ohne Ergebnisse sowie Klicks auf Suchergebnisse zu identifizieren. Hierfür nutzen wir die Verhaltensanalysefunktion von Elastic. Damit können wir in nur wenigen Schritten das Suchverhalten der Nutzer überwachen und analysieren und so wertvolle Erkenntnisse gewinnen, um das Sucherlebnis zu optimieren.

Erstellung der Verhaltensanalyse-Sammlung

Unser erster Schritt wird darin bestehen, eine Sammlung zu erstellen, die für den Empfang aller Verhaltensanalyseereignisse zuständig sein wird. Um die Sammlung zu erstellen, greifen Sie über Suche > Verhaltensanalysen auf die Kibana-Oberfläche zu. Im folgenden Beispiel haben wir die Sammlung mit dem Namen tracking-search erstellt.

Integration von Verhaltensanalysen in die Schnittstelle

Unsere Front-End -Anwendung wurde in JavaScript entwickelt, und um Behavioral Analytics zu integrieren, werden wir die in der offiziellen Elastic-Dokumentation beschriebenen Schritte zur Installation des Behavioral Analytics JavaScript Trackers befolgen.

Implementierung des JavaScript-Trackers

Nun importieren wir den Tracker-Client in unsere Anwendung und verwenden die Methoden trackPageView, trackSearch und trackSearchClick , um Benutzerinteraktionen zu erfassen.

Hinweis: Obwohl wir ein Tool zur Erfassung von Nutzerinteraktionsdaten verwenden, ist die Einhaltung der DSGVO unerlässlich. Dies bedeutet, die Nutzer klar darüber zu informieren, welche Daten erhoben werden, wie diese verwendet werden und ihnen die Möglichkeit zu geben, der Nachverfolgung zu widersprechen. Darüber hinaus müssen wir strenge Sicherheitsmaßnahmen implementieren, um die gesammelten Informationen zu schützen und die Rechte der Nutzer, wie z. B. das Recht auf Datenzugriff und -löschung, zu respektieren und sicherzustellen, dass alle Schritte den Grundsätzen der DSGVO entsprechen.

Schritt 1: Erstellen der Tracker-Instanz

Zuerst erstellen wir die Tracker-Instanz, die die Interaktionen überwacht. In dieser Konfiguration definieren wir den Zielendpunkt, den Sammlungsnamen und den API-Schlüssel:

Schritt 2: Seitenaufrufe erfassen

Um Seitenaufrufe zu verfolgen, können wir das trackPageView -Ereignis konfigurieren:

Weitere Einzelheiten zum trackPageView -Ereignis finden Sie in dieser Dokumentation.

Schritt 3: Suchanfragen erfassen

Um die Suchaktionen der Nutzer zu überwachen, verwenden wir die trackSearch -Methode:

Hier erfassen wir den Suchbegriff und die Suchergebnisse.

Schritt 4: Klicks auf Suchergebnisse verfolgen

Um schließlich Klicks auf Suchergebnisse zu erfassen, verwenden wir die trackSearchClick -Methode:

Wir erfassen Informationen über die ID des angeklickten Dokuments sowie über den Suchbegriff und die Suchergebnisse.

Analyse der Daten in Kibana

Da nun Benutzerinteraktionsereignisse erfasst werden, können wir wertvolle Daten über Suchaktionen gewinnen. Kibana verwendet das Tool „Verhaltensanalyse“, um diese Verhaltensdaten zu visualisieren und zu analysieren. Um die Ergebnisse anzuzeigen, navigieren Sie einfach zu „Suchen“ > „Verhaltensanalyse“ > „Meine Sammlung“. Dort wird eine Übersicht der erfassten Ereignisse angezeigt.

In dieser Übersicht erhalten wir einen allgemeinen Überblick über die Ereignisse, die für jede in unsere Benutzeroberfläche integrierte Aktion erfasst werden. Aus diesen Informationen können wir wertvolle Einblicke in das Suchverhalten der Nutzer gewinnen. Wenn Sie jedoch personalisierte Dashboards mit Kennzahlen erstellen möchten, die besser zu Ihrem spezifischen Szenario passen, bietet Kibana leistungsstarke Tools zum Erstellen von Dashboards, mit denen Sie verschiedene Visualisierungen Ihrer Kennzahlen erstellen können.

Im Folgenden habe ich einige Visualisierungen und Diagramme erstellt, um beispielsweise die am häufigsten gesuchten Begriffe im Zeitverlauf, Suchanfragen ohne Ergebnisse, eine Wortwolke mit den am häufigsten gesuchten Begriffen und schließlich eine geografische Visualisierung zur Ermittlung der Herkunft der Suchzugriffe zu überwachen.

Fazit

In diesem Artikel haben wir eine hybride Suchlösung vorgestellt, die Keyword- und Vektorsuche kombiniert und so genauere und relevantere Ergebnisse für die Nutzer liefert. Wir haben auch untersucht, wie man zusätzliche Funktionen wie Facetten und die Personalisierung der Ergebnisse mit angehefteten Suchanfragen nutzen kann, um ein umfassenderes und effizienteres Sucherlebnis zu schaffen.

Darüber hinaus haben wir die Verhaltensanalyse von Elastic integriert, um das Nutzerverhalten während der Interaktion mit der Suchmaschine zu erfassen und zu analysieren. Mithilfe von Methoden wie trackPageView, trackSearch und trackSearchClick konnten wir Suchanfragen, Klicks auf Suchergebnisse und Seitenaufrufe überwachen und so wertvolle Einblicke in das Suchverhalten gewinnen.

Referenzen

Datensatz

https://www.kaggle.com/datasets/shivd24coder/cosmetic-brand-products-dataset

Transformator

https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

Reziproke Rangfusion

https://www.elastic.co/guide/en/elasticsearch/reference/current/rrf.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/retriever.html#rrf-retriever

Knn-Abfrage

https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html

Angeheftete Anfrage

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-pinned-query.html

APIs für Verhaltensanalysen

https://www.elastic.co/guide/en/elasticsearch/reference/current/behavioral-analytics-apis.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/behavioral-analytics-overview.html

Viele E-Commerce-Websites sind daran interessiert, das Sucherlebnis für Rezepte zu verbessern. Die semantische Suche ermöglicht es Kunden bei korrekter Anwendung, die benötigten Zutaten schnell anhand natürlicher Suchanfragen zu finden, wie zum Beispiel „etwas für den Valentinstag“ oder „Thanksgiving-Gerichte“.

In diesem Artikel zeigen wir, wie man Elasticsearch zur Implementierung einer semantischen Suche nutzt, die solche Anfragen unterstützt. Wir werden einen Index konfigurieren, um den Katalog der Zutaten und Produkte eines Supermarkts zu speichern, und demonstrieren, wie dieser Index zur Verbesserung der Rezeptsuche verwendet werden kann. Im Verlauf des Artikels erklären wir, wie diese Datenstruktur erstellt wird und wie Techniken der natürlichen Sprachverarbeitung angewendet werden, um relevante Ergebnisse zu liefern, die der Absicht des Kunden entsprechen.

Der gesamte in diesem Artikel vorgestellte Code wurde in Python entwickelt und ist auf GitHub verfügbar. Sie können auf das Repository zugreifen, um den Quellcode einzusehen, gegebenenfalls Anpassungen vorzunehmen und die Lösungen direkt in Ihrer Entwicklungsumgebung zu implementieren.

Beginn der Implementierung der semantischen Suche

Um mit der Implementierung der semantischen Suche zu beginnen, müssen wir zunächst das natürliche Sprachmodell definieren. Elastic bietet sein eigenes Modell ELSER an, unterstützt aber auch die Integration von NLP-Modellen verschiedener Anbieter, wie beispielsweise Hugging Face. Diese Flexibilität ermöglicht es Ihnen, die Option zu wählen, die Ihren Bedürfnissen am besten entspricht.

In diesem Artikel verwenden wir ELSER, das die Komplexität der Bereitstellung und Verwaltung von NLP-Modellen reduziert. Darüber hinaus bietet Elastic die Funktion semantic_text an, die den Prozess erheblich vereinfacht. Mit semantic_text wird der gesamte Einbettungsgenerierungsprozess unkompliziert und automatisiert. Sie müssen lediglich einen Inferenzpunkt definieren und das Feld angeben, das die Einbettungen in Ihrer Indexzuordnung aufnehmen soll. Während der Dokumentenindizierung werden Einbettungen generiert und automatisch dem angegebenen Feld zugeordnet.

Einrichtungsschritte

Nachfolgend sind die Schritte zum Erstellen eines Index mit semantischer Suchunterstützung aufgeführt. Wenn Sie diese Anweisungen befolgen, wird Ihr Index konfiguriert und ist bereit für semantische Suchen:

1. Erstelle den Inferenzpunkt.

2. Erstellen Sie den Index und setzen Sie das Beschreibungsfeld auf semantic_text, damit er die Einbettungen empfangen kann.

3. Die Daten werden im Lebensmittelkatalogindex indexiert , der einen Produktkatalog speichert. Dieser Katalog wurde aus einem hier verfügbaren Datensatz erstellt.

Anwendung der semantischen Suche in Supermärkten

Nachdem wir den Index nun mit Produktdaten aus Lebensmittelgeschäften gefüllt haben, testen und validieren wir Suchanfragen, um die Suchergebnisse mithilfe der semantischen Suche zu verbessern. Unser Ziel ist es, ein intelligenteres Sucherlebnis zu bieten, das den Kontext und die Absicht des Nutzers versteht und relevantere und genauere Ergebnisse liefert.

Durch semantische Suche gelöste Herausforderungen

Anhand des Produktkatalogs wollen wir untersuchen, wie die semantische Suche das Sucherlebnis in Supermärkten verändern kann, indem sie Vokabel- und Kontextprobleme angeht, mit denen die traditionelle lexikalische Suche oft zu kämpfen hat.

1. Interpretation kulinarischer Absichten

Problem 01: Ein Kunde sucht möglicherweise nach „Meeresfrüchte zum Grillen“, aber ein lexikalisches Suchsystem versteht die Absicht hinter der Suchanfrage möglicherweise nicht vollständig. Es kann vorkommen, dass nicht alle zum Grillen geeigneten Meeresfrüchteprodukte erkannt werden und nur diejenigen zurückgegeben werden, die den genauen Begriff „Meeresfrüchte“ oder „Grill“ im Produktnamen enthalten.

Zunächst führen wir eine lexikalische Suche durch und analysieren die Ergebnisse. Anschließend werden wir das Gleiche mit einer semantischen Suche durchführen und die Ergebnisse für denselben Suchbegriff vergleichen.

lexikalische Abfrage

Ergebnisse:

Suchtyp

Name

Punktzahl

Lexikalisch

Nordwestfisch Alaskan Bairdi Schneekrabbe

10,453125

Lexikalisch

Herr Yoshidas, Sauce Original Gourmet

7,2289705

Lexikalisch

Premium-Meeresfrüchte-Probierpaket – 20 Stück

7.1924105

Lexikalisch

Amerikanischer Roter Schnapper - Ganz, mit Kopf, ausgenommen

6,998647

Lexikalisch

Hummerscheren und -arme, nachhaltig wild gefangen

6,438654

Die lexikalische Suche ergab einige Meeresfrüchte, die sich zum Grillen eignen, wie zum Beispiel Amerikanischer Roter Schnapper und Nordwestfisch Alaskan Bairdi Schneekrabbe. Die lexikalische Suche lieferte jedoch weniger relevante Produkte an die Spitze der Liste, wie zum Beispiel die Mr. Yoshida Sauce, die keine Meeresfrüchte-, sondern eine Fleischsauce ist. Dies lässt darauf schließen, dass der lexikalische Algorithmus Schwierigkeiten hatte, den Kontext von „zum Grillen“ vollständig zu verstehen.

Lösung für semantische Suche

Wir verwenden eine Abfrage, die den Begriff „Meeresfrüchte“ mit Zubereitungskontexten wie „Grillen“ kombiniert, um eine umfassende Liste von Optionen zurückzugeben, wie zum Beispiel Fischfilets, Garnelen und Jakobsmuscheln, die sich ideal zum Grillen eignen – selbst wenn die Wörter „Grill“ oder „Meeresfrüchte“ nicht direkt im Produktnamen vorkommen. Dadurch wird sichergestellt, dass die Suchergebnisse besser mit den Absichten des Kunden übereinstimmen.

semantische Suche:

Suchtyp

Name

Punktzahl

Semantisch

Ganzer, ausgenommener Wolfsbarsch mit Kopf

16.175909

Semantisch

Alaska-Schwarzkabeljau (Sablefisch)

15,855331

Semantisch

Amerikanischer Roter Schnapper - Ganz, mit Kopf

15,454779

Semantisch

Nordwestfisch Alaskan Bairdi Schneekrabbe

15,855331

Semantisch

Amerikanischer Roter Schnapper - Ganz, mit Kopf

15,3892355

Die semantische Suche lieferte nicht nur Produkte, die direkt mit dem Begriff „Meeresfrüchte“ in Verbindung standen, sondern verstand auch den Kontext von „Grillen“ und brachte ganze Fische und Filets zum Vorschein, die zum Grillen geeignet sind. Entscheidend ist hierbei die Präzision der Ergebnisse, die auch ganze Fischsorten wie Branzino und Alaska Black Cod umfassten, die beide häufig zum Grillen verwendet werden.

Problem 02 : Viele Kunden suchen nach schnellen und einfachen Abendessenlösungen nach einem langen Arbeitstag und verwenden dabei Begriffe wie „einfache Abendessen für die Woche“. Die traditionelle lexikalische Suche erfasst das Konzept der Schnellgerichte möglicherweise nicht vollständig, da sie sich oft nur auf Produkte konzentriert, die das Wort „einfach“ in ihrem Namen enthalten.

Wie schon in der vorherigen Aufgabe beginnen wir mit einer lexikalischen Suche. Anschließend werden wir eine Lösung mittels semantischer Suche anwenden.

lexikalische Abfrage

Ergebnisse:

Suchtyp

Name

Punktzahl

Lexikalisch

Avery Easy Peel Adressetiketten, 4200 Stück

8,017723

Lexikalisch

Omeals Selbsterhitzende Not-/Portable Mahlzeiten 32

6,592727

Lexikalisch

Poke-Brot mit Gelbflossenthunfischwürfeln

5,836883

Lexikalisch

Hefty Super Weight 12 oz Schaumstoff

5,8116536

Lexikalisch

Vanity Fair Alltagsservietten, 2-lagig, 110 Stück

5,752989

Die lexikalische Suche lieferte deutlich weniger relevante Ergebnisse, darunter Artikel, die in keinem Zusammenhang mit Mahlzeiten stehen, wie zum Beispiel Avery Easy Peel Adressetiketten und Vanity Fair Everyday Servietten. Diese Produkte erfüllen nicht das Bedürfnis des Nutzers nach schnellen Mahlzeiten. Während die lexikalische Suche ein nützliches Produkt (Omeals Selbstheizende Notfallmahlzeiten) lieferte, enthielten andere Ergebnisse, wie Servietten und Etiketten, in ihren Beschreibungen lediglich die Wörter „einfach“ oder „Wochentag“, ohne wirklich auf die Absicht des Nutzers nach einer schnellen Mahlzeitenlösung einzugehen.

Lösung für semantische Suche

Wir haben eine Abfrage implementiert, die die Absicht hinter schnellen und einfachen Mahlzeiten versteht. Es assoziiert Produkte, die schnell zubereitet werden können, wie vorgekochtes Fleisch, Tiefkühlnudeln oder Fertiggerichte, auch wenn sie das Wort „einfach“ nicht explizit im Namen tragen. Dieser Ansatz stellt sicher, dass die Kunden die am besten geeigneten Optionen für ein schnelles Abendessen unter der Woche finden und somit dem Bedürfnis nach Bequemlichkeit gerecht werden.

semantische Suche

Ergebnisse:

Suchtyp

Name

Punktzahl

Semantisch

Omeals Selbsterhitzende Not-/Portable Mahlzeiten 32

14.610006

Semantisch

Nissin, Cup Noodles, Garnelen, 71 g

13,751424

Semantisch

Namaste Glutenfreie Waffel- und Pfannkuchenmischung

13,73376

Semantisch

Idaho-Kartoffeln, Golden Grill Hashbrown-Kartoffeln

12,549422

Semantisch

Nissin Cup Noodles, Hühnchen, 24er-Packung

12.034527

Die semantische Suche ergab Produkte, die eindeutig mit schnellen und praktischen Mahlzeiten in Verbindung stehen, wie zum Beispiel Instantnudeln (Cup Noodles), vorgekochte Kartoffeln und Pfannkuchenmischungen, die typische Optionen für ein einfaches Abendessen unter der Woche sind. Dies beweist, dass die semantische Suche das Konzept hinter dem Ausdruck „einfache Gerichte für die Woche“ erfassen kann und die Absicht des Nutzers erkennt, schnelle und bequeme Mahlzeiten zu finden. Interessanterweise können auch Produkte aus anderen Kategorien, wie zum Beispiel „Limonade“, einbezogen werden, wenn dies im Kontext relevant ist (z. B. Getränke zu Mahlzeiten).

2. Regionale Begriffe und Vokabelvariationen

Problem: Ein Kunde sucht möglicherweise nach „Soda“, während ein anderer Kunde für dasselbe Produkt „Pop“ verwendet. Die traditionelle lexikalische Suche erkennt nicht, dass sich beide Begriffe auf denselben Gegenstand beziehen.

lexikalische Abfrage

Ergebnisse:

Suchtyp

Name

Punktzahl

Lexikalisch

Prime Hydration+ Sticks Elektrolyt-Getränkemischung

14,492869

Lexikalisch

Capri Sun, 100 % Saft, Probierpackung

12.340851

Lexikalisch

Joyburst Energy Drink, Frose Rose, 12

11,839179

Lexikalisch

Kellogg's Pop-Tarts, Zuckerguss-Zimt

9,97788

Lexikalisch

Kind Mini-Riegel, Probierpackung, 0,7

9,336912

Die lexikalische Suche konzentriert sich auf exakte Wortübereinstimmungen. Während Produkte wie Prime Hydration und Capri Sun zurückgegeben wurden, führte die direkte Übereinstimmung mit dem Begriff „Pop“ auch zu irrelevanten Ergebnissen, wie zum Beispiel Kellogg's Pop-Tarts, das ein Snack und kein Getränk ist. Dies verdeutlicht, wie die lexikalische Suche weniger effektiv sein kann, wenn ein Begriff mehrere Bedeutungen hat oder mehrdeutig sein kann.

Lösung für semantische Suche

Bei semantischen Anfragen können wir das Problem der Vokabelvariationen überwinden, das bei der lexikalischen Suche nicht gelöst werden kann. Durch die Erweiterung der Suchbegriffe können wir Ergebnisse erzielen, die auf dem Kontext basieren und relevantere und umfassendere Antworten liefern.

Abfrage:

Ergebnisse:

Suchtyp

Name

Punktzahl

Semantisch

Olipop 12 oz Präbiotika-Limonade (verschiedene Sorten)

14,776867

Semantisch

Bai Antioxidant Cocofusion, Probierpackung, 18

14,663253

Semantisch

Monster Energy Drink, Zero Ultra, 24

14,486348

Semantisch

Joyburst Energy Variety, 355 ml

14.007214

Semantisch

Joyburst Energy Drink, Frose Rose, 12

13,641038

Die semantische Suche liefert Produkte, die direkt dem Konzept von „Pop“ als Synonym für „Soda“ entsprechen (wie z. B. Olipop Prebiotics Soda), auch wenn der genaue Begriff „Pop“ nicht im Produktnamen enthalten ist. Die Suche erkannte die Absicht des Nutzers – ein erfrischendes Getränk mit wenig Zucker – und konnte relevante Produkte zurückgeben, darunter Optionen wie präbiotische Limonaden (Olipop) und zuckerfreie Energy-Drinks (Monster Energy Drink).

Fazit

Die Implementierung der semantischen Suche im Kontext von Lebensmittelgeschäften hat sich als äußerst effektiv erwiesen, um komplexe Anfragen wie „Meeresfrüchte zum Grillen“ und „einfache Gerichte für die Woche“ zu verstehen. Dieser Ansatz ermöglichte es uns, die Absicht der Nutzer genauer zu interpretieren und ihnen hochrelevante Produkte zurückzugeben.

Durch den Einsatz von Elasticsearch und die Vereinfachung des Prozesses mit ELSER konnten wir die semantische Suche schnell und effizient implementieren, die Suchergebnisse deutlich verbessern und ein agileres und zielgerichteteres Einkaufserlebnis ermöglichen. Dadurch wurde nicht nur der Suchprozess optimiert, sondern auch die Relevanz der den Kunden angebotenen Ergebnisse erhöht.

Referenzen

Modell ELSER:

https://www.elastic.co/guide/en/elasticsearch/reference/current/put-inference-api.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/infer-service-elser.html

Semantischer Text:

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-text.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search.html

Datensatz:

https://www.kaggle.com/datasets/bhavikjikadara/grocery-store-dataset?select=GroceryDataset.csv

Semantische Suche:

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search-semantic-text.html

Was ist Apache Camel?

Apache Camel ist ein Open-Source-Integrationsframework, das die Verbindung verschiedener Systeme vereinfacht und es Entwicklern ermöglicht, sich auf die Geschäftslogik zu konzentrieren, ohne sich um die Komplexität der Systemkommunikation kümmern zu müssen. Das zentrale Konzept in Camel sind „Routen“, die den Weg definieren, den eine Nachricht vom Ursprung zum Ziel zurücklegt, einschließlich potenzieller Zwischenschritte wie Transformationen, Validierungen und Filterungen.

Apache Camel-Architektur

Camel verwendet „Komponenten“, um Verbindungen zu verschiedenen Systemen und Protokollen wie Datenbanken und Messaging-Diensten herzustellen, sowie „Endpunkte“, um die Ein- und Austrittspunkte von Nachrichten darzustellen. Diese Konzepte bieten ein modulares und flexibles Design, wodurch die Konfiguration und Verwaltung komplexer Integrationen effizienter und skalierbarer wird.

Verwendung von Elasticsearch und Apache Camel

Wir zeigen Ihnen, wie Sie eine einfache Java-Anwendung konfigurieren, die Apache Camel verwendet, um Daten in einen Elasticsearch-Cluster einzuspeisen. Die Prozesse zum Erstellen, Aktualisieren und Löschen von Daten in Elasticsearch mithilfe von in Apache Camel definierten Routen werden ebenfalls behandelt.

1. Hinzufügen von Abhängigkeiten

Der erste Schritt bei der Konfiguration dieser Integration besteht darin, die notwendigen Abhängigkeiten zur pom.xml -Datei Ihres Projekts hinzuzufügen. Dies umfasst die Apache Camel- und Elasticsearch-Bibliotheken. Wir werden die neue Java API Client-Bibliothek verwenden, daher müssen wir die Komponente camel-elasticsearch importieren, und zwar in der Version, die mit der der Bibliothek camel-core übereinstimmen muss.

Wenn Sie den Java Low Level Rest Client verwenden möchten, müssen Sie die Elasticsearch Low Level Rest Client-Komponente verwenden.

2. Konfigurieren und Ausführen des Camel-Kontexts

Die Konfiguration beginnt mit der Erstellung eines neuen Camel-Kontexts mithilfe der Klasse DefaultCamelContext , die als Basis für die Definition und Ausführung von Routen dient. Als Nächstes konfigurieren wir die Elasticsearch-Komponente, die es Apache Camel ermöglicht, mit einem Elasticsearch-Cluster zu interagieren. Die ESlasticsearchComponent -Instanz ist so konfiguriert, dass sie eine Verbindung zur Adresse localhost:9200 herstellt. Dies ist die Standardadresse für einen lokalen Elasticsearch-Cluster. Für eine Umgebungskonfiguration, die eine Authentifizierung erfordert, sollten Sie die Dokumentation zur Konfiguration der Komponente und zur Aktivierung der Basisauthentifizierung lesen, die unter dem Titel „Komponente konfigurieren und Basisauthentifizierung aktivieren“ bezeichnet wird.

Diese Komponente wird dann dem Camel-Kontext hinzugefügt, wodurch die definierten Routen diese Komponente nutzen können, um Operationen in Elasticsearch durchzuführen.

Anschließend werden die Routen dem Kontext hinzugefügt. Wir werden Routen für die Massenindizierung, Aktualisierung und Löschung von Dokumenten erstellen.

3. Konfiguration von Camel-Routen

Datenindizierung

Die erste Route, die wir konfigurieren werden, dient der Datenindizierung. Wir werden eine JSON-Datei verwenden, die einen Filmkatalog enthält. Die Route wird so konfiguriert, dass die unter src/main/resources/movies.json befindliche Datei gelesen, der JSON-Inhalt in Java-Objekte deserialisiert und anschließend eine Aggregationsstrategie angewendet wird, um mehrere Nachrichten zu einer einzigen zusammenzufassen, wodurch Batch-Operationen in Elasticsearch ermöglicht werden. Es wurde eine Größe von 500 Elementen pro Nachricht konfiguriert, d. h., der Massenindex indexiert jeweils 500 Filme.

Route Elasticsearch Operation Bulk

Der Dokumentenstapel wird an den Bulk-Operations-Endpunkt von Elasticsearch gesendet. Dieser Ansatz gewährleistet Effizienz und Geschwindigkeit bei der Verarbeitung großer Datenmengen.

Datenaktualisierung

Der nächste Schritt besteht darin, die Dokumente zu aktualisieren. Im vorherigen Schritt haben wir einige Filme indexiert. Nun erstellen wir neue Routen, um anhand des Referenzcodes nach einem Dokument zu suchen und anschließend das Bewertungsfeld zu aktualisieren.

Wir richten einen Camel-Kontext (DefaultCamelContext) ein, in dem eine Elasticsearch-Komponente registriert und eine benutzerdefinierte Route IngestionRoute hinzugefügt wird. Der Vorgang beginnt mit dem Senden des Dokumentcodes über die ProducerTemplate, wodurch die Route vom Endpunkt direct:update-ingestion gestartet wird.

Als nächstes haben wir die IngestionRoute, die der Eingabeendpunkt für diesen Datenfluss ist. Die Route führt mehrere nacheinander ausgeführte Operationen durch. Zunächst wird in Elasticsearch eine Suche durchgeführt, um das Dokument anhand des Codes (direct:search-by-id) zu finden. Der SearchByCodeProcessor stellt die Abfrage auf Basis des Codes zusammen. Anschließend wird das abgerufene Dokument vom UpdateRatingProcessor verarbeitet, der das Ergebnis in Movie-Objekte umwandelt, die Filmbewertung auf einen bestimmten Wert aktualisiert und das aktualisierte Dokument für die Rücksendung an Elasticsearch zur Aktualisierung vorbereitet.

Der SearchByCodeProcessor -Prozessor wurde nur für die Ausführung der Suchanfrage konfiguriert:

Der UpdateRatingProcessor -Prozessor ist für die Aktualisierung des Bewertungsfelds zuständig.

Datenlöschung

Abschließend wird der Weg zum Löschen von Dokumenten konfiguriert. Hier löschen wir ein Dokument anhand seiner ID. Um in Elasticsearch ein Dokument zu löschen, benötigen wir die Dokumentkennung, den Index, in dem das Dokument gespeichert ist, und müssen eine Löschanforderung ausführen. In Apache Camel führen wir diese Operation durch, indem wir eine neue Route erstellen, wie unten gezeigt.

Die Route beginnt am Endpunkt direct:op-delete, der als Einstiegspunkt dient. Wenn ein Dokument gelöscht werden muss, wird seine Kennung (_id) im Nachrichtentext empfangen. Die Route setzt dann den IndexId-Header mit dem Wert dieser Kennung mithilfe von einfachem("${body}"), wodurch die _id aus dem Nachrichtentext extrahiert wird.

Schließlich wird die Nachricht an den durch URI_DELETE_OPERATION angegebenen Endpunkt weitergeleitet, der eine Verbindung zu Elasticsearch herstellt, um die Dokumentenlöschung im entsprechenden Index durchzuführen. Nachdem wir die Route erstellt haben, können wir einen Camel-Kontext (DefaultCamelContext) erstellen, der so konfiguriert ist, dass er die Elasticsearch-Komponente enthält.

Als nächstes wird die durch die Klasse OperationDeleteRoute definierte Löschroute zum Kontext hinzugefügt. Nachdem der Kontext initialisiert wurde, wird ein ProducerTemplate verwendet, um die Kennung des zu löschenden Dokuments an den direct:op-delete Endpunkt zu übergeben, wodurch die Löschroute ausgelöst wird.

Fazit

Die Integration zwischen Apache Camel und Elasticsearch ermöglicht eine robuste und effiziente Datenaufnahme, indem die Flexibilität von Camel genutzt wird, um Routen zu definieren, die verschiedene Datenmanipulationsszenarien wie Indizierung, Aktualisierung und Löschung bewältigen können. Mit diesem Setup können Sie komplexe Prozesse skalierbar orchestrieren und automatisieren und so sicherstellen, dass Ihre Daten in Elasticsearch effizient verwaltet werden. Dieses Beispiel demonstrierte, wie diese Werkzeuge zusammen verwendet werden können, um eine effiziente und anpassungsfähige Lösung für die Datenerfassung zu schaffen.

Referenzen

• Apache Camel

• Apache Camel-Architektur

• Aggregate Apache Camel

• Dateikomponente

• Elasticsearch-Komponente