Es besteht ein Unterschied zwischen Inspiration und Paraphrasierung. Es ist möglich, einen Inhalt zu lesen, sich davon inspirieren zu lassen und die Idee dann mit eigenen Worten weiterzuentwickeln, selbst wenn man zu einem ähnlichen Schluss kommt.

Obwohl Plagiat schon seit langer Zeit ein Diskussionsthema ist, hat die beschleunigte Produktion und Veröffentlichung von Inhalten dazu geführt, dass es weiterhin relevant ist und eine ständige Herausforderung darstellt.

Diese Herausforderung beschränkt sich nicht auf Bücher, wissenschaftliche Forschung oder Gerichtsdokumente, wo häufig Plagiatsprüfungen durchgeführt werden. Dies kann sich auch auf Zeitungen und sogar soziale Medien erstrecken.

Wie kann Plagiat angesichts der Informationsfülle und des einfachen Zugangs zu Veröffentlichungen effektiv und in großem Umfang bekämpft werden?

Universitäten, Regierungsstellen und Unternehmen nutzen verschiedene Instrumente, aber während eine einfache lexikalische Suche direkte Plagiate effektiv aufdecken kann, liegt die größte Herausforderung in der Identifizierung paraphrasierter Inhalte.

Plagiatserkennung mit generativer KI

Mit generativer KI entsteht eine neue Herausforderung. Gilt von KI generierter Inhalt als Plagiat, wenn er kopiert wird?

In den Nutzungsbedingungen von OpenAI ist beispielsweise festgelegt, dass OpenAI keine Urheberrechte an Inhalten beansprucht, die von der API für Benutzer generiert werden. In diesem Fall können die Nutzer ihrer generativen KI die generierten Inhalte nach Belieben ohne Quellenangabe verwenden.

Die Akzeptanz des Einsatzes von generativer KI zur Effizienzsteigerung ist jedoch weiterhin Gegenstand von Diskussionen.

In dem Bestreben, einen Beitrag zur Plagiatserkennung zu leisten, entwickelte OpenAI ein Erkennungsmodell , räumte aber später ein, dass dessen Genauigkeit nicht ausreichend hoch sei.

„Wir glauben, dass diese Genauigkeit für eine eigenständige Erkennung nicht ausreicht und mit metadatenbasierten Ansätzen, menschlichem Urteilsvermögen und Aufklärung der Öffentlichkeit kombiniert werden muss, um effektiver zu sein.“

Die Herausforderung besteht weiterhin; allerdings stehen mit der Verfügbarkeit von mehr Werkzeugen nun auch mehr Möglichkeiten zur Erkennung von Plagiaten zur Verfügung, selbst bei paraphrasierten und KI-generierten Inhalten.

Plagiatserkennung mit Elasticsearch

In Anbetracht dessen untersuchen wir in diesem Blog einen weiteren Anwendungsfall von Natural Language Processing (NLP)-Modellen und Vector Search, nämlich die Plagiatserkennung, die über die Metadatensuche hinausgeht.

Dies wird anhand von Python-Beispielen demonstriert, wobei wir einen Datensatz von SentenceTransformers verwenden, der Artikel zum Thema NLP enthält. Wir prüfen die Abstracts auf Plagiat, indem wir eine „semantische Textähnlichkeit“ durchführen und dabei „Abstract“-Einbettungen berücksichtigen, die mit einem zuvor in Elasticsearch importierten Text-Einbettungsmodell generiert wurden. Um zudem KI-generierte Inhalte – also KI-Plagiate – zu identifizieren, wurde ein von OpenAI entwickeltes NLP-Modell in Elasticsearch importiert.

Die folgende Abbildung veranschaulicht den Datenfluss:

Während der Ingest-Pipeline mit einem Inferenzprozessor wird der Absatz „abstract“ einem 768-dimensionalen Vektor, dem „abstract_vector.predicted_value“, zugeordnet.

Abbildung:

Die Ähnlichkeit zwischen Vektordarstellungen wird mithilfe einer Vektorähnlichkeitsmetrik gemessen, die über den Parameter „Ähnlichkeit“ definiert ist.

Der Kosinus ist das Standardähnlichkeitsmaß und wird wie folgt berechnet: '(1 + cosine(query, vector)) / 2'. Sofern Sie die ursprünglichen Vektoren nicht erhalten müssen und sie nicht im Voraus normalisieren können, ist die effizienteste Methode zur Durchführung der Kosinusähnlichkeit die Normalisierung aller Vektoren auf Einheitslänge. Dadurch wird vermieden, dass während der Suche zusätzliche Vektorlängenberechnungen durchgeführt werden, stattdessen wird 'dot_product' verwendet.

In derselben Pipeline erkennt ein weiterer Inferenzprozessor, der das Textklassifizierungsmodell enthält, ob der Inhalt „Real“ (wahrscheinlich von Menschen geschrieben) oder „Fake“ (wahrscheinlich von einer KI geschrieben) ist, und fügt jedem Dokument den Wert „openai-detector.predicted_value“ hinzu.

Ingest-Pipeline:

Zum Zeitpunkt der Abfrage wird dasselbe Text-Embedding-Modell auch verwendet, um die Vektordarstellung der Abfrage 'model_text' in einem 'query_vector_builder'-Objekt zu generieren.

Bei einer k-Nächste-Nachbarn-Suche (kNN) werden die k nächsten Vektoren zum Anfragevektor anhand der Ähnlichkeitsmetrik ermittelt.

Der _Score jedes Dokuments wird aus der Ähnlichkeit abgeleitet, wobei ein höherer Score einer höheren Platzierung entspricht. Das bedeutet, dass das Dokument semantisch ähnlicher ist. Als Ergebnis geben wir drei Möglichkeiten aus: Bei einem Wert > 0,9 gehen wir von „hoher Ähnlichkeit“ aus; bei einem Wert < 0,7 von „geringer Ähnlichkeit“; andernfalls von „mittlerer Ähnlichkeit“. Je nach Anwendungsfall haben Sie die Möglichkeit, unterschiedliche Schwellenwerte festzulegen, um zu bestimmen, ab welchem _score-Wert ein Plagiat vorliegt oder nicht.

Zusätzlich wird eine Textklassifizierung durchgeführt, um auch KI-generierte Elemente in der Textanfrage zu erkennen.

Abfrage:

Ausgabe:

In diesem Beispiel wurde ein Plagiat festgestellt, nachdem einer der „abstract“-Werte aus unserem Datensatz als Textabfrage „model_text“ verwendet wurde. Der Ähnlichkeitswert beträgt 1,0, was auf eine hohe Ähnlichkeit hinweist – direktes Plagiat. Die vektorisierte Anfrage und das Dokument wurden erwartungsgemäß nicht als KI-generierter Inhalt erkannt.

Abfrage:

Ausgabe:

Durch die Aktualisierung der Textabfrage 'model_text' mit einem KI-generierten Text, der die gleiche Botschaft vermittelt und gleichzeitig die Wiederholung ähnlicher Wörter minimiert, war die festgestellte Ähnlichkeit immer noch hoch, aber der Wert betrug 0,9302529 statt 1,0 — Paraphrasierungsplagiat. Es wurde auch erwartet, dass diese von einer KI generierte Anfrage erkannt werden würde.

Schließlich ergab die Betrachtung der Textanfrage 'model_text' als Text über Elasticsearch, der kein Abstract eines dieser Dokumente ist, eine festgestellte Ähnlichkeit von 0,68991005, was gemäß den betrachteten Schwellenwerten auf eine geringe Ähnlichkeit hinweist.

Abfrage:

Ausgabe:

Obwohl Plagiate in der von der KI generierten Textanfrage sowie in Fällen von Paraphrasierung und direkt kopierten Inhalten korrekt identifiziert wurden, erfordert die Navigation durch das Feld der Plagiatserkennung die Berücksichtigung verschiedener Aspekte.

Im Kontext der Erkennung von KI-generierten Inhalten haben wir ein Modell untersucht, das einen wertvollen Beitrag leistet. Es ist jedoch entscheidend, die systembedingten Einschränkungen der eigenständigen Erkennung zu erkennen, weshalb andere Methoden zur Steigerung der Genauigkeit einbezogen werden müssen.

Die durch die Wahl der Text-Embedding-Modelle bedingte Variabilität ist ein weiterer zu berücksichtigender Aspekt. Unterschiedliche Modelle, die mit verschiedenen Datensätzen trainiert wurden, führen zu unterschiedlichen Ähnlichkeitsgraden, was die Bedeutung der generierten Text-Embeddings unterstreicht.

Schließlich haben wir in diesen Beispielen die Zusammenfassung des Dokuments verwendet. Die Plagiatserkennung betrifft jedoch häufig große Dokumente, weshalb es unerlässlich ist, die Herausforderung der Textlänge anzugehen. Häufig überschreitet der Text das Token-Limit eines Modells, sodass er vor dem Erstellen der Einbettungen in Abschnitte unterteilt werden muss. Ein praktischer Ansatz zur Bewältigung dieses Problems besteht in der Verwendung verschachtelter Strukturen mit dense_vector.

Fazit

In diesem Blog haben wir die Herausforderungen bei der Erkennung von Plagiaten, insbesondere bei paraphrasierten und KI-generierten Inhalten, erörtert und gezeigt, wie semantische Textähnlichkeit und Textklassifizierung zu diesem Zweck eingesetzt werden können.

Durch die Kombination dieser Methoden haben wir ein Beispiel für die Plagiatserkennung geliefert, bei dem wir erfolgreich KI-generierte Inhalte, direkte und paraphrasierte Plagiate identifiziert haben.

Das Hauptziel war die Einrichtung eines Filtersystems, das die Erkennung vereinfacht, die menschliche Beurteilung bleibt jedoch für die Validierung unerlässlich.

Wenn Sie mehr über semantische Textähnlichkeit und NLP erfahren möchten, empfehlen wir Ihnen, auch diese Links zu besuchen:

• Was ist die semantische Suche?

• Was ist natürliche Sprachverarbeitung (NLP)?

• Lexikalische und semantische Suche mit Elasticsearch

• Die Aufteilung großer Dokumente über Ingest-Pipelines und verschachtelte Vektoren ermöglicht eine einfache Passagensuche.

Mit Blick auf dieses Ziel werden wir in diesem Blogbeitrag verschiedene Ansätze zur Informationsbeschaffung mit Elasticsearch untersuchen, wobei der Schwerpunkt auf der Textsuche liegt: lexikalische und semantische Suche.

Voraussetzungen

Um dies zu erreichen, werden wir Python-Beispiele bereitstellen, die verschiedene Suchszenarien auf einem Datensatz demonstrieren, der zur Simulation von E-Commerce-Produktinformationen generiert wurde.

Dieser Datensatz enthält über 2.500 Produkte, jedes mit einer Beschreibung. Diese Produkte sind in 76 verschiedene Produktkategorien unterteilt, wobei jede Kategorie eine unterschiedliche Anzahl von Produkten enthält, wie unten dargestellt:

Treemap-Visualisierung – die 22 wichtigsten Werte von category.keyword (Produktkategorien)

Für die Einrichtung benötigen Sie:

• Python 3.6 oder höher

• Der Elastic Python-Client

• Elastic 8.8-Bereitstellung oder höher, mit 8 GB Arbeitsspeicher-Knoten für maschinelles Lernen

• Das Elastic Learned Sparse EncodeR- Modell, das in Elastic vorinstalliert und auf Ihrem Bereitstellungsserver gestartet ist, ist bereits vorhanden.

Wir werden Elastic Cloud verwenden, eine kostenlose Testversion ist verfügbar.

Neben den in diesem Blogbeitrag bereitgestellten Suchanfragen führt Sie ein Python-Notebook durch die folgenden Prozesse:

• Stellen Sie mithilfe des Python-Clients eine Verbindung zu unserer Elastic-Bereitstellung her.

• Laden Sie ein Text-Embedding-Modell in den Elasticsearch-Cluster.

• Erstellen Sie einen Index mit Zuordnungen zum Indizieren von Merkmalsvektoren und dichten Vektoren.

• Erstellen Sie eine Ingest-Pipeline mit Inferenzprozessoren für Text-Embedding und Text-Expansion.

Lexikalische Suche – spärliche Suche

Die klassische Methode, mit der Elasticsearch Dokumente anhand einer Textabfrage nach Relevanz ordnet, verwendet die Lucene-Implementierung des BM25- Modells, eines Sparse-Modells für die lexikalische Suche. Diese Methode folgt dem traditionellen Ansatz der Textsuche und sucht nach exakten Übereinstimmungen der Begriffe.

Um diese Suche zu ermöglichen, wandelt Elasticsearch die Daten der Textfelder durch eine Textanalyse in ein durchsuchbares Format um.

Die Textanalyse wird von einem Analysator durchgeführt, einem Regelsatz, der den Prozess der Extraktion relevanter Token für die Suche steuert. Ein Analysator muss genau einen Tokenizer haben. Der Tokenizer empfängt einen Zeichenstrom und zerlegt ihn in einzelne Tokens (in der Regel einzelne Wörter), wie im folgenden Beispiel:

String-Tokenisierung für die lexikalische Suche

Ausgabe

In diesem Beispiel verwenden wir den Standardanalysator , der für die meisten Anwendungsfälle gut geeignet ist, da er eine auf englischer Grammatik basierende Tokenisierung bietet. Die Tokenisierung ermöglicht den Abgleich einzelner Begriffe, wobei jedes Token weiterhin wörtlich abgeglichen wird.

Wenn Sie Ihr Sucherlebnis personalisieren möchten, können Sie einen anderen integrierten Analysator auswählen. Beispielsweise wird durch die Aktualisierung des Codes zur Verwendung des Stoppwortanalysators der Text an jedem Nicht-Buchstaben-Zeichen in Tokens zerlegt, wobei die Entfernung von Stoppwörtern unterstützt wird.

Ausgabe

Wenn die integrierten Analysatoren Ihre Anforderungen nicht erfüllen, können Sie einen benutzerdefinierten Analysator erstellen, der die entsprechende Kombination aus null oder mehr Zeichenfiltern, einem Tokenizer und null oder mehr Tokenfiltern verwendet.

Im obigen Beispiel, das einen Tokenizer und Tokenfilter kombiniert, wird der Text vom Kleinbuchstabenfilter in Kleinbuchstaben umgewandelt, bevor er vom Synonym-Tokenfilter verarbeitet wird.

Lexikalische Übereinstimmung

BM25 wird die Relevanz von Dokumenten für eine bestimmte Suchanfrage anhand der Häufigkeit der Begriffe und ihrer Wichtigkeit messen.

Der unten stehende Code führt eine Match -Abfrage durch, bei der bis zu zwei Dokumente unter Berücksichtigung der Werte des Feldes "description" aus dem Index "ecommerce-search" und der Suchanfrage "Comfortable furniture for a large Balcony" gesucht werden.

Durch eine Verfeinerung der Kriterien, nach denen ein Dokument als Treffer für diese Abfrage in Betracht gezogen werden soll, kann die Genauigkeit verbessert werden. Genauere Ergebnisse gehen jedoch mit einer geringeren Toleranz gegenüber Abweichungen einher.

Ausgabe

Die Analyse der Ergebnisse zeigt, dass das relevanteste Produkt das „ Barbie Dreamhouse “ in der Kategorie „ Spielzeug “ ist. Dessen Beschreibung ist besonders relevant, da sie die Begriffe „ Möbel “, „ groß“ und „Balkon “ enthält. Es ist das einzige Produkt, dessen Beschreibung drei Begriffe enthält, die mit der Suchanfrage übereinstimmen, und es ist außerdem das einzige, dessen Beschreibung den Begriff „Balkon“ enthält.

Das zweitwichtigste Produkt ist ein „ Komfortabler Schaukelstuhl “, der unter „ Innenmöbel “ kategorisiert ist und dessen Beschreibung die Begriffe „ bequem “ und „ Möbel “ enthält. Nur 3 Produkte im Datensatz entsprechen mindestens 2 Begriffen dieser Suchanfrage, dieses Produkt ist eines davon.

Der Begriff „Komfortabel“ taucht in der Beschreibung von 105 Produkten auf, der Begriff „Möbel“ in der Beschreibung von 4 Produkten aus 4 verschiedenen Kategorien: Spielzeug, Möbel für den Innenbereich, Möbel für den Außenbereich und „Zubehör und Spielzeug für Hunde und Katzen“.

Wie Sie sehen konnten, ist das relevanteste Produkt im Hinblick auf die Suchanfrage ein Spielzeug und das zweitrelevanteste Produkt sind Möbel für den Innenbereich. Wenn Sie detaillierte Informationen über die Berechnung der Punktzahl wünschen, um zu verstehen, warum diese Dokumente übereinstimmen, können Sie den Parameter explain __query auf true setzen.

Obwohl beide Ergebnisse die relevantesten sind, sowohl hinsichtlich der Anzahl der Dokumente als auch des Vorkommens der Begriffe in diesem Datensatz, besteht die Absicht hinter der Anfrage "Bequeme Möbel für einen großen Balkon" darin, Möbel für einen tatsächlich großen Balkon zu finden, wobei unter anderem Spielzeug und Möbel für den Innenbereich ausgeschlossen werden.

Die lexikalische Suche ist relativ einfach und schnell, hat aber ihre Grenzen, da es nicht immer möglich ist, alle möglichen Begriffe und Synonyme zu kennen, ohne unbedingt die Absicht und die Suchanfragen des Benutzers zu kennen. Ein häufiges Phänomen beim Gebrauch natürlicher Sprache ist die Diskrepanz im Wortschatz. Untersuchungen zeigen, dass verschiedene Personen (Experten auf demselben Gebiet) im Durchschnitt in 80 % der Fälle ein und dasselbe Objekt unterschiedlich benennen.

Diese Einschränkungen veranlassen uns, nach anderen Bewertungsmodellen zu suchen, die semantisches Wissen einbeziehen. Transformerbasierte Modelle, die sich durch ihre Fähigkeit auszeichnen, sequentielle Eingabe-Tokens wie natürliche Sprache zu verarbeiten, erfassen die zugrundeliegende Bedeutung Ihrer Suche, indem sie mathematische Darstellungen sowohl von Dokumenten als auch von Suchanfragen berücksichtigen. Dies ermöglicht eine dichte, kontextsensitive Vektordarstellung von Texten und ist somit die Grundlage für die semantische Suche, eine verfeinerte Methode zum Auffinden relevanter Inhalte.

Semantische Suche – dichte Suche

In diesem Zusammenhang wird nach der Umwandlung Ihrer Daten in aussagekräftige Vektorwerte der k-nächste-Nachbarn-Suchalgorithmus (kNN) verwendet, um Vektordarstellungen in einem Datensatz zu finden, die einem Anfragevektor am ähnlichsten sind. Elasticsearch unterstützt zwei Methoden für die kNN-Suche: die exakte Brute-Force-kNN-Suche und die approximative kNN-Suche, auch bekannt als ANN.

Brute-Force-kNN garantiert zwar genaue Ergebnisse, skaliert aber nicht gut mit großen Datensätzen. Approximatives kNN findet effizient annähernd nächste Nachbarn, indem es etwas Genauigkeit für eine verbesserte Leistung opfert.

Durch die Unterstützung von kNN-Suche und dichten Vektorindizes durch Lucene nutzt Elasticsearch den Hierarchical Navigable Small World (HNSW)-Algorithmus, der eine starke Suchleistung über eine Vielzahl von ann-Benchmark-Datensätzen hinweg demonstriert. Eine approximative kNN-Suche kann in Python mithilfe des unten stehenden Beispielcodes durchgeführt werden.

Semantische Suche mit approximativem kNN

Dieser Codeblock verwendet Elasticsearchs kNN, um bis zu zwei Produkte mit einer Beschreibung zurückzugeben, die der vektorisierten Anfrage (query_vector_build) von "Komfortable Möbel für einen großen Balkon" ähnlich ist, wobei die Einbettungen des Feldes "description " im Produktdatensatz berücksichtigt werden.

Die Produkt-Embeddings wurden zuvor in einer Ingest-Pipeline mit einem Inferenzprozessor generiert, der das Text-Embedding-Modell "all-mpnet-base-v2" enthielt, um aus den in die Pipeline aufgenommenen Daten Inferenz zu ziehen.

Dieses Modell wurde auf Grundlage der Auswertung vortrainierter Modelle mithilfe von "sentence_transformers.evaluation" ausgewählt. wobei verschiedene Klassen verwendet werden, um ein Modell während des Trainings zu beurteilen. Das Modell „all-mpnet-base-v2“ erzielte die beste durchschnittliche Leistung gemäß dem Sentence-Transformers-Ranking und sicherte sich auch eine günstige Position im Massive Text Embedding Benchmark (MTEB) Leaderboard. Das Modell basiert auf dem vortrainierten microsoft/mpnet-base- Modell und wurde anhand eines Datensatzes mit 1 Milliarde Satzpaaren feinabgestimmt. Es bildet Sätze auf einen 768-dimensionalen dichten Vektorraum ab.

Alternativ stehen viele andere Modelle zur Verfügung, die verwendet werden können, insbesondere solche, die speziell auf Ihre domänenspezifischen Daten abgestimmt sind.

Ausgabe

Das Ergebnis kann je nach gewähltem Modell, Filtern und ungefährem kNN-Tuningvariieren.

Die kNN-Suchergebnisse befinden sich beide in der Kategorie „ Gartenmöbel “, obwohl das Wort „ Garten “ nicht explizit in der Suchanfrage erwähnt wurde. Dies unterstreicht die Bedeutung des semantischen Verständnisses im Kontext.

Die dichte Vektorsuche bietet mehrere Vorteile:

• Aktivierung der semantischen Suche

• Skalierbarkeit zur Verarbeitung sehr großer Datensätze

• Flexibilität im Umgang mit einer breiten Palette von Datentypen

Die Suche in dichten Vektoren birgt jedoch auch ihre eigenen Herausforderungen:

• Auswahl des richtigen Einbettungsmodells für Ihren Anwendungsfall

• Sobald ein Modell ausgewählt ist, kann es notwendig sein, das Modell feinabzustimmen, um die Leistung auf einem domänenspezifischen Datensatz zu optimieren. Dieser Prozess erfordert die Einbeziehung von Domänenexperten.

• Darüber hinaus kann die Indizierung hochdimensionaler Vektoren rechenaufwändig sein.

Semantische Suche – gelernter spärlicher Abruf

Lassen Sie uns einen alternativen Ansatz erkunden: das gelernte spärliche Retrieval, eine andere Möglichkeit, semantische Suchen durchzuführen.

Als Sparse-Modell nutzt es den Lucene-basierten invertierten Index von Elasticsearch, der von jahrzehntelangen Optimierungen profitiert. Dieser Ansatz geht jedoch über das einfache Hinzufügen von Synonymen mit lexikalischen Bewertungsfunktionen wie BM25 hinaus. Stattdessen werden gelernte Assoziationen mithilfe eines tiefergehenden sprachlichen Wissens einbezogen, um die Relevanz zu optimieren.

Durch die Erweiterung der Suchanfragen um relevante Begriffe, die in der ursprünglichen Anfrage nicht enthalten sind,verbessert der Elastic Learned Sparse Encoder die Sparse Vector Embeddings, wie Sie im folgenden Beispiel sehen können.

Suche nach dünnbesetzten Vektoren mit elastischem, gelerntem, dünnbesetztem Encoder

Ausgabe

Zu den Ergebnissen gehört in diesem Fall die Kategorie „ Gartenmöbel “, die Produkte anbietet, die den „ Outdoor-Möbeln “ sehr ähnlich sind.

Durch die Analyse von "ml.tokens", Aus dem Feld "rank_features", das die von Learned Sparse Retrieval generierten Token enthält, wird deutlich, dass sich unter den verschiedenen generierten Token Begriffe befinden, die zwar nicht Teil der Suchanfrage sind, aber dennoch eine relevante Bedeutung haben, wie zum Beispiel "relax" (bequem), "sofa" (Möbel) und "outdoor" (Balkon).

Das Bild unten hebt einige dieser Begriffe zusammen mit der Suchanfrage hervor, sowohl mit als auch ohne Begriffserweiterung.

Wie bereits erwähnt, ermöglicht dieses Modell eine kontextsensitive Suche und trägt dazu bei, das Problem der Diskrepanz zwischen Vokabular und Definition zu mindern, während es gleichzeitig besser interpretierbare Ergebnisse liefert. Es kann sogar dichte Vektormodelle übertreffen, wenn kein domänenspezifisches Nachtraining angewendet wird.

Hybridsuche: Relevante Ergebnisse durch die Kombination von lexikalischer und semantischer Suche

Wenn es um die Suche geht, gibt es keine Universallösung. Jede dieser Abrufmethoden hat ihre Stärken, aber auch ihre Herausforderungen. Je nach Anwendungsfall kann sich die beste Option ändern. Oftmals ergänzen sich die besten Ergebnisse verschiedener Abrufmethoden. Um die Relevanz zu erhöhen, werden wir daher versuchen, die Stärken der einzelnen Methoden zu kombinieren.

Es gibt verschiedene Möglichkeiten, eine hybride Suche zu implementieren, darunter die lineare Kombination, die Gewichtung jedes Ergebnisses und die reziproke Rangfusion (RRF), bei der die Angabe eines Gewichts nicht erforderlich ist.

Elasticsearch: Das Beste aus beiden Welten mit lexikalischer und semantischer Suche

In diesem Code haben wir eine hybride Suche mit zwei Abfragen durchgeführt, die den Wert "Ein Esstisch und bequeme Stühle für einen großen Balkon" hatten. Anstatt "Möbel" als Suchbegriff zu verwenden, geben wir an, wonach wir suchen, und beide Suchanfragen berücksichtigen die gleichen Feldwerte, "Beschreibung". Die Rangfolge wird durch eine lineare Kombination der BM25- und ELSER-Werte bei gleicher Gewichtung ermittelt.

Ausgabe

Im folgenden Code verwenden wir denselben Wert für die Abfrage, kombinieren aber die Ergebnisse von BM25 (Abfrageparameter) und kNN (KNN-Parameter) mithilfe der Methode der reziproken Rangfusion, um die Dokumente zu kombinieren und zu ordnen.

Die RRF-Funktionalität befindet sich in der technischen Vorschauphase. Die Syntax wird sich voraussichtlich vor der allgemeinen Verfügbarkeit ändern.

Ausgabe

Hier könnten wir auch andere Felder und Werte verwenden; einige Beispiele hierfür finden Sie im Python-Notebook.

Wie Sie sehen, bietet Elasticsearch das Beste aus beiden Welten: die traditionelle lexikalische Suche und die Vektorsuche, egal ob spärlich oder dicht, um Ihr Ziel zu erreichen und die bestmögliche Antwort auf Ihre Frage zu finden.

Wenn Sie mehr über die hier erwähnten Ansätze erfahren möchten, können Ihnen diese Blogs hilfreich sein:

• Verbesserung der Informationssuche im Elastic Stack: Hybride Suche

• Vektorsuche in Elasticsearch: Die Gründe für das Design

• Wie Sie die Vorteile der lexikalischen und KI-gestützten Suche mit der Vektordatenbank von Elastic optimal nutzen können

• Wir stellen den Elastic Learned Sparse Encoder vor: Elastics KI-Modell für die semantische Suche

• Verbesserung der Informationswiedergewinnung im Elastic Stack: Vorstellung des Elastic Learned Sparse Encoder, unseres neuen Retrieval-Modells

Elasticsearch bietet eine Vektordatenbank sowie alle Werkzeuge, die Sie zum Erstellen von Vektorsuchen benötigen:

• Elasticsearch -Vektordatenbank

• Anwendungsfälle für die Vektorsuche mit Elastic

Fazit

In diesem Blogbeitrag haben wir verschiedene Ansätze zur Informationsbeschaffung mit Elasticsearch untersucht, wobei wir uns insbesondere auf die Text-, lexikalische und semantische Suche konzentriert haben. Um dies zu veranschaulichen, haben wir Python-Beispiele bereitgestellt, die verschiedene Suchszenarien anhand eines Datensatzes mit E-Commerce-Produktinformationen aufzeigen.

Wir haben die klassische lexikalische Suche mit BM25 überprüft und ihre Vorteile und Herausforderungen, wie z. B. Vokabeldiskrepanz, diskutiert. Wir haben die Bedeutung der Einbeziehung semantischen Wissens zur Überwindung dieses Problems hervorgehoben. Darüber hinaus haben wir die dichte Vektorsuche erörtert, die eine semantische Suche ermöglicht, und die mit dieser Abrufmethode verbundenen Herausforderungen behandelt, einschließlich des Rechenaufwands bei der Indizierung hochdimensionaler Vektoren.

Andererseits haben wir erwähnt, dass sich dünnbesetzte Vektoren außergewöhnlich gut komprimieren lassen. Daher haben wir den Learned Sparse Encoder von Elastic besprochen, der Suchanfragen erweitert, um relevante Begriffe einzubeziehen, die in der ursprünglichen Anfrage nicht enthalten sind.

Bei der Suche gibt es keine Universallösung. Jede Abrufmethode hat ihre Stärken und Schwächen. Deshalb haben wir auch das Konzept der hybriden Suche erörtert.

Wie Sie sehen konnten, bietet Elasticsearch die Vorteile beider Welten: die traditionelle lexikalische Suche und die Vektorsuche!

Bereit loszulegen? Sehen Sie sich das verfügbare Python-Notebook an und starten Sie eine kostenlose Testphase von Elastic Cloud.

Mit dem technologischen Fortschritt werden Chatbots eingesetzt, um komplexere Aufgaben schnell zu bewältigen und gleichzeitig den Nutzern ein personalisiertes Erlebnis zu bieten. Die Verarbeitung natürlicher Sprache (NLP) ermöglicht es Chatbots, die Sprache des Benutzers zu verarbeiten, die Absicht hinter seiner Nachricht zu erkennen und relevante Informationen daraus zu extrahieren. Die Named Entity Recognition extrahiert beispielsweise wichtige Informationen aus einem Text, indem sie diese in eine Reihe von Kategorien einordnet. Die Stimmungsanalyse ermittelt den emotionalen Tonfall, und die Fragebeantwortung liefert die „Antwort“ auf eine Anfrage. Ziel der NLP ist es, Algorithmen in die Lage zu versetzen, die menschliche Sprache zu verarbeiten und Aufgaben zu erfüllen, zu denen historisch gesehen nur Menschen fähig waren, wie etwa das Auffinden relevanter Passagen in großen Textmengen, das Zusammenfassen von Texten und das Generieren neuer, origineller Inhalte.

Diese hochentwickelten NLP-Funktionen basieren auf einer Technologie namens Vektorsuche. Elastic bietet native Unterstützung für die Vektorsuche, die Durchführung exakter und approximativer k-nächster Nachbarn (kNN)-Suchen sowie für NLP, wodurch die Verwendung von benutzerdefinierten oder Drittanbietermodellen direkt in Elasticsearch ermöglicht wird.

In diesem Blogbeitrag werden wir untersuchen, wie Vektorsuche und NLP die Fähigkeiten von Chatbots verbessern und zeigen, wie Elasticsearch diesen Prozess erleichtert. Beginnen wir mit einem kurzen Überblick über die Vektorsuche.

Vektorsuche

Menschen können zwar die Bedeutung und den Kontext der geschriebenen Sprache erfassen, Maschinen hingegen nicht. Hier kommen Vektoren ins Spiel. Durch die Umwandlung von Text in Vektordarstellungen (numerische Darstellungen der Bedeutung des Textes) können Maschinen diese Einschränkung überwinden. Im Vergleich zur herkömmlichen Suche, bei der nicht auf Schlüsselwörtern und lexikalischer Suche basierend auf Häufigkeiten beruht, ermöglichen Vektoren die Verarbeitung von Textdaten mithilfe von Operationen, die für numerische Werte definiert sind.

Dies ermöglicht es der Vektorsuche, Daten zu finden, die ähnliche Konzepte oder Kontexte aufweisen, indem Distanzen im „Einbettungsraum“ verwendet werden, um die Ähnlichkeit zu einem gegebenen Abfragevektor darzustellen. Wenn die Daten ähnlich sind, sind auch die entsprechenden Vektoren ähnlich.

Die Vektorsuche wird nicht nur in NLP-Anwendungen eingesetzt, sondern auch in verschiedenen anderen Bereichen, in denen unstrukturierte Daten verwendet werden, darunter Bild- und Videoverarbeitung.

Im Ablauf eines Chatbots gibt es verschiedene Herangehensweisen an die Anfragen der Nutzer, und folglich auch unterschiedliche Möglichkeiten, die Informationsbeschaffung zu verbessern und so ein besseres Nutzererlebnis zu schaffen. Da jede Alternative ihre eigenen Vor- und Nachteile hat, ist es unerlässlich, die verfügbaren Daten und Ressourcen sowie die Trainingszeit (falls zutreffend) und die zu erwartende Genauigkeit zu berücksichtigen. Im folgenden Abschnitt werden wir diese Aspekte für NLP-Modelle zur Beantwortung von Fragen behandeln.

Frage-Antwort-System

Ein Frage-Antwort-Modell (QA-Modell) ist eine Art von NLP-Modell, das dazu dient, Fragen in natürlicher Sprache zu beantworten. Wenn Benutzer Fragen haben, deren Antworten aus mehreren Quellen abgeleitet werden müssen, ohne dass in den Dokumenten eine vorgegebene Zielantwort vorhanden ist, können generative QA-Modelle hilfreich sein. Allerdings können diese Modelle rechenintensiv sein und benötigen große Datenmengen für das domänenspezifische Training, was sie in manchen Situationen weniger praktikabel macht, obwohl diese Methode besonders wertvoll sein kann, um Fragestellungen außerhalb des jeweiligen Fachgebiets zu bearbeiten.

Wenn Benutzer hingegen Fragen zu einem bestimmten Thema haben und die eigentliche Antwort im Dokument enthalten ist, können extraktive QA-Modelle verwendet werden. Diese Modelle extrahieren die Antwort direkt aus dem Quelldokument und liefern transparente und überprüfbare Ergebnisse. Dadurch sind sie eine praktischere Option für Unternehmen oder Organisationen, die eine einfache und effiziente Möglichkeit zur Beantwortung von Fragen bieten möchten.

Das folgende Beispiel demonstriert die Verwendung eines vortrainierten, extraktiven QA-Modells, das auf Hugging Face verfügbar ist und in Elasticsearch bereitgestellt wird, um Antworten aus einem gegebenen Kontext zu extrahieren:

Trainierte Modelle einsetzen.

Fügen Sie einer Inferenz-Ingest-Pipeline ein Modell hinzu.

Es gibt verschiedene Möglichkeiten, Benutzeranfragen zu bearbeiten und Informationen abzurufen, und die Verwendung mehrerer Sprachmodelle und Datenquellen kann eine effektive Alternative beim Umgang mit unstrukturierten Daten sein. Um dies zu veranschaulichen, haben wir ein Beispiel für die Datenverarbeitung eines Chatbots, der dazu dient, Anfragen mit Antworten zu beantworten, die auf Daten basieren, die aus ausgewählten Dokumenten extrahiert wurden.

Chatbot-Datenverarbeitung: NLP und Vektorsuche

Wie oben dargestellt, lässt sich die Datenverarbeitung für unseren Chatbot in drei Teile unterteilen:

• Vektorverarbeitung: In diesem Teil werden Dokumente in Vektordarstellungen umgewandelt.

• Verarbeitung der Benutzereingaben: Dieser Teil extrahiert relevante Informationen aus der Benutzeranfrage und führt eine semantische Suche sowie einen hybriden Abruf durch.

• Optimierung: Dieser Teil umfasst die Überwachung und ist entscheidend für die Zuverlässigkeit, optimale Leistung und ein hervorragendes Benutzererlebnis des Chatbots.

Vektorverarbeitung

Im Verarbeitungsprozess besteht der erste Schritt darin, die Bestandteile jedes Dokuments zu ermitteln, um dann jedes Element in eine Vektordarstellung umzuwandeln; diese Darstellungen können für eine breite Palette von Datenformaten erstellt werden.

Zur Berechnung von Einbettungen stehen verschiedene Methoden zur Verfügung, darunter vortrainierte Modelle und Bibliotheken.

Wichtig ist zu beachten, dass die Effektivität der Suche und des Abrufs dieser Darstellungen von den vorhandenen Daten sowie der Qualität und Relevanz der verwendeten Methode abhängt.

Sobald die Vektoren berechnet sind, werden sie in Elasticsearch mit einem Feld vom Typ dense_vector gespeichert.

Verarbeitung von Benutzereingaben des Chatbots

Für den Benutzer ist es nach Erhalt einer Frage sinnvoll, alle möglichen Informationen daraus zu extrahieren, bevor er fortfährt. Dies hilft, die Absicht des Benutzers zu verstehen, und in diesem Fall verwenden wir ein Named Entity Recognition-Modell (NER), um dies zu unterstützen. NER ist der Prozess der Identifizierung und Klassifizierung benannter Entitäten in vordefinierte Entitätskategorien.

Obwohl dies kein notwendiger Schritt ist, können wir die kNN-Suche mithilfe eines Filters einschränken, indem wir strukturierte Daten oder das oben genannte oder ein anderes NLP-Modellergebnis verwenden, um die Anfrage des Benutzers zu kategorisieren. Dies trägt zur Verbesserung der Leistung und Genauigkeit bei, indem die Menge der zu verarbeitenden Daten reduziert wird.

Semantische Suche und hybride Retrieval-Methoden

Da die Eingabeaufforderung von Benutzeranfragen stammt und der Chatbot die menschliche Sprache mit ihrer Variabilität und Mehrdeutigkeit verarbeiten muss, ist die semantische Suche hervorragend geeignet. In Elasticsearch können Sie eine semantische Suche in einem einzigen Schritt durchführen, indem Sie die Abfragezeichenfolge und die ID des einbettenden Modells in ein query_vector_builder-Objekt übergeben. Dadurch wird die Anfrage vektorisiert und eine kNN- Suche durchgeführt, um die k besten Übereinstimmungen zu finden, die der Bedeutung der Anfrage am nächsten kommen:

Beispiel für den gesamten Prozess: Wie man ein Text-Embedding-Modell bereitstellt und es für die semantische Suche verwendet. Elasticsearch verwendet die Lucene-Implementierung des Okapi BM25, eines Sparse-Modells , um Textanfragen nach Relevanz zu ordnen, während für die semantische Suche Dense-Modelle verwendet werden. Um die Stärken beider Ansätze – Vektortreffer und Treffer aus der Textanfrage – zu kombinieren , kann man eine hybride Abfrage durchführen:

Die Kombination von spärlichen und dichten Modellen liefert oft die besten Ergebnisse.

Sparse Modelle schneiden im Allgemeinen bei kurzen Anfragen und spezifischen Terminologien besser ab, während Dense Modelle Kontext und Assoziationen nutzen. Wenn Sie mehr darüber erfahren möchten, wie sich diese Methoden vergleichen und ergänzen, vergleichen wir hier BM25 mit zwei dichten Modellen, die speziell für den Retrieval trainiert wurden.

Das relevanteste Ergebnis ist in der Regel die erste Antwort, die dem Benutzer angezeigt wird. Der_Score ist eine Zahl, die zur Bestimmung der Relevanz des zurückgegebenen Dokuments verwendet wird.

Chatbot-Optimierung

Um die Benutzerfreundlichkeit, die Leistung und die Zuverlässigkeit Ihres Chatbots zu verbessern, können Sie neben der Anwendung hybrider Bewertungsverfahren die folgenden Ansätze einbeziehen: Stimmungsanalyse: Um die Kommentare und Reaktionen der Benutzer während des Dialogs zu erfassen, können Sie ein Stimmungsanalysemodell integrieren:

GPT-Funktionen : Alternativ zur Verbesserung des Gesamterlebnisses können Sie die Suchrelevanz von Elasticsearch mit den GPT-Frage-Antwort-Funktionen von OpenAI kombinieren und dabei die Chat Completion API nutzen, um dem Benutzer modellgenerierte Antworten zurückzugeben, die die Top-k-Dokumente als Kontext berücksichtigen. Aufforderung: "Beantworten Sie diese Frage <user_question> ausschließlich anhand dieses Dokuments <top_search_result>"

Beobachtbarkeit: Die Sicherstellung der Leistungsfähigkeit eines jeden Chatbots ist von entscheidender Bedeutung, und die Überwachung ist ein wesentlicher Bestandteil, um dies zu erreichen. Neben Protokollen, die die Interaktionen des Chatbots erfassen, ist es wichtig, auch die Reaktionszeit, die Latenz und andere relevante Chatbot-Metriken zu verfolgen. Dadurch lassen sich Muster und Trends erkennen und sogar Anomalien aufdecken.Elastic Observability- Tools ermöglichen es Ihnen, diese Informationen zu sammeln und zu analysieren.

Zusammenfassung

Dieser Blogbeitrag erklärt, was NLP und Vektorsuche sind, und geht auf ein Beispiel eines Chatbots ein, der zur Beantwortung von Benutzeranfragen eingesetzt wird, indem er Daten berücksichtigt, die aus der Vektordarstellung von Dokumenten extrahiert werden.

Wie gezeigt wurde, sind Chatbots mithilfe von NLP und Vektorsuche in der Lage, komplexe Aufgaben zu bewältigen, die über strukturierte, zielgerichtete Daten hinausgehen. Dies umfasst das Abgeben von Empfehlungen und das Beantworten spezifischer produkt- oder geschäftsbezogener Anfragen unter Verwendung mehrerer Datenquellen und -formate als Kontext sowie die Bereitstellung eines personalisierten Benutzererlebnisses.

Die Anwendungsfälle reichen von der Unterstützung des Kundenservice bei Kundenanfragen bis hin zur Hilfe für Entwickler bei ihren Fragen durch schrittweise Anleitungen, Empfehlungen oder sogar die Automatisierung von Aufgaben. Je nach Zielsetzung und vorhandenen Daten können auch andere Modelle und Methoden eingesetzt werden, um noch bessere Ergebnisse zu erzielen und das gesamte Benutzererlebnis zu verbessern.

Hier sind einige Links zu diesem Thema, die hilfreich sein könnten:

1. Wie man die Verarbeitung natürlicher Sprache (NLP) einsetzt: Erste Schritte

2. Überblick über die Bildähnlichkeitssuche in Elasticsearch

3. ChatGPT und Elasticsearch: OpenAI trifft auf private Daten

4. OpenAI API und GPT-Modelle mit OpenTelemetry und Elastic überwachen

5. 5 Gründe, warum IT-Verantwortliche die Vektorsuche benötigen, um das Sucherlebnis zu verbessern

Durch die Integration von NLP und nativer Vektorsuche in Elasticsearch können Sie dessen Geschwindigkeit, Skalierbarkeit und Suchfunktionen nutzen, um hocheffiziente und effektive Chatbots zu erstellen, die in der Lage sind, große Datenmengen zu verarbeiten, egal ob strukturiert oder unstrukturiert.

Bereit loszulegen? Starten Sie eine kostenlose Testversion von Elastic Cloud.

In diesem Blogbeitrag haben wir möglicherweise generative KI-Tools von Drittanbietern verwendet oder darauf verwiesen, die Eigentum ihrer jeweiligen Inhaber sind und von diesen betrieben werden. Elastic hat keinerlei Kontrolle über die Tools von Drittanbietern und übernimmt keine Verantwortung oder Haftung für deren Inhalt, Funktionsweise oder Verwendung sowie für etwaige Verluste oder Schäden, die durch die Verwendung solcher Tools entstehen können. Bitte seien Sie vorsichtig beim Einsatz von KI-Tools mit persönlichen, sensiblen oder vertraulichen Informationen. Alle von Ihnen übermittelten Daten können für das Training der KI oder für andere Zwecke verwendet werden. Es gibt keine Garantie dafür, dass die von Ihnen bereitgestellten Informationen sicher oder vertraulich behandelt werden. Sie sollten sich vor der Verwendung von generativen KI-Tools mit deren Datenschutzpraktiken und Nutzungsbedingungen vertraut machen.

Elastic, Elasticsearch und zugehörige Marken, Waren- und Dienstleistungszeichen sind Marken oder eingetragene Marken von Elastic N.V. in den USA und anderen Ländern. Alle weiteren Marken- oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen der jeweiligen Eigentümer.