Was ist hybride Suche?

Hybride Suche mindert die Schwächen einzelner Abrufmethoden und nutzt deren Stärken in einer einzigen Pipeline. Moderne KI muss verschiedene Modalitäten, Text, Bilder, Audio, Logs und mehr verarbeiten und die Absicht mit Daten verknüpfen. Relevanz wird wichtiger denn je. Im E-Commerce kann beispielsweise eine Suchfunktion dann erfolgreich sein, wenn sie den Nutzern hilft, Ergebnisse schnell zu filtern und zu verfeinern. Ein KI-Agent benötigt jedoch oft eine einzige, hochrelevante Antwort, um auf eine Frage zu reagieren oder eine Aktion auszuführen. Deshalb ist die Fähigkeit, Abruftechniken zu kombinieren und zu optimieren, heute so wichtig und ermöglicht nicht nur traditionelle Suchergebnisse, sondern auch dialogbasierte Systeme, die präzise, datengestützte Antworten liefern.

Bevor wir weiter in die Hybridsuche eintauchen, werfen wir einen kurzen Blick darauf, wie sich die lexikalische und die semantische Suche unterscheiden und warum sie sich gegenseitig ergänzen.

Die lexikalische Suche ist ideal, wenn Sie gut strukturierte Daten haben und die Nutzer wissen, wonach sie suchen. Sie gleicht genaue Begriffe ab, was sie sehr präzise und erklärbar macht, und stützt sich auf einen Relevanzscoring-Algorithmus (wie BM25F), der Dokumente nach Häufigkeit und Seltenheit von Abfragebegriffen bewertet. Dieser Ansatz bietet eine transparente Bewertung und unterstützt eine fein abgestimmte Relevanz durch Feld-Boosts, Synonyme und Analysatoren. Da es keinen Modellaufwand gibt, ist die lexikalische Suche schnell und effizient, mit Filtern und Facetten, die auch bei Skalierung zuverlässig funktionieren, ohne Verlangsamungen oder vollständige Index-Scans. Sie ist besonders effektiv für strukturierte Abfragen, seltene Begriffe und domänenspezifische Sprache.

Hier ist ein einfaches Beispiel für eine lexikalische Suchanfrage:

GET example-index/_search
{
    "query": {
        "term": {
            "text": "blue shoes"
        }
    }
}

Schauen wir uns auch ein ähnliches lexikalisches Suchbeispiel mit der Elasticsearch-Abfragesprache (ES|QL) für einen Kochblog an. Der Blog enthält Rezepte mit verschiedenen Attributen, darunter Textinhalte, kategoriale Daten und numerische Bewertungen.

FROM cooking_blog METADATA _score
| WHERE description:"fluffy pancakes"
| KEEP title, description, _score
| SORT _score DESC
| LIMIT 1000

Diese Abfrage sucht im Beschreibungsfeld nach Dokumenten, die entweder „fluffy“ ODER „pancakes“ (oder beides) enthalten. Standardmäßig verwendet ES|QL die ODER-Logik zwischen Suchbegriffen, sodass Dokumente gefunden werden, die eines der angegebenen Wörter enthalten. Sie können genau angeben, welche Felder Sie in Ihre Ergebnisse aufnehmen sollen, mit dem Befehl BEHALTEN und die _score-Metadaten anfordern, um die Suchergebnisse nach der Übereinstimmung mit Ihrer Anfrage zu bewerten.

Erfahren Sie mehr über die lexikalische Suche mit diesem praktischen Tutorial.

Die semantische Suche liefert Ergebnisse basierend auf der Bedeutungsähnlichkeit zwischen einer Anfrage und Dokumenten, anstatt wie bei der lexikalischen Suche nur exakte Begriffe abzugleichen.

Ein Embedding-Modell wandelt die Bedeutung Ihres Textes oder anderer Medien in eine numerische Darstellung um, die als Vektor bezeichnet wird. Diese Vektoren – eine Liste von Zahlen – erfassen den zugrunde liegenden Kontext und das Thema des Textes und werden in einer Vektordatenbank wie Elasticsearch gespeichert.

Dadurch kann die Suchmaschine konzeptionell ähnliche Ergebnisse finden, selbst wenn diese keine exakten Wörter mit der Suchanfrage gemeinsam haben.

Dieser Ansatz ist besonders nützlich für unstrukturierte Daten, explorative Abfragen und Fälle, in denen die Nutzer die genauen Begriffe nicht kennen. Entwickler können die semantische Suche nutzen, um relevantere Ergebnisse zu liefern und mit vagen, wortreichen oder mehrdeutigen Formulierungen umzugehen, während sie dennoch die richtigen Antworten finden.

Unten finden Sie ein Beispiel für eine semantische Suchabfrage:

GET example-index/_search
{
  "query": {
    "semantic": {
      "field": "inference_field",
      "query": "blue waterproof trail runners with great grip and a wide toe box"
    }
  }
}

ES|QL unterstützt die semantische Suche, wenn Ihre Mappings Felder des Typs semantic_text enthalten. Sobald das Dokument vom zugrunde liegenden Modell verarbeitet wurde, das auf dem Inferenz-Endpoint läuft, können Sie die semantische Suche durchführen. Hier ist ein Beispiel für eine natürliche Sprachabfrage im Feld semantic_description:

FROM cooking_blog METADATA _score
| WHERE semantic_description:"What are some easy to prepare but nutritious plant-based meals?"
| SORT _score DESC
| LIMIT 5

Erfahren Sie mehr über die semantische Suche oder probieren Sie dieses praxisorientierte Tutorial aus, um tiefer einzutauchen.

Lexikalische Algorithmen wie BM25F sind besonders präzise, wenn Anfragebegriffe mit Dokumentbegriffen übereinstimmen, scheitern jedoch, wenn relevante Inhalte anders formuliert werden. (Beispielsweise könnten bei einer Suchanfrage nach „Sportschuhen“ Dokumente übersehen werden, die nur „Schuhe“ oder „Trailrunning-Schuhe“ enthalten.) Die semantische Vektorsuche, die hochdimensionale Einbettungen und Algorithmen für ungefähre nächste Nachbarn (ANN) (z. B. HNSW) verwendet, ruft konzeptionell ähnliche Dokumente unabhängig von exakten Begriffsüberschneidungen ab – kann jedoch Rauschen verursachen, wenn der Kontext mehrdeutig ist.

Was wäre, wenn Sie das Beste aus beiden Welten bekommen könnten? Lernen Sie die Hybridsuche kennen. Wenn sie richtig gemacht wird, ist hybride Suche mehr als die Summe ihrer Teile; Sie kann weitaus bessere Ergebnisse liefern als allein lexikalische oder semantische Suche. Hybrid bietet beides, mit ausgewogener Relevanz, besser normalisiertem reduziertem kumulativem Gewinn (NDCG) und höherem Abruf, ohne dass ein zweites Suchsystem aufgebaut werden muss.

Unten finden Sie ein Beispiel für eine hybride Suchabfrage:

GET example-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "term": {
                "description": "shoes"
              }
            }
          }
        },
        {
          "knn": {
            "field": "vector",
            "query_vector": [1.25, 2, 3.5],
            "k": 50,
            "num_candidates": 100
          }
        }
      ],
      "rank_constant": 20,
      "rank_window_size": 50
    }
  }
}

Man kann auch Volltext- und semantische Abfragen in ES|QL kombinieren. In diesem Beispiel kombinieren wir Volltext- und semantische Suche mit benutzerdefinierten Gewichten:

FROM my-index METADATA _score
| FORK ( WHERE match(text_field:"shoes") | SORT _score DESC | LIMIT 50)
       ( WHERE knn(vector, [1.25, 2, 3.5], { "min_candidates" : 100 }) | SORT _score DESC | LIMIT 50 ) // k for knn is derived from LIMIT
| FUSE RRF WITH { "rank_constant": 20 }
| SORT _score DESC   
| LIMIT 50

Die Ausführung einer hybriden Suchabfrage beinhaltet typischerweise die Durchführung mindestens einer lexikalischen Suche und einer semantischen Suche und anschließend die Kombination ihrer Ergebnisse. Die größte Herausforderung besteht darin, mehrere Ranglisten zu einem einzigen, kohärenten Ranking zusammenzufassen.

Die von Algorithmen wie BM25F oder TF-IDF generierten lexikalischen Suchwerte können unbegrenzt sein, und die Maximalwerte werden von der Termfrequenz und der Dokumentverteilung beeinflusst. Im Gegensatz dazu liegen semantische Suchwerte normalerweise in einem festen Bereich, der durch die Ähnlichkeitsfunktion bestimmt wird (z. B. [0, 2] für Kosinusähnlichkeit).

Um sie zusammenzuführen, benötigen Sie eine Fusionsmethode, die die relative Relevanz der abgerufenen Dokumente pflegt.

Die hybride Suche mit Elasticsearch kann durch die Kombination einer Standard-Schlüsselwortanfrage mit einer Vektoranfrage oder durch die Verwendung eines Retrievers – einer Suchoption, die mehrere Anfragen unterschiedlicher Art ausführt und deren Ergebnisse mit einer gewählten Bewertungsmethode zu einer einzigen, gerankten Liste zusammenführt – implementiert werden. Dies ermöglicht mehrstufige Retrieval-Pipelines innerhalb eines einzigen Suchaufrufs, wodurch die Notwendigkeit mehrerer Anfragen oder zusätzlicher clientseitiger Logik zur Kombination der Ergebnisse entfällt.

Elasticsearch bietet zwei integrierte Fusionsmethoden: die reziproke Rangfusion (RRF ) und die lineare Kombination (in den APIs oft als linearer Retriever bezeichnet). Beide zielen darauf ab, eine einheitliche Rangliste zu erstellen, die die Stärken der einzelnen Retriever bewahrt, aber sie unterscheiden sich darin, wie sie die Ergebnisse behandeln und wann sie am effektivsten sind.

Die Fusion des reziproken Rangs ignoriert die Rohwerte vollständig und konzentriert sich darauf, wie hoch ein Dokument in jeder Liste erscheint. Dokumente, die an der Spitze einer Liste stehen, werden stark belohnt, und Dokumente, die in mehreren Listen auftauchen, erhalten einen additiven Boost. Die Methode ist robust, weil sie Probleme mit inkompatiblen Bewertungsbereichen umgeht, fast keine Anpassung über die Rangkonstante hinaus erfordert und auf natürliche Weise die Vielfalt der Top-Ergebnisse fördert.

RRF bewertet die Dokumente nach ihrem Rang im Ergebnisset mit der folgenden Formel. Dabei ist k eine beliebige Konstante, die die Bedeutung niedrig eingestufter Dokumente anpassen soll:

RRF ist besonders nützlich, wenn Retriever Überschneidungen in ihren Top-Ergebnissen teilen und wenn Entwickler eine Plug-and-Play-Lösung ohne gekennzeichnete Trainingsdaten oder komplexe Kalibrierung benötigen.

Die Linearkombination hingegen führt die tatsächlichen Ergebnisse jedes Retrievers direkt zusammen. Da lexikalische und semantische Werte auf sehr unterschiedlichen Skalen operieren, erfordert die lineare Bewertung eine Normalisierung, wie z. B. eine Min-Max-Skalierung, um die Werte in einen vergleichbaren Bereich zu bringen.

Nach der Normalisierung werden die Scores mithilfe von Gewichten kombiniert, die die relative Bedeutung jedes Retrievers darstellen. Ein Gewicht größer als 1 verstärkt den Einfluss eines Retrievers, während ein Gewicht kleiner als 1 ihn verringert.

Dieser Ansatz ermöglicht eine feingranulare Kontrolle: Entwickler können BM25F betonen, wenn die Präzision von Schlüsselwörtern wichtig ist, sich auf semantische Ähnlichkeit konzentrieren, wenn Absicht und Kontext entscheidend sind, oder zusätzliche Geschäfts- oder Personalisierungssignale neben Abrufwerten integrieren. Wenn die Gewichte sorgfältig kalibriert werden, kann die lineare Kombination RRF übertreffen, indem sie genauere und vorhersehbarere Rankings liefert. Sie erfordert jedoch Experimente und ist empfindlich gegenüber datensatzspezifischen Anpassungen.

Lineare Kombination kombiniert lexikalische Suchergebnisse und semantische Suchergebnisse mit jeweiligen Gewichtungen und β (dabei ist 0 ≤α, β), sodass:

In der Praxis ist RRF der beste Ausgangspunkt für die hybride Suche, da es einfach und widerstandsfähig gegenüber nicht übereinstimmenden Bewertungsskalen ist. Es liefert starke Ergebnisse ohne umfangreiche Anpassungen und ist daher ideal für die Erstellung von Prototypen oder wenn sich Abrufalgorithmen überschneiden. Die Linearkombination eignet sich besser, wenn unterschiedliche Abrufmethoden zu unzusammenhängenden Ergebnissen führen oder wenn lexikalische, semantische und externe Signale sorgfältig gegeneinander abgewogen werden müssen. Kurz gesagt, RRF bietet eine schnelle, zuverlässige Hybridisierung von Anfang an, während lineare Methoden eine höhere potenzielle Genauigkeit bieten, sobald Gewichte und Normalisierer auf die Anwendung und die Daten abgestimmt sind.

Das Ganze im Überblick:

Kurz gesagt, lineare Kombinationbietet eine höhere potenzielle Genauigkeit, wenn sie abgestimmt ist, während RRF leichter umzusetzen ist und ohne markierte Trainingsdaten gut funktioniert.

Probieren Sie dieses Tutorial aus, um mehr über hybride Suche zu erfahren.

Die semantische Suche mit Elasticsearch funktioniert, indem Abfragen und Dokumente in Vektordarstellungen umgewandelt werden, die die Bedeutung erfassen. Die hybride Suche kombiniert lexikale und semantische Abrufe, unabhängig davon, ob dichte oder spärliche Modelle verwendet werden.

[
  0.13586345314979553,
  -0.6291824579238892,
  0.32779985666275024,
  0.36690405011177063,
  ...
]

POST my-index/_search
{
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "standard": { 
            "query": {
              "match": {
                "text_field": "fox"
              }
            }
          }
        },
        {
          "knn": { 
            "field": "title_vector",
            "query_vector": [0.1, 3.2, 2.1],
            "k": 5,
            "num_candidates": 100
          }
        }
      ]
    }
  }
}

FROM my-index METADATA _score
| FORK ( WHERE match(text_field:"fox") | SORT _score DESC | LIMIT 5)
       ( WHERE knn(image_vector, [0.1, 3.2, 2.1], { "min_candidates" : 100 }) | SORT _score DESC | LIMIT 5 )
| FUSE
| SORT _score DESC

POST my-index/_search
{
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "standard": { 
            "query": {
              "match": {
                "text_field": "fox"
              }
            }
          }
        },
        {
          "standard": { 
            "query": {
              "sparse_vector": {
                "field": "ml.tokens",
                "inference_id": ".elser_model_1",
                "query": "a quick brown fox jumps over a lazy dog"
              }
            }
          }
        }
      ]
    }
  }
}

POST my-index/_search
{
  "_source": false,
  "fields": [ "text_field" ],
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "knn": {
            "field": "image_vector",
            "query_vector": [0.1, 3.2, ..., 2.1],
            "k": 5,
            "num_candidates": 100
          }
        },
        {
          "standard": { 
            "query": {
              "sparse_vector": {
                "field": "ml.tokens",
                "inference_id": ".elser_model_1",
                "query": "a quick brown fox jumps over a lazy dog"
              }
            }
          }
        }
      ]
    }
  }
}

GET my-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "match": {
                "text": {
                  "query": "snowy mountain"
                }
              }
            }
          }
        },
        {
          "knn": {
            "field": "image_vector",
            "query_vector": [
              0.01,
              0.3,
              -0.4
            ],
            "k": 10,
            "num_candidates": 100
          }
        },
        {
          "standard": {
            "query": {
              "semantic": {
                "field": "semantic_text",
                "query": "snowy mountain"
              }
            }
          }
        }
      ],
      "rank_window_size": 50,
      "rank_constant": 60
    }
  }
}

FROM my-index METADATA _score
| FORK (WHERE match(text, "snowy mountain") | SORT _score DESC | LIMIT 50)
       (WHERE knn(image_vector, [0.01, 0.3, -0.4], {"min_candidates": 100 }) | SORT _score DESC | LIMIT 50)
       (WHERE match(semantic_text, "snowy mountain") | SORT _score DESC | LIMIT 50)
| FUSE RRF WITH {"rank_constant": 60 } // 60 is the default anyway?
| SORT _score DESC
 | LIMIT 50

Die Hybridsuche vereint die Präzision der Volltextsuche und die kontextuelle Reichweite der semantischen Suche und liefert genauere und relevantere Ergebnisse für verschiedene Inhalte. Durch die Unterstützung sowohl dichter als auch spärlicher Modelle und das Angebot flexibler Fusionsmethoden wie linearer Kombination und reziproker Rangfusion können Sie die Suche an Ihren Anwendungsfall anpassen – sei es durch die direkte Paarung von Anfragen und Vektoren oder durch die Optimierung der mehrstufigen Suche mit einem Retriever. Diese Flexibilität macht die Hybridsuche zu einem leistungsstarken Ansatz für komplexe Abfragen, vielfältige Daten und anspruchsvolle Relevanzanforderungen.

Entdecken Sie diesen Blog, um zu erfahren, was Hybridsuche ist, welche Query-Typen Elasticsearch unterstützt und wie man diese erstellt. 

Möchten Sie über Vektoren hinausgehen? Entdecken Sie intelligente Hybridsuche mit LLM-Agenten in Elasticsearch.

Bereit, selbst Hand anzulegen? Folgen Sie unserem hybriden Suchtutorial, um Volltext- und kNN-Ergebnisse zu kombinieren, oder probieren Sie das ES|QL-Tutorial zum Suchen und Filtern mit ES|QL.