Enterprise Search
Software und Technologie

Consensus erweitert wissenschaftliche Rechercheplattform mit semantischer Suche und KI-Tools von Elastic

30 % höhere Suchgenauigkeit

Seit Einführung von ELSER, des proprietären ML-Modells von Elastic, hat sich die Genauigkeit und Relevanz der Suchergebnisse für die Nutzer:innen von Consensus deutlich verbessert.

75 % weniger Latenz bei der Suche

Mit der Bereitstellung von ELSER von Elastic hat sich die Latenz bei der semantischen Suche von fast vier Sekunden auf weniger als eine Sekunde verringert.

Roadmap für Innovationen bei der Suche

Consensus hat mit Elastic einen langfristigen Partner für die Suche gefunden, der der Suchmaschine Zugang zu innovativen Tools für die semantische Suche, die Vektorsuche und die KI-gestützte Suche verschafft.

Consensus ist eine Suchmaschine für das KI-gestützte Finden von Informationen in wissenschaftlichen Veröffentlichungen. Consensus 2.0 extrahiert auf der Basis der jeweiligen Suchanfrage Informationen aus den Veröffentlichungen, die für die Fragestellung relevant sind. Dieser Ansatz ermöglicht flexiblere Ergebnisse, die für das Thema relevant sind, das die Nutzerin oder der Nutzer gerade recherchiert.

Consensus ist eine Suchmaschine für das KI-gestützte Finden von Informationen in wissenschaftlichen Veröffentlichungen. Consensus 2.0 extrahiert auf der Basis der jeweiligen Suchanfrage Informationen aus den Veröffentlichungen, die für die Fragestellung relevant sind. Dieser Ansatz ermöglicht flexiblere Ergebnisse, die für das Thema relevant sind, das die Nutzerin oder der Nutzer gerade recherchiert.

Consensus transformiert mit der neuen Version seiner Suchplattform, die um Funktionen für die semantische und Textsuche von Elastic erweitert wurde, die akademische Suche für ihre 1 Million Nutzer:innen.

Die 2022 an den Start gegangene Suchmaschine Consensus nutzt künstliche Intelligenz (KI) und Large Language Models (LLMs), um aus über 200 Millionen wissenschaftlichen Veröffentlichungen aus der Semantic Scholar-Datenbank, die den Peer-Review-Prozess durchlaufen haben, Erkenntnisse zu aggregieren und herauszufiltern. Dabei werden alle wissenschaftlichen Bereiche abgedeckt, sodass Consensus sich zur ersten Anlaufstelle für Forschende aus so unterschiedlichen Bereichen wie Medizin, Anthropologie, Psychologie und Klimaforschung entwickelt hat.

Als die Anwendung in den Dienst gestellt wurde, verwendete sie eine Inferenzpipeline, die auf einer Reihe von Lösungen basierte, unter ihnen Elastic Search mit den Standardeinstellungen. Christian Salem, CPO bei Consensus, erinnert sich: „Wir waren damals eines der wenigen Unternehmen in unserer Branche, die zusätzlich zu einer Suchmaschine LLMs und KI-gestützte Zusammenfassungsfunktionen verwendeten.“

Im Bereich der künstlichen Intelligenz ist ein Jahr aber eine lange Zeit. Da sich gerade im Bereich der KI-gestützten Suche immer mehr Unternehmen tummeln, wurde es zunehmend schwieriger, sich in diesem umkämpften Markt abzuheben. Um der Konkurrenz einen Schritt voraus zu bleiben, stellte Consensus Engineers mit Fachkenntnissen in den Bereichen Suchmaschinen und künstliche Intelligenz ein, um die Relevanz der Suche und die End-User Experience zu verbessern. Chris Varano, Lead Search Engineer bei Consensus mit fast einem Jahrzehnt Engineering-Erfahrung bei Amazon Search und Google, war von Anfang bis Ende an der Leitung des ELSER-Projekts beteiligt.

Ursprünglich glaubte das Team, die Performance der Suche durch die Anpassung einer Vektorsuchplattform erreichen zu können, aber es wurde bald klar, dass eine solche Plattform nicht in der Lage wäre, Millionen von Nutzer:innen in einer Produktionsumgebung zu unterstützen. Außerdem würden ihr viele nützliche lexikalische Funktionen fehlen. „Wir hätten diese Features auch selbst entwickeln können, aber für ein kleines Team in einem so dynamischen Markt wäre dies eine teure und zeitaufwendige Option gewesen“, so Varano.

Consensus hat die Art und Weise, wie eine normale Suche funktioniert, komplett transformiert und dabei die Geschwindigkeit, die Präzision und vor allem die Relevanz der Kernsuche verbessert.

Consensus hat die Art und Weise, wie eine normale Suche funktioniert, komplett transformiert und dabei die Geschwindigkeit, die Präzision und vor allem die Relevanz der Kernsuche verbessert.

Das Beste aus beiden Welten: Vektor- und Textsuche

Bei seinen Recherchen stieß das Consensus-Team auf das vor Kurzem eingeführte Feature ELSER (Elastic Learned Sparse Encoder). Dieses neue, von Elastic trainierte Abrufmodell ermöglicht es Unternehmen, zusätzlich zu Suchen anhand exakter Keywords semantische Suchen durchzuführen, die auf kontextueller Bedeutung und der jeweiligen Absicht („Intent“) der Nutzerin oder des Nutzers basieren. „Wir erhalten all die Vorteile der KI-gestützten Vektorsuche, ohne auf die Vorteile verzichten zu müssen, die die herkömmliche suchbegriffbasierte Suche mit sich bringt“, freut sich Varano.

In der neuen Consensus-Version, Consensus 2.0, arbeitet im Hintergrund ELSER. So profitieren die Endnutzer:innen von einer höheren Suchgenauigkeit und neuen, auf generativer KI basierenden Funktionen, die eine Zusammenfassung der besten Ergebnisse liefern. Die Software führt anhand der Suchanfrage eine Kombination aus suchbegriffbasierter Suche und Vektorsuche in den Abstracts und Titeln aller wissenschaftlichen Veröffentlichungen in der Datenbank durch. Dadurch erhält Consensus eine intelligente Abschätzung der Relevanz des jeweiligen Dokuments für die konkrete Suchanfrage.

Der so gewonnene Relevanz-Score wird anschließend mit vielen anderen Metadaten kombiniert, z. B. der Zitierhäufigkeit, der Zitiergeschwindigkeit und dem Veröffentlichungsdatum, um ein neues Ergebnisranking zu erhalten und die Top 20 der möglichen Ergebnisse zu ermitteln. Danach lässt die Consensus-Software das GPT‑4-Modell von OpenAI über die Top 10 der Ergebnisse laufen, um eine aus einem Satz bestehende Zusammenfassung der Top-Studien zu erstellen.

Als einer der ersten Nutzer von ELSER arbeitete das Consensus-Team eng mit Elastic zusammen. „Nachdem wir das Ganze zum Laufen gebracht hatten, übertraf das Ergebnis all unsere Erwartungen. Alle anderen bis dahin unternommenen Versuche mit Vektorsuchen waren damit einfach hinfällig“, erinnert sich Varano.

Das Team unterstreicht auch die Bedeutung des standardmäßigen Funktionsumfangs von Elastic, zu dem lexikalische Funktionen, der Abgleich von ganzen Wortgruppen (Exact Phrase Matching) und die suchbegriffbasierte Suche im Allgemeinen gehören. Funktionen wie Filter, die Möglichkeit, Begriffe auszuschließen, und Fuzzy Matching spielten ebenfalls eine wichtige Rolle.

„Die Fülle der standardmäßigen Funktionen in Elastic hat mich sehr überrascht. Es gibt da so viele Tools und Features, die die User Experience verbessern und die es uns ersparen, sie selbst entwickeln zu müssen.“

– Christian Salem, Mitgründer und CPO, Consensus

ELSER und Elastic unterstützen auch den RAG-Workflow (Retrieval Augmented Generation) von Consensus, also die Nutzung der Elastic-Suchergebnisse als Grundlage für die von ChatGPT generierten Zusammenfassungen. „Mit Elastic und ELSER haben wir ein hohes Vertrauen in die Suchqualität und es besteht so gut wie kein Risiko von Halluzinationen in unserer KI-Schicht, wenn es um das Generieren von Zusammenfassungen geht“, so Salem.

Consensus entschied sich ursprünglich auch deshalb für Elastic, weil Elastic zur zugrunde liegenden Infrastruktur und zu den Anwendungen passte, die auf Google Cloud gehostet sind. „Einer der Gründe für die Entscheidung für Elastic war die Tatsache, dass es so problemlos mit Google Cloud genutzt werden kann. Beide sind in hohem Maße konfigurierbar und vermitteln uns das Gefühl, dass wir die volle Kontrolle über die Infrastruktur haben“, so Salem.

Consensus nutzt die neuesten Entwicklungen im Bereich der künstlichen Intelligenz, um wissenschaftliche Erkenntnisse zu demokratisieren. Das Unternehmen schafft damit eine Plattform, die sowohl eine großartige Recherchewebsite für Studierende sein als auch dazu beitragen kann, Debatten am Stammtisch oder in Social-Media-Gruppen um vertrauenswürdige und von Fachleuten geprüfte Informationen zu ergänzen.

Consensus nutzt die neuesten Entwicklungen im Bereich der künstlichen Intelligenz, um wissenschaftliche Erkenntnisse zu demokratisieren. Das Unternehmen schafft damit eine Plattform, die sowohl eine großartige Recherchewebsite für Studierende sein als auch dazu beitragen kann, Debatten am Stammtisch oder in Social-Media-Gruppen um vertrauenswürdige und von Fachleuten geprüfte Informationen zu ergänzen.

Schnellere, intelligentere Suche

Seit der Einführung von Consensus 2.0 mit ELSER im Hintergrund hat sich die Suchrelevanz für die Endnutzer:innen deutlich verbessert. Sie erhalten jetzt auf die konkrete Frage zugeschnittene Informationen, die aus wissenschaftlichen Veröffentlichungen extrahiert werden, und durch KI generierte Zusammenfassungen der wichtigsten Ergebnisse. Das Suchen geht jetzt auch schneller – die durchschnittliche Suchzeit bei der semantischen Suche hat sich mit der neuen Version von fast vier Sekunden auf weniger als eine Sekunde reduziert. „Elastic macht in unserem Metier einen wirklichen Unterschied. Wir nehmen nicht nur einfach die Daten anderer und versehen sie mit einer dünnen Schicht KI, sondern wir haben die volle Kontrolle über die Suchmaschine und reichern sie oben drauf mit KI-Features an“, so Salem.

Die Zahlen sprechen für sich. Seit der Einführung hat sich die Zahl der Suchanfragen, die nützliche Ergebnisse für die Endnutzer:innen generieren, um 30 Prozent erhöht. Salem hört von den Nutzer:innen auch, dass sie jetzt flexiblere Suchanfragen stellen können. „Sie müssen nicht genau die gleichen Begriffe wie in der Veröffentlichung verwenden. Auch bei Synonymen und umgangssprachlichen Begriffen werden relevante Ergebnisse zurückgegeben.“

Große Unterstützung für ein kleines Team

Als junges Startup mit lediglich 8 Leuten war es für Consensus entscheidend, dass sie einen Partner zur Seite haben, der sie unterstützt. Salem dazu: „Unsere für das Elastic-Account Zuständige hat ihre Engineers und Expert:innen auf das Projekt eingeschworen. Beide Seiten sahen es als Chance an, eine neue Art von Suchmaschine mit der neuesten KI-Technologie zu entwickeln.“

„Elastic dürfte viele Kunden haben, die viel größer als unser Startup-Team sind, das haben sie uns aber nicht spüren lassen. Wir hatten den Eindruck, dass unser Projekt für das Elastic-Team Priorität hatte, was bei anderen Anbietern nicht immer der Fall ist.“

– Christian Salem, Mitgründer und CPO, Consensus

KI-Roadmap für die Zukunft

Auch wenn das Unternehmen noch in den Kinderschuhen steckt, freuen sich Salem und der Rest des Consensus-Teams auf zukünftige Elastic KI-Versionen, insbesondere auf Funktionen für die Vektorsuche, die in Zukunft mit ELSER kombiniert werden können. „Elastic gibt bei der KI- und LLM-gestützten Suche Vollgas. Sie sind ein großartiger Partner, weil sie uns dabei unterstützen, stets an den Dingen dranzubleiben, die mit Technologie möglich sind“, so Salem.

Elastic ermöglicht es Consensus außerdem, im hart umkämpften Bereich der KI-gestützten Suche führend zu bleiben. Salem möchte nun über die wissenschaftliche Recherche hinausgehen und auch hochwertige Datenbestände und Expertenwissen außerhalb der Peer-Review-geprüften Fachveröffentlichungen mit einbeziehen. „Wir leben in einer Welt, in der es mehr denn je darauf ankommt, korrekte und präzise Informationen direkt aus der Quelle beziehen zu können. Elastic ist ein wichtiger Partner bei der Ausweitung unseres Suchangebots und diese Partnerschaft lässt uns hoffen, dass es uns gelingt, diesen Bedarf zu decken“, zeigt sich Salem optimistisch.

„Mein Rat an andere KI-Organisationen, die bereits Elastic nutzen ist: Wechselt ohne Umwege zu ELSER. So könnt ihr die Vorteile der KI nutzen, ohne auf die wichtigsten Funktionen der lexikalischen Suche verzichten zu müssen. Auf diese Weise erhält man, im Gegensatz zum einfachen Wechsel zu einer Vektordatenbank, das Beste aus beiden Welten.“

– Christian Salem, Mitgründer und CPO, Consensus