Entreprise Search
Logiciels et technologie

Consensus met à niveau sa plateforme de recherche académique avec la recherche sémantique et des outils d'IA de pointe d'Elastic

Amélioration de la précision de recherche de 30 %

Les utilisateurs de Consensus ont constaté une amélioration importante dans la précision et la pertinence des résultats de recherche grâce à l'ajout du modèle ELSER, un modèle de ML exclusif d'Elastic.

Réduction de la latence de la recherche de 75 %

Avec le déploiement du modèle ELSER d'Elastic, la latence de la recherche sémantique est passée de près de quatre secondes à moins d'une seconde.

Feuille de route pour l'innovation en matière de recherche

Elastic est un partenaire de recherche de longue date de Consensus et lui donne accès à des outils innovants de recherche sémantique, de recherche vectorielle et de recherche adossée à l'IA.

Consensus est un moteur de recherche qui s'appuie sur l'IA pour mettre au jour des informations à partir d'articles de recherche. Consensus 2.0 se base sur la requête de l'utilisateur pour extraire des informations qui y répondent à partir d'articles. L'utilisateur obtient ainsi des résultats plus flexibles et plus pertinents.

Consensus est un moteur de recherche qui s'appuie sur l'IA pour mettre au jour des informations à partir d'articles de recherche. Consensus 2.0 se base sur la requête de l'utilisateur pour extraire des informations qui y répondent à partir d'articles. L'utilisateur obtient ainsi des résultats plus flexibles et plus pertinents.

La recherche académique franchit un nouveau cap avec la nouvelle version de Consensus équipée de la recherche sémantique et de la recherche textuelle d'Elastic

Lancé en 2022, Consensus est un moteur de recherche avant-gardiste qui s'appuie sur l'intelligence artificielle (IA) avancée et les grands modèles de langage (LLM) pour agréger et communiquer des informations issues de quelque 200 millions d'articles scientifiques évalués par des pairs venant de la base de données Semantic Scholar. Consensus prend en charge tous les domaines scientifiques. C'est donc lui que les chercheurs privilégient lorsqu'ils veulent faire des recherches, et ce, quel que soit le domaine dans lequel ils évoluent, qu'il s'agisse de la médecine, de l'anthropologie, de la psychologie ou encore de la climatologie.

À son lancement, le moteur se servait d'un pipeline d'inférence basé sur un grand nombre de solutions, parmi lesquelles Elastic Search avec ses paramètres par défaut. "À cette époque, nous faisions partie des quelques rares entreprises de notre domaine à utiliser des LLM et des fonctionnalités de synthèse par IA sur un moteur de recherche", indique Christian Salem, directeur des produits chez Consensus.

Mais lorsqu'on parle d'intelligence artificielle, il peut se passer beaucoup de choses en une année. Des entreprises de plus en plus nombreuses ont commencé à s'intéresser à la recherche adossée à l'IA. Sur cette place de marché bondée, difficile de se démarquer. Pour surpasser la concurrence, Consensus a recruté des ingénieurs experts dans les moteurs de recherche et l'IA, afin qu'ils améliorent la pertinence de la recherche et l'expérience des utilisateurs finaux. Chris Varano, ingénieur en chef de la recherche chez Consensus, compte près de dix ans d'expérience chez Amazon Search et Google, qu'il a mis à profit pour conduire le projet ELSER du début à la fin.

Au tout départ, son équipe et lui pensaient qu'il serait possible d'adapter une plateforme de recherche vectorielle pour obtenir de meilleures performances de recherche. Mais il s'est vite avéré qu'ils ne disposeraient pas du soutien en production nécessaire pour gérer des millions d'utilisateurs et qu'il manquerait des fonctionnalités lexicales utiles à cette plateforme. "Nous aurions pu développer ces fonctionnalités en interne", déclare Chris Varano. "Mais pour une petite équipe comme la nôtre évoluant dans un marché aussi rapide, ç'aurait été une option trop coûteuse et trop chronophage."

Consensus a totalement bouleversé la norme en matière de recherche, en améliorant la vitesse, la précision, et plus important, la pertinence de la recherche.

Consensus a totalement bouleversé la norme en matière de recherche, en améliorant la vitesse, la précision, et plus important, la pertinence de la recherche.

Le meilleur de la recherche vectorielle et de la recherche textuelle

L'équipe de Consensus s'est tournée vers Elastic et sa nouvelle fonctionnalité, appelée ELSER (Elastic Learned Sparse Encoder). Ce modèle de récupération, entraîné par Elastic, permet aux entreprises de réaliser des recherches sémantiques basées sur la signification en contexte et l'intention de l'utilisateur, ainsi que sur les correspondances exactes par mots-clés. "Nous bénéficions de tous les avantages d'une recherche vectorielle adossée à l'IA, tout en conservant les points forts de la recherche traditionnelle par mots-clés", se réjouit Chris Varano.

Avec le lancement de Consensus 2.0 propulsé par ELSER, les utilisateurs bénéficient d'une précision de recherche optimale et de nouvelles fonctionnalités d'IA générative qui fournissent une synthèse des principaux résultats. La plateforme prend la requête de recherche et exécute une combinaison de recherche par mots-clés et de recherche vectorielle sur les résumés et les titres de tous les articles. Consensus obtient ainsi une mesure intelligente de la pertinence d'un document par rapport à la requête de l'utilisateur.

Ce score de pertinence est ensuite associé à de nombreux autres éléments de métadonnées, par exemple le nombre de fois où un article est cité, la moyenne pondérée du nombre de citations et la date de publication dudit article. Ces éléments permettent d'affiner le classement des résultats pour en faire ressortir les 20 premiers. La plateforme Consensus exécute ensuite le modèle GPT-4 d'OpenAI sur les dix premiers résultats pour générer une synthèse en une phrase des principales études.

Étant donné que l'équipe de Consensus a été l'une des premières à utiliser ELSER, elle a travaillé en étroite collaboration avec Elastic. "Lorsque nous avons réussi à faire fonctionner ce modèle, celui-ci a dépassé toutes nos attentes. Il a balayé tous les autres tests de recherche vectorielle que nous avions effectués", indique Chris Varano.

L'équipe souligne aussi le rôle important qu'a joué la fonctionnalité prête à l'emploi d'Elastic, qui comprend des fonctionnalités lexicales, la correspondance à une expression exacte et la recherche par mots-clés de façon générale. Le filtrage, l'exclusion de termes et la correspondance approximative ont également été très utiles.

"J'ai été bluffé par l'importance de la fonctionnalité prête à l'emploi que propose Elastic. Il y a un si grand nombre d'outils et de fonctionnalités qui améliorent l'expérience de nos utilisateurs que nous n'avons pas besoin d'en créer."

– Christian Salem, cofondateur et directeur des produits chez Consensus

ELSER et Elastic apportent aussi un support sous-jacent au workflow de génération augmentée de récupération (RAG), dans lequel les résultats de recherche d'Elastic forment le socle des synthèses générées par ChatGPT. "Avec Elastic et ELSER, nous avons une grande confiance dans la qualité de la recherche. Il y a donc peu, voire pas, de risque que notre couche d'IA hallucine lorsqu'elle génère des synthèses", indique Christian Salem.

Si Consensus a également sélectionné Elastic, c'est parce que les solutions qu'elle propose s'adaptent parfaitement à son infrastructure et à ses applications sous-jacentes, qui sont hébergées sur Google Cloud. "L'une des raisons pour lesquelles nous avons opté pour Elastic, c'est parce que ces solutions s'intègrent facilement à Google Cloud. Pour l'une comme pour l'autre, c'est un jeu d'enfants de les configurer, et nous avons le sentiment d'exercer un contrôle total sur notre architecture", déclare Christian Salem.

Consensus s'appuie sur les dernières avancées en matière d'intelligence artificielle pour démocratiser les informatiques scientifiques et crée une plateforme qui peut à la fois faire office de site web de recherche pour les étudiants et fournir des informations de sources fiables, évaluées par des pairs dans les discussions informelles.

Consensus s'appuie sur les dernières avancées en matière d'intelligence artificielle pour démocratiser les informatiques scientifiques et crée une plateforme qui peut à la fois faire office de site web de recherche pour les étudiants et fournir des informations de sources fiables, évaluées par des pairs dans les discussions informelles.

Une recherche plus rapide et plus intelligente

Avec le lancement de Consensus 2.0 propulsé par ELSER, les utilisateurs ont constaté une amélioration significative au niveau de la pertinence de la recherche, grâce à l'extraction d'informations sur le sujet interrogé et à des synthèses générées par IA sur les principaux résultats. La recherche est également plus rapide : elle est passée en moyenne de près de quatre secondes à moins d'une seconde. "Elastic change véritablement la donne dans notre domaine. Et nous ne restons pas inactifs : nous disposons de notre propre moteur de recherche, auquel nous ajoutons des fonctionnalités d'IA", déclare Christian Salem.

Les chiffres parlent d'eux-mêmes. Depuis son lancement, Consensus a vu le nombre de requêtes renvoyant des résultats utiles augmenter de 30 %. D'ailleurs, Christian Salem a reçu des retours positifs de la part des utilisateurs : ceux-ci apprécient la flexibilité que leur offrent les requêtes. "Ils n'ont pas besoin d'employer exactement le même terme que dans un article. Les synonymes et les termes familiers renvoient aussi des résultats pertinents", indique-t-il.

Une aide énorme pour une petite équipe

Consensus étant une toute nouvelle start-up comptant huit personnes, le support d'Elastic était essentiel pour elle. "Notre directrice de compte Elastic a mobilisé ses ingénieurs et ses experts sur le projet", explique Christian Salem. "Les deux parties ont vu ce projet comme une opportunité de créer un nouveau type de moteur de recherche avec les dernières technologies en matière d'IA."

"Je suis sûr qu'Elastic compte de nombreux clients d'une envergure bien plus importante que celle de notre start-up, mais ce n'est pas ce que nous avons ressenti. Notre projet semblait être une vraie priorité pour l'équipe d'Elastic, ce qui n'est pas toujours le cas avec les autres fournisseurs."

– Christian Salem, cofondateur et directeur des produits chez Consensus

Une feuille de route en matière d'IA pour l'avenir

Même si Consensus n'en est qu'à ses débuts, Christian Salem et son équipe ont hâte d'utiliser les futures technologies IA d'Elastic, en particulier les fonctionnalités de recherche vectorielle qui pourront être combinées à ELSER. "Elastic avance à grands pas en ce qui concerne la recherche adossée à l'IA et aux LLM. C'est un super partenaire qui nous place à l'avant-garde de ce qu'il est possible de faire avec la technologie", déclare Christian Salem.

Grâce à Elastic, Consensus peut aussi maintenir un avantage concurrentiel dans le domaine très prisé de la recherche adossée à l'IA. Aujourd'hui, l'objectif de Christian Salem est d'aller au-delà de la recherche académique et d'inclure des ensembles de données de haute qualité et des connaissances d'experts en dehors des revues évaluées par des pairs. "Nous vivons dans un monde où il est devenu essentiel d'obtenir des informations précises directement à la source. Elastic est un partenaire stratégique sur qui nous pouvons compter pour étendre notre offre de recherche afin de combler cette nécessité", indique Christian Salem.

"Ce que je conseillerais aux autres entreprises d'IA qui utilisent déjà Elastic, c'est de passer directement à ELSER. Vous pouvez tirer parti des avancées en matière d'IA sans compromettre la fonctionnalité de base de la recherche lexicale. Vous bénéficiez ainsi du meilleur des deux mondes, ce qui ne serait pas possible si vous passiez uniquement à une base de données vectorielle."

– Christian Salem, cofondateur et directeur des produits chez Consensus