Base vectorielle Elasticsearch : transférez en quelques minutes, scalez à un coût abordable jusqu'à des centaines de milliards

Try out vector search for yourself using this self-paced hands-on learning for Search AI. You can start a free cloud trial or try Elastic on your local machine now.

Elasticsearch est l’une des plateformes les plus largement déployées au monde pour les charges de travail vectorielles, soutenant la recherche sémantique, la génération augmentée de récupération (RAG) et les recommandations pour des entreprises telles que GitHub, Docusign, Seismic et bien d’autres. Aujourd’hui, nous annonçons Elasticsearch Vector Database, une nouvelle offre sans serveur optimisée pour les applications basées sur des vecteurs. Vous apportez vos documents et vos requêtes, et nous nous chargeons des plongements, du réglage de l’index et de l’infrastructure. De plus, nous la maintenons abordable et scalable. 

Pour les nouveaux utilisateurs, c’est le moyen le plus rapide de mettre en place une recherche vectorielle de haute qualité. Si vous utilisez déjà Elasticsearch, la nouvelle offre permet de bénéficier de la recherche vectorielle sur la plateforme où se trouvent déjà vos données, sans aucun nouveau système à adopter. La base vectorielle Elasticsearch prend en charge divers scénarios, de l’ancrage d’un grand modèle de langage (LLM) à l’ajout de fonctionnalités de récupération et de mémoire pour un agent IA, en passant par le traitement de centaines de milliards de vecteurs. Lancez un nouveau projet et commencez en quelques minutes.

Un seul moteur pour tous les cas d'utilisation vectoriels

La base vectorielle Elasticsearch est conçue pour tous ceux qui créent des applications à l'aide de vecteurs :

• RAG : récupérez le contexte adapté pour votre LLM grâce à la récupération vectorielle dense et clairsemée, ou optez pour la recherche hybride combinant à la fois la récupération vectorielle et lexicale. La qualité de votre génération s’améliore avec la qualité de votre récupération.

• Agents IA : offrez aux agents une récupération rapide et filtrée des documents et de la mémoire conversationnelle, avec les faibles latences qu’exigent les boucles d’agents à étapes multiples.

• Recherche sémantique : faites correspondre selon le sens, et non par mots-clés, avec un seul type de champ et sans aucun code de pipeline.

• Recommandations et similarité : trouvez les plus proches voisins parmi des produits, des images ou tout autre contenu dont vous disposez, à grande échelle.

Tout ce dont votre charge de travail vectorielle a besoin, optimisé et prêt à l'emploi

Créer une application vectorielle implique de relier plusieurs éléments distincts : configurer et héberger des modèles d’embedding, indexer vos documents via ces modèles, stocker efficacement les vecteurs, appliquer le modèle d’embedding à chaque requête, effectuer des correspondances avec le stockage de vecteurs, et enfin, récupérer les documents correspondant aux résultats. La base vectorielle Elasticsearch gère tout cela pour vous, sans configuration ni paramétrage supplémentaire.

Indexation vectorielle avec le mode d’indexation vectordb_document

Le mode d’indexation vectordb_document, une nouvelle configuration d’index spécialement conçue pour les charges de travail axées sur les vecteurs, est activé par défaut, vous bénéficiez ainsi des paramètres que choisiraient des experts. Voici ce que cela active :

• bfloat16 par défaut : les vecteurs sont stockés à la moitié de la taille de float32 avec un impact négligeable sur le rappel, réduisant votre empreinte disque d’environ la moitié avant même que la quantification n’entre en jeu.

• Vecteurs sources exclus : dans Elasticsearch, vos plongements figurent déjà dans les structures d’index utilisées pour la recherche ; conserver une deuxième copie brute dans _source ne fait qu’augmenter le stockage et ralentir la récupération des résultats. Nous excluons le doublon afin que les réponses soient renvoyées plus rapidement et que vous stockiez moins.

• Les bons fichiers préchargés dans le cache : les structures de données auxquelles les requêtes vectorielles accèdent en premier sont préchauffées en mémoire à l’avance, de sorte que votre première (et votre millième) requête soit ultra-rapide.

• Fusion parallèle : la fusion regroupe les segments dans des structures vectorielles mieux organisées, ce qui améliore à la fois le rappel et la latence, et l’exécution de ces fusions en multithread vous permet d’y parvenir plus rapidement.

Stockage vectoriel, compression et optimisation automatique

• Vos vecteurs sont compressés automatiquement. La quantification binaire optimisée (BBQ) réduit l’empreinte mémoire des vecteurs jusqu’à 32 fois tout en préservant le rappel, et DiskBBQ réduit encore davantage les besoins en mémoire pour les charges de travail à grande échelle. 

• Optez pour l’auto-étalonnage, qui ajuste la quantification de chaque segment en fonction de vos données et la réajuste à chaque fusion à mesure que les données dérivent. Lors des tests sur 18 ensembles de données, le nombre de requêtes par seconde (QPS) s’est amélioré en moyenne de 16,7 %, avec des gains de rappel pour la plupart d’entre eux.

Embeddings sur une inférence GPU gérée

• Générez des embeddings grâce aux modèles natifs d’embedding et de reclassement de Jina AI, ou importez des modèles tiers, le tout sur des GPU gérés via Elastic Inference Service (EIS), sans aucun serveur de modèles à gérer. Ou optez pour l’auto-hébergement, si vous préférez votre propre infrastructure.

• Le type de champ semantic_text gère automatiquement la segmentation et l’embedding, ainsi que l’interrogation, ce qui représente la voie la plus simple vers la recherche sémantique sur le marché. 

Recherche hybride et recherche vectorielle filtrée

• La recherche hybride est intégrée, combinant la récupération en texte intégral et vectorielle dans une seule requête. Combinez les résultats grâce à la fusion des rangs réciproques (RRF) ou à tout autre mécanisme de combinaison de votre choix. La recherche vectorielle est généralement la partie de la recherche hybride la plus difficile à bien configurer. Avec la base vectorielle Elasticsearch, vous maîtrisez la situation et l’ensemble de votre stack hybride s’améliore. 

• Avec la recherche vectorielle filtrée, appliquez des filtres de métadonnées dans le cadre même de la récupération vectorielle, et non après coup, ce qui dégrade le rappel.

Entreprise dès le premier jour

Vous bénéficiez également du contrôle d’accès basé sur les rôles (RBAC), du logging d’audit, et des certifications de conformité qui font généralement défaut aux bases vectorielles pure-play.

Abordable à grande échelle et prévisible

La base vectorielle Elasticsearch est conçue pour rester abordable à mesure de votre croissance : les compressions BBQ et DiskBBQ, qui maintiennent un stockage linéaire et une faible utilisation de la mémoire, permettent un scaling vers des centaines de milliards de vecteurs sans faire exploser votre facture. Et ce que vous payez est basé sur des chiffres que vous connaissez déjà : la quantité de données que vous stockez, ce que vous indexez, ainsi que la capacité de recherche dont vous avez besoin. Estimez votre nombre de documents et les dimensions de vos vecteurs, ainsi que votre charge de requêtes, et vous pourrez déterminer ce que vous paierez avant de créer le projet. Vous pouvez également comprendre votre facture ligne par ligne à la fin du mois. Il n’y a pas d’unités de calcul opaques, ni de frais imprévus pour les opérations en arrière-plan.

Comment démarrer avec la base vectorielle Elasticsearch

Créez un projet de Base vectorielle sans serveur

Créez un nouveau projet de base vectorielle sans serveur dans Elastic Cloud. Dirigez vos données vers le point de terminaison, et vous êtes prêt à indexer.

Créer un index à l’aide de semantic_text

Le mode d’index vectoriel gère la configuration vectorielle. L’utilisation de semantic_text signifie que la configuration des embeddings et du chunking est gérée pour vous, tout comme la configuration de l’index, sur une inférence GPU gérée, sans aucun pipeline d’embedding à créer.

PUT my-vectors
{
"mappings": {
"properties": {
"description": { "type": "semantic_text" }
    }
  }
}

Ingérer des documents

Indexez du texte, et les embeddings sont générés pour vous.

POST /my-vectors/_doc
{
  "id": "park_rocky-mountain",
  "title": "Rocky Mountain",
  "description": "Bisected north to south by the Continental Divide, this portion of the Rockies has ecosystems varying from over 150 riparian lakes to montane and subalpine forests to treeless alpine tundra."
}

Exécuter une requête de recherche sémantique

Interrogez le même champ sémantique que vous venez de créer :

GET /my-vectors/_search
{
  "query": {
    "semantic": {
      "field": "description",
      "query": "a mountain range in the middle of north america"
    }
  }
}

Et vous obtenez des résultats :

{
  "took": 80,
  "hits": {
    "max_score": 0.7792325,
    "hits": [
      {
        "_index": "my-vectors",
        "_score": 0.7792325,
        "_source": {
          "id": "park_rocky-mountain",
          "title": "Rocky Mountain",
          "description": "Bisected north to south by the Continental Divide, ..."
        }
      }
    ]
  }
}

La recherche sémantique n’est qu’un début. Exécutez des requêtes entièrement textuelles ou combinez les deux dans des requêtes hybrides. Vous pouvez même créer vos propres requêtes vectorielles pour bénéficier d’un contrôle total. Suivez le guide de démarrage rapide de la recherche sémantique dans la documentation pour obtenir toutes les instructions.

Quelle est la suite pour la recherche vectorielle dans Elasticsearch

Nous travaillons déjà sur les prochaines améliorations :

• Meilleure prise en charge de la mutualisation : si vos données doivent rester séparées par entité, nous vous donnons les moyens de le faire plus rapidement et avec moins de code.

• Optimisation automatique des index : d’un « tout nouvel index » à « entièrement optimisé », avec le moins d’ajustements possible.

• Améliorations continues de l’infrastructure : ajustement continu des paramètres et de l’infrastructure de la base vectorielle afin que vous bénéficiiez toujours du meilleur débit et des réponses les plus rapides.

Essayez la base vectorielle Elasticsearch sur Elastic Cloud Serverless

Passez d’un projet vide à une requête vectorielle hybride et filtrée en quelques minutes, avec des réglages par défaut prêts pour la production qui s’ajustent pour vous. Créez des applications d'IA rapides et scalables, pas de l'infrastructure.

Commencez sur Elastic Cloud Serverless, ou plongez dans la documentation complète et la référence de l’API.