Les modèles d'IA les plus puissants fonctionnent sur des infrastructures cloud distantes accessibles via une API web ; vous devez donc faire confiance à votre fournisseur de services d'IA pour garantir la sécurité, la disponibilité du service et la stabilité des tarifs. Il est difficile de concilier des exigences légitimes en matière de fiabilité, de confidentialité, de maîtrise des coûts et de bonne gouvernance des données avec une utilisation de l'IA toujours plus puissante, sophistiquée et gourmande en ressources.

Les réglementations gouvernementales, les décisions de justice et les décisions commerciales prises dans l'intérêt de tiers ont récemment conduit à restreindre l'accès à certains services. Or, même s'il est possible de se tourner vers d'autres solutions, les modèles d'IA ne sont pas des composants que l'on peut remplacer au gré de ses envies. Les applications qui exploitent les embeddings sémantiques nécessitent l'accès aux mêmes modèles lors de l'interrogation que lors de l'ingestion des données ; perdre l'accès à votre modèle d'embedding revient donc à paralyser votre système de recherche.

Les modèles de tarification de l'IA accentuent ce risque. Les récentes informations financières communiquées par les principaux fournisseurs d'IA donnent aux clients de bonnes raisons de s'inquiéter d'éventuelles hausses de prix. Le recours à des produits aux coûts imprévisibles accroît encore les risques associés à des investissements massifs dans l'IA, dont le retour sur investissement peut s'avérer aléatoire.

Jina On-Prem est la réponse d'Elastic à ces défis.

Qui a besoin d'une IA sur site ?

L'hébergement local et le contrôle direct de vos modèles d'IA répondent à diverses contraintes techniques, exigences sectorielles et impératifs commerciaux.

Une installation locale réduit les frais payés à vos fournisseurs de services d'IA, mais elle fait peser sur votre organisation les coûts liés au matériel et à la fiabilité de l'accès. Selon votre volume d'utilisation, cette option peut s'avérer plus économique. Toutefois, d'autres contraintes justifient d'envisager l'exploitation de votre propre système d'IA. Si l'un des problèmes décrits ci-dessous concerne votre entreprise, envisagez une solution d'IA locale telle que Jina On-Prem. Cette liste n'est pas exhaustive.

Cas d'utilisation

Pourquoi sur site

Exemple

Air gap/haute sécurité

Aucune transmission de données sortante ; isolation complète du réseau

Défense, renseignement, recherche classifiée

Conformité réglementaire

Souveraineté des données ; aucune transmission transfrontalière ni exposition à des tiers

Santé (Health Insurance Portability and Accountability Act [HIPAA]), finance, entreprises de l'UE (Règlement général sur la protection des données [RGPD])

Sensible à la latence

Dépendance réseau nulle ; aucune tolérance aux échecs de connexion

Robotique, edge computing, véhicules, navires

Prévisibilité des coûts

Coût d'infrastructure fixe vs tarification au jeton avec des tarifs futurs incertains

Charges de travail d'inférence continue à fort volume

Réduction de la responsabilité

Aucune exposition de données de tiers ; préservation de la confidentialité des communications et du devoir de diligence

Cabinets d'avocats, organismes publics

Pourquoi les systèmes air gap et protégés par pare-feu ont besoin d'une IA sur site

Les systèmes air gap et protégés par un pare-feu ne peuvent pas utiliser d'API d'IA externes. Jina On-Prem s'exécute entièrement au sein de votre infrastructure, sans aucune connexion sortante.

Pour les organisations qui gèrent des données particulièrement sensibles, les questions de sécurité et de confidentialité sont primordiales. Il est peu utile d'investir dans la protection de vos données sensibles si vous les confiez aussitôt à un tiers distant dont les mesures de sécurité pourraient être insuffisantes ou qui pourrait être soumis aux exigences d'un gouvernement étranger.

Les employés des organisations qui manipulent des données sensibles reçoivent souvent une formation sur la gestion sécurisée de ces données. Toutefois, cette mesure perd de son efficacité dès lors qu'ils disposent de navigateurs web susceptibles d'accéder à n'importe quelle page d'Internet pendant qu'ils traitent ces informations. L'isolation constitue la mesure de sécurité la plus efficace, qu'elle soit assurée par une séparation physique totale ou par des pare-feux très restrictifs, mais elle entrave considérablement l'utilisation de services externes, quels qu'ils soient.

IA sur site pour les systèmes sensibles à la latence et à haute disponibilité

Le logiciel en tant que service (SaaS) et le cloud computing constituent un compromis entre le coût lié à l'hébergement de services hautement accessibles et fiables sur vos propres infrastructures et le choix de confier cette tâche à un tiers. Toutefois, ces solutions s'accompagnent d'une latence variable, d'interruptions de service et d'une perte totale de contrôle en cas de dysfonctionnement. Les services d'IA ne font pas exception à la règle : si votre système de recherche devient indisponible parce que vous ne pouvez plus accéder à votre modèle d'embedding, ce compromis pourrait apparaître bien moins avantageux.

Par ailleurs, le recours à une IA externe comporte toujours des risques difficiles à anticiper ou à gérer. L'accès à Internet et la latence du réseau peuvent se dégrader sans préavis, sous l'effet d'événements politiques, d'intempéries ou du passage d'ancres de navires sur des câbles sous-marins à fibre optique. Les gouvernements peuvent, et l'ont fait récemment, recourir à des interdictions d'exportation pour bloquer soudainement l'accès à des modèles d'IA. Les fournisseurs de services d'IA retirent parfois certains modèles pour inciter les utilisateurs à adopter des versions plus récentes. Il convient donc de mettre en balance la flexibilité et la maîtrise des coûts qu'offrent les services externes avec les risques de dépendance qu'ils engendrent.

IA sur site pour le respect des exigences du RGPD, de la loi HIPAA et de souveraineté des données

Les organisations qui collectent des données personnelles sont soumises à des réglementations de plus en plus strictes qui diffèrent souvent d'une juridiction à l'autre et peuvent imposer des exigences contradictoires. Ainsi, les règles HIPAA imposent des protections des données très strictes aux prestataires de santé américains, et des législations strictes sur la protection générale des données au Canada, dans l'Union européenne et dans de nombreuses juridictions asiatiques exigent que toutes les entreprises qui traitent des informations personnelles le fassent de manière sécurisée et limitent la transmission de ces données à des tiers ou à d'autres juridictions. Ces règles peuvent même imposer des obligations à des entités étrangères si elles comptent des clients dans ces juridictions. Les institutions financières sont souvent soumises à des règles encore plus strictes et assument, en matière de sécurité de l'information, la même responsabilité directe que celle qui leur incombe pour se prémunir contre d'autres formes d'activités criminelles.

La conformité réglementaire peut être incompatible avec les services d'IA tiers, en particulier si leur utilisation implique un transfert de données transfrontalier.

En outre, des événements récents montrent que les règles restreignant la localisation physique des espaces de stockage de données ne constituent pas nécessairement une garantie de protection fiable lorsque les fournisseurs internationaux de services cloud sont soumis à des pressions de la part de gouvernements étrangers. Les législations locales peuvent présenter des divergences d'une juridiction à l'autre, ce qui impose le stockage et le traitement des données au niveau local et rend impossible le recours à des services tiers. Dans certains cas, la seule solution consiste à internaliser l'ensemble de vos processus, y compris vos systèmes d'IA.

Risques de responsabilité liés à la transmission de données à des tiers dans le cadre de l'IA

Les lois sur la protection des données et les obligations de vigilance reconnues concernant les données sensibles entraînent régulièrement des conséquences en matière de responsabilité, parfois très lourdes. Vous pouvez être tenu pour responsable de la manière dont des prestataires de services tiers traitent vos données. Si les tribunaux et les procédures judiciaires peuvent offrir certaines protections a posteriori face à des prestataires peu fiables, ces recours ne sont ni disponibles ni généralement efficaces contre les acteurs de la sécurité nationale, les forces de l'ordre ou les cybercriminels.

Pour les gouvernements, des cas ont déjà été signalés où des fournisseurs de services cloud transfrontaliers ont divulgué des informations sensibles de l'État à des acteurs étrangers.

Toutefois, même si vous ne craignez ni les gouvernements étrangers ni les pirates informatiques, et que vos prestataires externes de services d'IA sont eux-mêmes sécurisés, le simple fait qu'ils soient externes peut engendrer des risques de responsabilité.

Par exemple, dans la plupart des juridictions, les communications entre avocats et clients bénéficient de protections juridiques spécifiques, et les cabinets d'avocats sont soumis à des obligations strictes concernant l'enregistrement ou le stockage de ces informations. Aux États-Unis, cette confidentialité des communications est si célèbre qu'il constitue un élément central de nombreux scénarios de films et de séries télévisées. Or, ce privilège peut être perdu si des informations sont communiquées à une personne n'étant pas couverte par ce secret ; des évolutions récentes suggèrent que les prestataires externes de services d'IA pourraient entrer dans cette catégorie.

Il est possible, du moins aux États-Unis, que le simple recours à des services d'IA tiers via une API Internet, comme l'intégration de modèles assurant des services d'indexation, enfreigne des règles de confidentialité essentielles. Un cabinet d'avocats pourrait faire l'objet de poursuites, de sanctions disciplinaires ou d'une radiation du barreau pour la simple utilisation d'un logiciel hébergé en externe, même en l'absence de toute faille de sécurité.

IA sur site pour les systèmes hors ligne, en périphérie et physiquement isolés

Les systèmes informatiques ne sont pas isolés uniquement pour des raisons de sécurité. Par exemple, les véhicules en déplacement ne peuvent pas dépendre d'un accès à Internet pour assurer des fonctions essentielles. Les navires et les aéronefs sont dotés de systèmes informatiques embarqués très complets qui doivent fonctionner sans connexion Internet et ne peuvent donc pas recourir à des services d'IA externes. Les plateformes offshore, les installations isolées en pleine nature, ainsi que les services informatiques situés dans l'Arctique, l'Antarctique ou sur de petites îles dépourvues de liaisons physiques adéquates avec les réseaux mondiaux, sont autant d'exemples d'installations qui tirent parti de l'hébergement local de tous les services dont elles ont besoin. À mesure que l'IA prend de l'importance dans l'informatique d'entreprise, il devient crucial de prendre en compte ces contraintes.

Les applications émergentes de l'IA aux systèmes physiques (robotique et autres cas d'utilisation confinés à un espace donné ou axés sur le monde extérieur, tels que les systèmes de gestion logistique ou même les caisses de supermarché) peuvent être connectées à l'Internet mondial, mais elles ne tolèrent ni les interruptions de connexion ni les pics de latence. Si leur fonctionnement repose sur un système d'IA, celui-ci doit être aussi local et fiable que possible.

Qui n'a pas besoin d'une IA sur site ?

Les services logiciels à distance et l'IA externalisée présentent des avantages. L'exécution de modèles d'IA peut nécessiter des processeurs coûteux et énergivores, dont la durée de vie est notoirement courte. L'accès à du matériel de haute qualité est particulièrement difficile à l'heure actuelle en raison de facteurs liés au marché et de chocs économiques externes. Dans ce contexte, il peut être judicieux de payer au jeton consommé pour utiliser une API externe, plutôt que de supporter les lourds investissements initiaux qu'implique une IA locale.

Les API externes constituent la solution la plus pertinente pour les utilisateurs occasionnels. Si vous exploitez des modèles d'IA principalement pour le traitement de données par lots à des fins d'analyse plutôt que pour faire fonctionner un système de recherche devant rester disponible en permanence, il est peu judicieux d'investir dans du matériel coûteux et des installations locales.

De plus, lorsque vos processus de traitement de données reposent déjà sur le cloud (comme c'est le cas, par exemple, d'un site e-commerce hébergé dans le cloud pour des raisons de fiabilité et d'accessibilité), le recours à des services d'IA intégrés à cette même infrastructure peut s'avérer plus rentable que de déployer votre propre modèle d'IA sous licence. Dans la mesure où vous dépendez déjà de votre fournisseur de services cloud, dépendre également de ses services d'IA n'ajoute pas de risque significatif.

Si votre cas d'utilisation correspond à cette description, les modèles Jina AI sont disponibles sur EIS, AWS Marketplace et Google Cloud Platform spécifiquement pour répondre à vos besoins.

Le tableau ci-dessous résume les facteurs clés. Votre réponse dépend de vos données, de votre infrastructure et de votre modèle d'utilisation.

Facteur

Sur site privilégié

API Cloud privilégiée

Modèle d'utilisation

Inférence continue ou à volume élevé

Traitement intermittent ou par lots

Sensibilité des données

Réglementées, souveraines ou classifiées

Aucune restriction transfrontalière ou liée à des tiers

Environnement réseau

Air gap, protégé par un pare-feu ou peu fiable

Internet stable et permanent

Infrastructure existante

Disposer de matériel GPU ou pouvoir s'en procurer

Déjà hébergé dans le cloud avec une IA en colocation

Modèle de coût

Matériel fixe + licence ; prévisible à grande échelle

Au jeton ; plus faible au départ, variable à long terme

Tolérance à la latence

Aucune (robotique, périphérie, temps réel)

La variabilité du réseau est acceptable

Responsabilité opérationnelle

Votre équipe gère le matériel et la disponibilité

Le fournisseur gère le matériel et les mises à jour ; vous gérez l'intégration

Vous devez évaluer les coûts et les avantages au regard de votre situation et de vos cas d'utilisation spécifiques, en tenant compte des points soulevés dans la section précédente qui vous concernent. Cette analyse coûts-avantages évoluera sans aucun doute avec le temps. Il est impossible de prédire l'avenir du secteur de l'IA ou l'évolution des prix du matériel, même à court terme.

Présentation de Jina On-Prem

Pour les utilisateurs pouvant tirer parti de services d'IA locaux, nous lançons Jina On-Prem, une suite d'installation entièrement autonome pour les modèles haute performance de Jina AI.

Les modèles de Jina AI égalent la précision de modèles d'embedding bien plus volumineux, tout en réduisant les coûts de calcul, l'empreinte mémoire et les besoins matériels. Ils sont ainsi le choix idéal pour les utilisateurs qui souhaitent ou doivent héberger leur IA sur site. Des licences commerciales sont disponibles avec des solutions scalables dont le tarif est proportionnel à l'utilisation afin de répondre aux cas d'utilisation de toute envergure.

Quels schémas d'API Jina On-Prem prend-il en charge ?

• Disponibles sous la forme d'une collection complète de dépendances pour une installation locale ou d'un conteneur Docker que vous pouvez installer et exécuter en quelques minutes.

• Les installations Jina On-Prem ne font pas appel à des systèmes externes.

  • Aucun appel au hub Hugging Face ni à aucun registre de modèles (HF_HUB_OFFLINE=1 et TRANSFORMERS_OFFLINE=1 sont intégrés).

  • Pas de serveur de licence.

  • Pas de points de terminaison de télémétrie ou de logging.

• Compatibles avec le matériel basé sur processeur et sur GPU, avec détection automatique du GPU.

• Les 28 modèles Jina AI sont tous disponibles, y compris les derniers modèles d'embeddings multimodaux jina-embeddings-v5-omni et jina-reranker-v3.

• Accès via des schémas API d'IA standards : API Jina, OpenAI, Cohere, Voyage AI et Gemini. Jina On-Prem est une solution clé en main pour les applications conçues sur ces schémas.

• Remplacement direct pour les modèles servis par EIS. Jina On-Prem s'intègre directement aux déploiements Elastic air gap.

Configuration matérielle requise pour les modèles sur site Jina AI

Les exigences matérielles varient selon les modèles Jina. Le tableau ci-dessous présente les recommandations pour les modèles les plus récents utilisant des GPU. Il n'est pas nécessaire de disposer d'une puissance supérieure à celle d'un GPU NVIDIA L4, bien qu'un modèle A100 soit recommandé pour les modèles d'embedding v5. Notre modèle d'embedding le plus récent nécessite actuellement un minimum de 8 Go de VRAM.

Modèle

VRAM minimum

GPU recommandé

jina-embeddings-v5-text-nano

2 Go

T4/L4

jina-embeddings-v5-text-small

3 Go

L4/A10G

jina-embeddings-v5-omni-small

8 Go

L4/A10G/A100

jina-reranker-v3

3 Go

L4

jina-clip-v2

4 Go

L4

jina-code-embeddings-1.5b

4 Go

L4

ReaderLM-v2

4 Go

L4

Si vous utilisez plus d'un modèle à la fois, les besoins en VRAM augmenteront. Pour plus d'informations, veuillez consulter la page Dimensionnement et matériel.

Comment installer Jina On-Prem avec Docker

Le moyen le plus rapide de démarrer est d'installer Docker (si ce n'est pas déjà fait) et de suivre les instructions sur la page Démarrage rapide de Jina On-Prem.

Des conteneurs Docker préconfigurés sont disponibles pour les 28 modèles Jina. Il vous suffit d'en télécharger un et de le transférer vers votre environnement cible pour faire fonctionner les modèles Jina AI en moins de cinq minutes.

Pour les builds multimodaux ou personnalisés, ou pour télécharger l'ensemble complet des dépendances pour une installation en dehors d'un conteneur, suivez les étapes indiquées dans le guide de regroupement.

Votre installation Jina On-Prem prend en charge l'ensemble des fonctionnalités de l'API Jina et d'EIS ainsi que la génération d'embeddings via les API OpenAI, Cohere, Voyage AI et Gemini, afin de pouvoir s'intégrer dans des applications préexistantes à l'aide d'interfaces standard. Consultez la documentation de l'API pour plus d'informations.

Les modèles Jina, y compris les modèles installés avec Jina On-Prem, sont disponibles selon diverses conditions de licence, les derniers modèles étant gratuits pour un usage non commercial sous licence CC BY-NC 4.0. Pour obtenir une licence Jina On-Prem à des fins commerciales, veuillez contacter Elastic Sales.

Vous pouvez désormais créer des représentations sémantiques performantes pour les textes, les images, les vidéos et les enregistrements audio, couvrant près de 100 langues, et les utiliser pour la classification, le clustering, la mesure de la similarité sémantique et l’indexation pour la recherche. Si vos données se trouvent dans des PDF, des enregistrements et des vidéos aux côtés du texte, vous n’avez plus besoin de pipelines distincts pour chacun.

La famille jina-embeddings-v5-omni est le modèle de représentations vectorielles le plus compact actuellement sur le marché, avec prise en charge des images, de la parole, du texte imprimé et de la vidéo. Il propose :

• jina-embeddings-v5-textL’intégration de textes de classe avancée pour la recherche, l’analyse et les applications d’agents d’IA.

• Les meilleurs embeddings pour la similarité sémantique visuelle, la compréhension visuelle et la recherche d’images. jina-embeddings-v5-omni-small a la meilleure performance sur les benchmarks d’images de tous les modèles comportant un 1 milliard (10⁹) de paramètres et est supérieur à notre propre modèle précédent jina-clip-v2. Seuls quelques modèles dotés de trois à 30 fois plus de paramètres peuvent le battre.

• Des embeddings de pointe pour la compréhension et la recherche visuelle multilingue, surpassant des modèles jusqu’à 20 fois plus grands.

• Les meilleurs embeddings audio de leur catégorie, seuls les modèles ayant au moins le double de paramètres étant plus performants sur les critères de référence standard.

• Compatible avec la vidéo, en particulier pour localiser des objets et des événements sur des séquences vidéo.

Cela s’applique à tous les domaines de la recherche d’informations, du traitement des documents et de l’analyse des données. jina-embeddings-v5-omni ouvre l’accès à des informations enfermées dans différents silos médiatiques et les rend accessibles pour la récupération, l’analyse et l’utilisation par les agents d’IA. Les informations contenues dans les enregistrements audio et vidéo, les PDF, les scans de pages imprimées et les infographies sont sur un pied d’égalité avec les textes numérisés dans votre écosystème de données.

Tout comme jina-embeddings-v5-text, ces modèles existent en deux tailles : small et nano. Les deux modèles étendent leur équivalent textuel avec des modules supplémentaires prenant en charge l'entrée audio et visuelle. Les utilisateurs peuvent sélectionner les modules au moment du chargement. De plus, des extensions spécifiques à chaque tâche pour la similarité sémantique, la classification, le clustering et la récupération d’informations sont implémentées sous forme d’adaptateurs LoRA (Low-Rank Adaptation) compacts et sont toutes chargées, permettant aux utilisateurs de les sélectionner au moment de l’inférence.

Les deux modèles sont très compacts. jina-embeddings-v5-omni-small peut fonctionner sur des serveurs conventionnels équipés de GPU, et jina-embeddings-v5-omni-nano est suffisamment petit pour fonctionner sur du matériel de base. Cela représente une importante économie potentielle en coûts de calcul et rend possible l’installation locale sous licence et le traitement en périphérie, réduisant la latence et augmentant votre contrôle sur vos propres données.

La suite v5-omni utilise des techniques innovantes de conception de modèles et de machine learning pour créer de nouveaux modèles d’encodage à partir de modèles déjà entraînés, sans qu’il soit nécessaire de les réentraîner. Nous utilisons des encodeurs provenant de modèles d’embedding préentraînés et alignés linguistiquement, pour les médias audio et vidéo, comme préprocesseurs en entrée de notre suite de modèles jina-embeddings-v5-text existante. Les modèles ainsi obtenus génèrent des embeddings pour les images et les enregistrements sonores, sémantiquement compatibles avec ceux qu’ils génèrent pour les textes.

Les modèles v5-omni produisent des embeddings de texte identiques à jina-embeddings-v5-text (c’est-à-dire jina-embeddings-v5-omni-small avec jina-embeddings-v5-text-small ; et jina-embeddings-v5-omni-nano avec jina-embeddings-v5-text-nano), ce qui permet d’étendre les référentiels de récupération de texte existants vers des applications multimédias sans reconstruire vos index.

Les encodeurs intégrés sont tous dérivés de sources open-weight. Pour les images et les vidéos, nous avons utilisé des encodeurs issus de modèles Qwen3.5 :

• Pour jina-embeddings-v5-omni-nano, encodeur optimisé SigLIP2 Base issu de Qwen3.5-0.8B.

• Pour jina-embeddings-v5-omni-small, encodeur optimisé SigLIP2 So400m issu de Qwen3.5-2B.

• Pour la compatibilité audio, nous avons ajouté l’encodeur de Whisper-large-v3, extrait de Qwen2.5-Omni-7B, aux versions petite et nano.

Nous avons connecté ces encodeurs spécifiques aux médias à la structure de base de traitement du texte avec des projecteurs intermodaux entraînés. Ces projecteurs traduisent leurs sorties natives en enregistrements d’entrée compatibles avec jina-embeddings-v5-text. Les seules parties nouvellement formées des modèles jina-embeddings-v5-omni sont les poids de ces projecteurs.

Cette architecture signifie que nous n’avons qu’à entraîner les projecteurs multimodèles, avec environ 5,5 millions de paramètres pour jina-embeddings-v5-omni-small et moins de 3,5 millions pour jina-embeddings-v5-omni-nano, pour chacun des quatre adaptateurs LoRa. Cette approche réduit fortament la formation supplémentaire nécessaire pour connecter les différents modèles d’intégration, en tirant parti de la formation spécialisée de chacun pour produire une suite d’intégration modulaire extrêmement compacte et performante.

Propriétés du modèle sélectionné

Entrée/sortie

Nom du modèle

Taille de la fenêtre contextuelle d’entrée

Taille des embeddings

jina-embeddings-v5-omni-small

32 768 jetons*

1024 dimensions (minimum : 32)

jina-embeddings-v5-omni-nano

8 192 jetons *

768 dimensions (minimum: 32)

* Voir Utilisation de jina-embeddings-v5-omni ci-dessous pour en savoir plus sur la tokenisation des médias non textuels.

Taille

Nom du modèle

Taille totale

jina-embeddings-v5-omni-small (modèle de base texte uniquement + 4 adaptateurs LoRA)

700M paramètres

Prise en charge image/vidéo (encodeur SigLIP2 So400m extrait de Qwen3.5-2B)

1 006 mds de paramètres

prise en charge de l’audio (encodeur Whisper-large-v3 extrait de Qwen2.5-Omni-7B)

1 354 mds de paramètres

les deux

1 660 mds de paramètres

adaptateurs LoRA (chacun)

20M

jina-embeddings-v5-omni-nano (modèle de base texte uniquement + 4 adaptateurs LoRA)

266M paramètres

Prise en charge de l’image/de la vidéo (encodeur de base SigLIP2 extrait de Qwen3.5-0,8B)

354M paramètres

prise en charge de l’audio (encodeur Whisper-large-v3 extrait de Qwen2.5-Omni-7B)

916M paramètres

les deux

1,004B paramètres

adaptateurs LoRA (chacun)

7M

* Voir Utilisation de jina-embeddings-v5-omni ci-dessous pour en savoir plus sur la tokenisation des médias non textuels.

Formation spécifique à la tâche

La famille jina-embeddings-v5-omni prend en charge les mêmes adaptateurs LoRA spécifiques à la tâche que jina-embeddings-v5-text :

Tâche

Exemples d'utilisation

Récupération

La recherche d’informations, qu’elle soit utilisée seule ou en combinaison avec d’autres techniques de recherche et d’évaluation des candidats. Avec les modèles v5-omni, vous pouvez récupérer l’audio, la vidéo et les images en une seule requête à partir d’un seul index.

Clustering

Recherche de thèmes et organisation automatique des thèmes dans tous les médias.

Classification

Catégorisation, analyse des sentiments et types de tâches associées.

Similarité sémantique

Déduplication des données à travers les médias, les systèmes de recommandation, les médias connexes, la recherche de textes correspondant à la parole, l’identification des traductions et des tâches similaires.

Les embeddings de sortie dépendent de la catégorie de tâche sélectionnée. Par exemple, il est déconseillé d’utiliser des embeddings orientés vers la récupération pour le clustering ou des embeddings de similarité sémantique pour la classification.

Multimédia, multimodal, multilingue, multifonctionnel

Pour démontrer ce que jina-embeddings-v5-omni peut accomplir, examinons les célèbres passages d’ouverture de deux romans et évaluons leur similarité sémantique :

Le conte de deux cités (Charles Dickens)

Orgueil et préjugés (Jane Austen)

En utilisant jina-embeddings-v5-omni-small, avec son adaptateur de similarité sémantique, ces textes ont une similarité de 0,5329.

Ce chiffre ne signifie pas grand-chose sans point de comparaison, alors comparons ces deux textes à leurs traductions françaises en utilisant le même modèle et le même adaptateur :

Scores de similarité sémantique pour des textes dans différentes langues

A Tale of Two Cities (anglais)

Pride and prejudice (anglais)

Le Conte de deux cités (français) (Paris et Londres en 1783, tr. H. Loreau)

0,9095

0,5074

Pride and Prejudice (français) (Orgueil et Préjugés, tr. Leconte et Pressoir)

0,4826

0,8784

Les deux textes présentent beaucoup plus de similitudes avec leurs traductions qu’avec d’autres textes de la même langue ou d’une langue différente. Ceci reflète les très hautes performances des embeddings sémantiques multilingues de jina-embeddings-v5-text-small, repris tels quels dans jina-embeddings-v5-omni-small.

L’ajout du support multimédia à jina-embeddings-v5-omni signifie que nous pouvons étendre cette expérience à d’autres types de données. Par exemple, nous avons récupéré des scans des premières pages des deux romans à partir d’anciennes éditions imprimées :

Illustration 2 : Le Conte de deux cités, édition non datée du XIXe siècle, et Orgueil et préjugés, édition Macmillan de 1903.

Comparaison des deux textes avec les scans, à nouveau en utilisant l’adaptateur de similarité sémantique :

Scores de similarité sémantique entre textes et images

A Tale of Two Cities (numérisation)

Pride and Prejudice (numérisation)

Tale of Two Cities (texte)

0,7336

0,4891

Pride and Prejudice (texte)

0,4804

0,7213

Vous voyez que les scores de similarité sémantique favorisent fortement les textes qui correspondent au contenu des images.

Nous pouvons également comparer les textes à une capture d’écran d’une publication sur les réseaux sociaux et d’un mème qui font référence à ces textes, en utilisant la même configuration :

Illustration 3 : Un tweet d’Elon Musk faisant référence à Le Conte de deux cités, et un mème faisant référence à la célèbre ouverture d’Orgueil et préjugés.

Scores de similarité sémantique entre textes et images

Le Conte de deux cités

Orgueil et préjugés

Tweet de Musk (image)

0,7156

0,4912

Mème Keep Calm (image)

0,4555

0,6244

Nous pouvons faire la même chose pour la parole. Nous avons obtenu des enregistrements de lectures des deux textes, en anglais et en français :

• A Tale of Two Cities (audio en anglais de Librivox)..

• Un conte de deux villes (audio français généré par OmniVoice IA).

• Pride and Prejudice (audio anglais tiré de Librivox).

• Orgueil et préjugés (audio français généré par OmniVoice IA).

Scores de similarité sémantique entre textes et fichiers audio dans différentes langues

A tale of two cities (audio en anglais)

Le Conte de deux cités (audio en français)

Pride and Prejudice (audio en anglais)

Orgueil et préjugés (audio en français)

Le Conte de deux cités (texte anglais)

0,3816

0,3106

0,1607

0,1774

Le Conte de deux cités (texte français)

0,3528

0,3253

0,1598

0,1721

Pride and Prejudice (texte en anglais)

0,1910

0,1682

0,3511

0,3398

Orgueil et préjugés (texte français)

0,1667

0,1474

0,3018

0,3702

Cette capacité multilingue et multimédia s'étend à la récupération d'informations.

Les adaptateurs de récupération pour les modèles jina-embeddings-v5-omni implémentent une récupération asymétrique. Ils intègrent donc les requêtes différemment de la manière dont ils intègrent les documents cibles de récupération, de sorte que les requêtes intermodales sont toujours dans une certaine direction, avec des requêtes dans un média et des documents dans un autre, donnant des scores différents de ceux obtenus lorsqu’ils sont inversés.

Les tableaux ci-dessous montrent les scores de récupération pour le texte, l’audio et la numérisation de pages pour Le Conte de deux cités et Orgueil et préjugés, lorsque le texte de Le Conte de deux cités (en anglais) est codé comme requête :

Texte à texte

Document

Score de récupération

L'histoire de deux villes (extrait du texte français)

0,7597

Pride and Prejudice (extrait en anglais)

0,1482

Orgueil et préjugés (extrait de texte en français)

0,0523

Image en texte

Document

Score de récupération

A Tale of Two Cities (scan de la page en anglais)

0,5517

Le Conte de deux cités (scan de la page en français)

0,3576

Pride and Prejudice (scan de la page en anglais)

0,1917

Texte en audio

Document

Score de récupération

A tale of two cities (audio en anglais)

0,3277

Le Conte de deux cités (audio en français)

0,1980

Pride and Prejudice (audio en anglais)

0,1419

Orgueil et préjugés (audio en français)

0,1759

Les utilisateurs peuvent également exécuter la requête dans l’autre sens, en effectuant une récupération audio-texte et image-texte.

Vous trouverez ci-dessous les scores en utilisant l’audio anglais de Le Conte de deux cités comme requête et différents textes comme documents :

Image en texte

Document

Score de récupération

A Tale of Two Cities (extrait du texte anglais)

0,3352

L'histoire de deux villes (extrait du texte français)

0,2650

Pride and Prejudice (extrait en anglais)

0,1626

Orgueil et préjugés (extrait de texte en français)

0,1385

Et les scores utilisant une numérisation de la page un de Le Conte de deux cités (en anglais) comme requête :

Audio en texte

Document

Score de récupération

A Tale of Two Cities (extrait du texte anglais)

0,5304

L'histoire de deux villes (extrait du texte français)

0,4845

Pride and Prejudice (extrait en anglais)

0,1467

Orgueil et préjugés (extrait de texte en français)

0,0761

Recherche de vidéo

Les capacités de jina-embeddings-v5-omnipour l’indexation et la recherche vidéo apportent de nouvelles possibilités aux bases de données Elasticsearch, mais elles sont soumises à de nombreuses mises en garde similaires à celles qui s’appliquent aux textes. Générer un embedding unique pour un long film revient à créer un embedding pour un très long roman : les informations détaillées seront noyées, et l’embedding résultant correspondra à de nombreuses requêtes non pertinentes.

Si vous intégrez l’intégralité du texte du Seigneur des anneaux (environ 500 000 mots), il est probable qu’il corresponde à la plupart des requêtes, quelle que soit la nature de votre recherche. De même, si vous indexez un film hollywoodien de deux heures, vous obtiendrez beaucoup de correspondances fallacieuses et de détails totalement manqués. jina-embeddings-v5-omni est optimal avec les clips courts.

Pour cet exemple, nous avons téléchargé la bande-annonce du film de 1961 Diamants sur canapé (Breakfast At Tiffany’s), qui ne dure que 158 secondes et est dans le domaine public. Vous pouvez voir la bande annonce sur Internet Archive.

Illustration 4 : L’affiche du film Diamants sur canapé (Breakfast At Tiffany’s).

Nous avons utilisé PySceneDetect pour diviser la bande-annonce en 28 scènes individuelles, dont la durée varie de 1,877 seconde (45 images) à 18,393 secondes (441 images). La détection des scènes est imparfaite, mais elle fournit un mécanisme adéquat pour diviser la vidéo en parties de taille réduite pour la récupération. Ensuite, nous avons généré des plongements de documents pour chacun des 28 segments, en utilisant jina-embeddings-v5-omni-small, afin de tester l’efficacité des requêtes textuelles pour trouver des éléments spécifiques dans la vidéo.

Par exemple, la requête pour « cat » (chat) a renvoyé les extraits suivants comme les trois premiers résultats. La seule scène avec un chat est en tête, avec un score de 0,1634:

Regardez le premier clip.

La correspondance suivante, avec un score de 0,1237, est bien plus faible :

Regardez l’extrait 2.

Vous pouvez également rechercher des actions. Si vous effectuez une requête avec la chaîne « kiss » (baiser), les quatre premiers résultats correspondent tous à des baisers :

Regardez le clip 3. Son score est de 0,2864.

Scores : pour le deuxième match (0,2494), le troisième match (0,2099) et le quatrième match (0,2068), respectivement.

Et vous pouvez rechercher du texte affiché dans les vidéos, comme pour « Buddy Ebsen », qui n’apparaît qu’une seule fois. jina-embeddings-v5-omni-small le considère facilement comme la meilleure correspondance avec un score de 0,3885, soit bien plus que la meilleure correspondance suivante :

Clip de Buddy Ebsen.

Récupération visuelle de documents

Les modèles d’intégration multimodale Jina AI sont les plus performants en traitement visuel de documents et sont à la pointe de la technologie en matière de traitement de documents visuels multilingues. Cela signifie gérer des données d’image contenant du texte, des illustrations et des informations structurées. Les données importantes prennent souvent la forme de scans imprimés, de fichiers PDF, de diagrammes, de dessins techniques, de captures d’écran, d’images, d’infographies, etc. Ces types d’images sont souvent composés mécaniquement ou générés par ordinateur. En général, ils ne peuvent pas être réduits à du texte sans perte de sens et sont peu adaptés aux modèles de vision par ordinateur conçus pour la photographie de scènes naturelles.

jina-embeddings-v5-omniLes embeddings englobent des informations sur les éléments de l’image, le texte qui y est imprimé et les relations entre les deux. La recherche de documents visuels permet d’indexer des images riches qui contiennent à la fois des objets et du texte pertinent, et ce, dans plusieurs langues.

Prenons comme exemple quatre images de produits provenant de différents sites web de commerce électronique :

Voyons maintenant comment jina-embeddings-v5-omni-small évalue ces quatre images pour la requête « nouilles ramen » :

Campbell’s Chunky Chicken Noodle (emballage canadien)

Kraft Dinner (emballage canadien)

Ramen frais saveur miso Maruchan (emballage japonais)

Birkel Spaghetti (emballage allemand)

0,0872

0,0711

0,1123

0,0886

Il trouve facilement la correspondance japonaise.

Maintenant, essayons une requête pour « マカロニチーズ » (japonais pour macaronis au fromage) :

Campbell’s Chunky Chicken Noodle (emballage canadien)

Kraft Dinner (emballage canadien)

Ramen frais saveur miso Maruchan (emballage japonais)

Birkel Spaghetti (emballage allemand)

0,2207

0,3487

0,2760

0,2674

Il trouve la correspondance correcte avec la même facilité qu’une requête en anglais.

jina-embeddings-v5-omni Il excelle également dans l’interprétation d’images riches en informations, comme les graphiques. Pour voir cela en action, regardez ces deux graphiques à barres :

Deux graphiques, le graphique 1 à gauche, sur la charge mondiale de morbidité, et le graphique 2 à droite, sur l’espérance de vie des races de chiens.

Voyons maintenant dans quelle mesure ils correspondent à deux questions textuelles potentielles, chacune étant pertinente pour l’un des graphiques mais pas pour les deux, en utilisant jina-embeddings-v5-omni-small pour la récupération :

Question en texte

Graphique 1

Tableau 2

« Quels sont les problèmes médicaux courants chez les personnes âgées ? »

0,2787

0,1099

« Combien de temps vivent les chiens ? »

0,1350

0,3564

Vous pouvez aussi inverser la recherche, en utilisant des images comme requêtes pour trouver des textes. Le tableau ci-dessous montre les documents cibles extraits des résumés d’articles scientifiques liés par thème et leurs scores de récupération, en utilisant les images de graphiques comme requêtes :

Texte 1

Texte 2

La santé des populations vivant dans l’extrême pauvreté est depuis longtemps au cœur des efforts de développement mondiaux et reste une priorité à l’ère des objectifs de développement durable. Cependant, depuis près de vingt ans, aucune tentative systématique n’a été faite pour quantifier l’ampleur et les causes de ce problème dans cette population spécifique. Nous avons estimé les taux de maladies par cause pour le milliard le plus pauvre du monde et comparé ces taux à ceux des populations à hauts revenus.

Le chien de compagnie est l’une des espèces les plus diversifiées sur le plan phénotypique. Les différences entre les races ne se limitent pas à la morphologie et aux aspects du comportement, mais concernent aussi la longévité. Malgré ce fait, peu de recherches ont été consacrées à l’évaluation des variations de l’espérance de vie entre les races ou à l’estimation du potentiel de caractérisation phylogénétique de la longévité.

Graphique 1

0,2377

0,1357

Tableau 2

0,0673

0,3576

Fonctionnalités

Embeddings tronquables

Nous avons formé les modèles de base jina-embeddings-v5-text qui sous-tendent jina-embeddings-v5-omni avec Matryoshka Representation Learning, afin que vous puissiez tronquer à la fois les textes et les embeddings multimédias de ces modèles.

Par défaut, jina-embeddings-v5-omni-small génère des embeddings à 1024 dimensions, ce qui nécessite 2 Ko pour les stocker avec une précision de 16 bits. Les embeddings de jina-embeddings-v5-omni-nanoont 768 dimensions, occupant environ 1,5 Ko. Vous pouvez réduire la taille de ces embeddings à 32 dimensions (64 octets) au détriment de la précision, mais avec un gain important en termes de vitesse de traitement et de réduction des coûts de ressources. En général, réduire de moitié les tailles d’embeddings diminue la précision d’environ 2 %, jusqu’à 128 dimensions, en dessous desquelles la précision chute beaucoup plus rapidement.

Les embeddings tronquables permettent aux utilisateurs de décider du compromis optimal entre précision, rapidité et coût, compte tenu de leurs propres cas d’utilisation.

Quantification

La famille jina-embeddings-v5-omni hérite également de solides performances en matière de quantification grâce à son architecture jina-embeddings-v5-text. Cela permet d’augmenter la vitesse et de réduire les coûts de calcul et de stockage en stockant des nombres moins précis. Nous les avons entraînés à fonctionner avec la Better Binary Quantization(BBQ) d’Elasticsearch afin d’obtenir des performances quasiment identiques à celles des intégrations non quantifiées. Sur la suite de benchmarks de récupération Massive Text Embedding Benchmark (MTEB), la binarisation réduit les performances de moins de 3 % par rapport aux valeurs complètes sur 16 bits, tout en économisant 93 % de l’espace et en augmentant considérablement les vitesses de traitement et de récupération.

Performance inter-langues

jina-embeddings-v5-textCet entraînement multilingue approfondi se retrouve dans jina-embeddings-v5-omni, avec près de 100 langues lors du pré-entraînement de jina-embeddings-v5-text-smallet 15 grandes langues mondiales lors de celui de jina-embeddings-v5-text-nano. Pour les médias audio, le modèle Whisper-large-v3 a été entraîné sur environ 100 langues, et les modèles de vision SigLip2 modifiés par Qwen, intégrés dans jina-embeddings-v5-omni-small et -nano, ont été entraînés à partir de données issues de 201 langues et dialectes distincts.

Performance des benchmarks

Texte

jina-embeddings-v5-omni Sont identiques aux modèles jina-embeddings-v5-text lorsqu’ils sont utilisés uniquement pour le texte. Ils sont les plus performants sur la suite MMTEB benchmark dans leurs catégories de taille respectives pour les embeddings textuels sémantiques.

Illustration 5 : Taille et performances de jina-embeddings-v5-omnisur des benchmarks de texte, comparées à celles des modèles concurrents. La taille citée ne tient pas compte du chargement des extensions pour les autres médias.

Similarité sémantique visuelle

Sur les benchmarks standard de similarité sémantique visuelle, jina-embeddings-v5-omni obtient les meilleurs scores parmi tous les modèles de taille comparable. Les modèles jina-embeddings-v5-omni affichent de loin les meilleures performances parmi les modèles publics open weights de taille comparable. jina-embeddings-v5-omni-small n'est battu que par un modèle trois fois plus grand sur les tâches de similarité sémantique visuelle, et jina-embeddings-v5-omni-nano n'est battu que par jina-embeddings-v5-omni-small et par des modèles de 10 à 25 fois plus grands.

Illustration 6 : Scores moyens de similarité sémantique visuelle pour jina-embeddings-v5-omni-small, jina-embeddings-v5-omni-nano, et des modèles comparables, ainsi que leurs tailles incluant les extensions de vision.

Récupération visuelle de documents

jina-embeddings-v5-omni-small est compétitif avec des modèles de trois et sept milliards de paramètres tout en restant sous un milliard de paramètres. jina-embeddings-v5-omni-nano se distingue également par sa taille, devançant les modèles dix à soixante fois plus grands.

Illustration 7 : Scores moyens de récupération de documents visuels ViDoRe sur six benchmarks : DocVQA, InfoVQA, ShiftProj, SynAI, Tabfquad et TatDQA.

Récupération audio

Selon les critères de référence standard de la MAEB (Massive Audio Embedding Benchmark) en matière de récupération audio, jina-embeddings-v5-omni-small et jina-embeddings-v5-omni-nano se classent parmi les plus performants. Seuls les très grands modèles — plus de trois fois plus grands que jina-embeddings-v5-omni-small — ont battu son score.

Illustration 8 : Score moyen pour différents modèles sur les benchmarks de récupération audio MAEB.

Bien que le modèle larger_clap_general de LAION améliore le score de jina-embeddings-v5-omni-nano tout en ayant moins de paramètres, il s’agit d’un modèle uniquement audio sans aucune des fonctionnalités multimodales supplémentaires de la suite v5-omni.

Vidéo

Sur les vidéos, jina-embeddings-v5-omni-small excelle à repérer le passage dans une vidéo qui correspond à une requête textuelle. Les tests Charades-STA et MomentSeeker sont les études comparatives standard pour cette tâche, et comme le montrent les graphiques ci-dessous, jina-embeddings-v5-omni-small obtient le meilleur score parmi les modèles open-weight comparables, malgré une taille bien plus réduite.

Illustration 9 : Scores Charades-STA pour différents modèles, ainsi que leurs tailles.

Illustration 10 : Scores MomentSeeker pour différents modèles, ainsi que leurs tailles.

Nous avons également comparé jina-embeddings-v5-omni-small à Seed 1.6 de ByteDance, un modèle à poids fermé avec un nombre de paramètres non divulgué. Notre modèle beats largement la Seed 1.6 sur le benchmark Charades-STA et l’égale presque sur MomentSeeker.

Modèle

Score Charades-STA

Le score de MomentSeeker

seed-1,6-embedding

29,30

59,30

jina-embeddings-v5-omni-small

55,57

58,93

Points forts et limites

jina-embeddings-v5-omni Les modèles améliorent la capacité des utilisateurs à indexer, rechercher et analyser des informations numérisées de plusieurs manières, notamment :

• Récupération de parole multilingue à partir de requêtes textuelles.

• PDF, scans et recherche visuelle de documents.

• Ancrage temporel de vidéos, c'est-à-dire l'identification des parties de vidéos correspondant à des descriptions en langage naturel.

• Classification des genres audio, y compris les genres musicaux.

• Classification d’images basée sur les informations de scène et l’identification d’objets.

Les performances sont plus limitées dans certains autres domaines. Il est peut-être possible d’utiliser jina-embeddings-v5-omni pour effectuer ces tâches, mais nous n’avons pas effectué d’entraînement pour ces tâches et les résultats peuvent être médiocres.

Nous travaillons activement à l'amélioration de notre technologie dans ces domaines :

• Trouver des vidéos spécifiques à partir de descriptions en langage naturel.

• Similarité sémantique et recherche d’images.

• Classification des intentions dans le discours, comme la reconnaissance de commandes verbales.

• Traitement des entrées multimédias mixtes, c’est-à-dire des images et du texte d’accompagnement, ou de l’audio, des images et des textes combinés.

Utilisation de jina-embeddings-v5-omni

Cette suite de modèles prend en charge trois types d’entrée : texte, audio, images et vidéos combinées. jina-embeddings-v5-omni fonctionne dans un framework qui convertit une large gamme de formats standards et effectue d’autres prétraitements.

Nous traitons les images en utilisant la même approche NaFlex que celle fournie dans la version initiale de SigLip2 : si l’entrée est inférieure à 262 144 pixels (équivalent à 512x512), elle est mise à l’échelle jusqu’à ce qu’elle soit plus grande que ce minimum ; et si elle est supérieure à 3 072 000 pixels, elle est mise à l’échelle jusqu’à ce qu’elle soit plus petite que ce maximum. Le processus de conversion garantit que la hauteur et la largeur de l’image sont un multiple de 14 pixels, avec une distorsion du rapport hauteur/largeur aussi faible que possible pour atteindre cet objectif. Le résultat est divisé en carrés de 28x28 pixels, de sorte que le nombre total de carrés est égal au nombre de carrés de 28x28 nécessaires pour couvrir l’image. Chaque carré est traité comme un jeton unique au moment de l’inférence, et chaque entrée d’image est accompagnée de jetons spéciaux de début et de fin pour délimiter une image unique.

Les modèles jina-embeddings-v5-omni modifient la résolution vidéo de la même manière que les images (voir ci-dessus), et nous extrayons jusqu’à 32 images de la vidéo. Si la vidéo a plus de 32 images (ce qui est probable, puisque les formats standards sont généralement au moins 24 images par seconde), nous étalons uniformément les images extraites. Ensuite, pour chaque deux images, le préprocesseur vidéo génère un ensemble de jetons égal au nombre de 28x28 carrés nécessaires pour couvrir la vidéo.

Figure 11 : jina-embeddings-v5-omni extrait 32 images régulièrement espacées de la vidéo. Si votre vidéo est longue, cela signifie qu'une grande partie sera perdue.

Pour plus de détails sur le prétraitement vidéo, consultez la documentation technique de SigLip2.

La tokenisation audio suit l’approche intégrée à Qwen-2.5-Omni : Les fichiers sonores sont découpés en segments de 30 secondes. S’ils sont plus longs, ils sont rééchantillonnés à 16 kHz, transformés en spectrogramme Mel à 128 canaux. Chaque 40 ms est traité comme un seul jeton, donc chaque segment de 30 secondes est géré comme 750 jetons, un jeton par 40 ms d’audio, plus des jetons spéciaux de début et de fin pour délimiter un échantillon unique.

Pour plus de détails sur le prétraitement audio, consultez le rapport technique Qwen-2.5-Omni.

Disponibilité

jina-embeddings-v5-omni-small et jina-embeddings-v5-omni-nano sont tous deux disponibles sur le service d’inférence Elastic (EIS), via l’API Jina, et pour une installation locale via téléchargement (small et nano). Les poids modèles sont distribués gratuitement à des fins d’essai dans le cadre d’une licence non commerciale. Contactez Elastic sales pour un usage commercial.

Premiers pas

Pour utiliser jina-embeddings-v5-omni pour le texte, vous pouvez l'intégrer à l'aide du champ semantic_text, comme pour jina-embeddings-v5-text. Il suffit de remplacer inference_id par .jina-embeddings-v5-omni-small ou .jina-embeddings-v5-omni-nano. Consultez le Guide de référence pour les instructions.

Pour intégrer d'autres médias avec jina-embeddings-v5-omni, vous devez utiliser l'API d'inférence. Par exemple :

Pour jina-embeddings-v5-omni-nano, remplacez l'URI POST par _inference/embedding/.jina-embeddings-v5-omni-nano.

Pour encoder des documents dans d’autres supports, ou générer des embeddings pour la classification ou le clustering, vous devez créer un point de terminaison d’inférence avec le jinaai service.

Pour les requêtes, utilisez le constructeur de requêtes comme dans l’exemple ci-dessous. Remplacez la valeur inference_id par .jina-embeddings-v5-omni-nano pour utiliser le modèle nano au lieu de small.

Consultez la documentation du générateur de requêtes pour plus d'informations.

Pour utiliser BBQ avec jina-embeddings-v5-omni, suivez les instructions pour l’indexation de BBQ.

Plus d'informations

Pour plus d’informations sur jina-embeddings-v5-omni, consultez le rapport technique et la page du modèle sur le site web de Jina AI. La page de la collection jina-embeddings-v5-omni sur Hugging Face contient également des informations techniques et des instructions pour télécharger et exécuter ces modèles localement. Les modèles jina-embeddings-v5-omni peuvent être téléchargés sous une licence CC-BY-NC-4.0, vous êtes donc libre de les essayer, mais pour un usage commercial, veuillez contacter le service commercial d’Elastic.

La famille comprend deux modèles :

• jina-embeddings-v5-text-small

• jina-embeddings-v5-text-nano

Ces modèles sont le fruit d’une nouvelle méthode d’entraînement innovante pour les modèles d’embeddings. Tous deux surpassent des modèles bien plus volumineux, tout en réduisant les besoins en mémoire et en ressources de calcul, et en accélérant les temps de réponse.

Le modèle jina-embeddings-v5-text-small compte 677 millions de paramètres, prend en charge une fenêtre de contexte d’entrée de 32 768 tokens et génère par défaut des embeddings de 1 024 dimensions.

jina-embeddings-v5-text-nano pèse environ un tiers de la taille de son homologue, avec 239 millions de paramètres et une fenêtre de contexte d’entrée de 8 192 tokens, offrant des embeddings de 768 dimensions.

Nom du modèle

Taille totale

Taille de la fenêtre contextuelle d'entrée

Taille des embeddings

jina-v5-text-small

677M paramètres

32 768 tokens

1 024 dimensions

jina-v5-text-nano

239M paramètres

8 192 tokens

768 dimensions

Ces deux modèles se classent parmi les meilleurs pour les performances globales au benchmark MTEB (Massive Text Embedding Benchmark) et au benchmark multilingue MTEB. Parmi les modèles ayant moins de 500 millions de paramètres, jina-embeddings-v5-text-nano est le plus performant, malgré moins de 250 millions de paramètres, et jina-embeddings-v5-text-small est le leader parmi les modèles d’embeddings multilingues de moins de 750 millions de paramètres.

Ces modèles sont disponibles via Elastic Inference Service (EIS), via une API en ligne, et peuvent également être déployés en local. Pour savoir comment accéder aux modèles jina-embeddings-v5-text, consultez la section « Commencer » ci-dessous.

Les modèles d’embeddings et l’indexation sémantique améliorent considérablement la précision des algorithmes de recherche, tout en répondant à de nombreux autres cas d’usage liés à la similarité sémantique et à l’extraction de sens, par exemple :

• Détection de textes en double.

• Reconnaissance des paraphrases et des traductions.

• Découverte de thématiques.

• Moteurs de recommandation.

• Analyse des sentiments et des intentions.

• Filtrage des spams.

• Et bien d'autres encore.

Fonctionnalités

Cette nouvelle famille de modèles propose un ensemble de fonctionnalités conçues pour améliorer la pertinence et réduire les coûts.

Optimisation des tâches

Nous avons optimisé les modèles jina-embeddings-v5-text pour quatre grands types de tâches :

Tâche

Exemples de cas d'utilisation

Récupération

Recherche à l’aide de requêtes en langage naturel et récupération des correspondances les plus pertinentes au sein d’une collection de documents.

Correspondance de texte

Similarité sémantique, déduplication, alignement des paraphrases et des traductions, et plus encore.

Clustering

Découverte de thématiques, organisation automatique de collections de documents.

Classification

Catégorisation de documents, analyse des sentiments et détection des intentions, tâches similaires.

Optimiser un modèle pour une tâche implique généralement de faire des compromis sur une autre. La plupart des modèles d’embeddings n’offrent donc des performances compétitives que pour un seul type de tâche. En revanche, les modèles jina-embeddings-v5-text peuvent se spécialiser dans les quatre catégories sans compromettre l’entraînement, grâce à des adaptateurs Low-Rank Adaptation (LoRA) spécifiques à chaque tâche.

Les adaptateurs LoRA sont une sorte de plugin pour un modèle d’IA, qui en modifie fortement le comportement tout en n’augmentant que légèrement sa taille totale. Au lieu d’avoir un modèle distinct pour chaque tâche, chacun comportant des centaines de millions de paramètres, la famille de modèles jina-embeddings-v5-text vous permet d’utiliser un seul modèle, associé à un adaptateur LoRA compact pour chaque tâche. Cela permet d’économiser de la mémoire, de l’espace de stockage et de réduire les coûts d’inférence.

Troncature des embeddings

Nous avons entraîné les modèles jina-embeddings-v5-text avec Matryoshka Representation Learning (MRL), ce qui vous permet de réduire la taille de vos embeddings tout en limitant l’impact sur leur qualité.

Par défaut, jina-embeddings-v5-text-small génère des vecteurs d’embeddings de 1 024 dimensions, chaque valeur étant représentée sur 16 bits, ce qui porte la taille de chaque embedding à 2 Ko. Pour une vaste collection de documents, cela peut représenter un volume de données important à stocker. La recherche dans une base de données vectorielle remplie d’embeddings est proportionnelle à la taille de la base et au nombre de dimensions de chaque vecteur stocké.

Vous pouvez toutefois réduire de moitié la taille des embeddings (en supprimant 512 des 1 024 dimensions), diminuer l’espace occupé de moitié et doubler la vitesse de recherche. Cela a un impact sur les performances. Supprimer des informations réduit la précision. Mais comme le montre le graphique ci-dessous, supprimer la moitié de l’embedding n’entraîne qu’une légère baisse des performances :

Tant que vos embeddings comportent au moins 256 dimensions, la perte de précision devrait rester relativement faible. En dessous de ce seuil, en revanche, la pertinence et la précision se dégradent rapidement.

La troncature des embeddings de cette manière vous permet de gérer vos arbitrages entre précision et coûts de calcul. Vous disposez ainsi des leviers nécessaires pour obtenir des gains d’efficacité significatifs et réduire sensiblement les coûts de votre Search AI.

Quantification robuste

La quantification constitue une autre méthode pour réduire la taille des embeddings. Au lieu de supprimer une partie de chaque embedding, la quantification diminue la précision des valeurs numériques qui le composent. Les modèles jina-embeddings-v5-text génèrent des embeddings avec des valeurs sur 16 bits, mais nous pouvons arrondir ces valeurs, ce qui réduit leur précision ainsi que le nombre de bits nécessaires pour les stocker. Dans le cas le plus extrême, il est possible de ramener chaque valeur à un seul bit (0 ou 1), ce qui compresse les embeddings par défaut de 1 024 dimensions de jina-embeddings-v5-textde 2 kilooctets à 128 octets, soit une réduction de 94 % grâce à la seule quantification binaire. Comme pour la troncature, cela permet de réaliser d’importantes économies de mémoire et de ressources de calcul. Cependant, à l’instar de la troncature, la quantification réduit la précision des embeddings.

Nous avons entraîné les modèles jina-embeddings-v5-text pour fonctionner avec la Better Binary Quantization (BBQ) d’Elasticsearch, en minimisant la perte de précision. Les tests comparatifs des embeddings binarisés issus de ces modèles montrent des performances presque équivalentes à celles de leurs versions non binarisées. Consultez le rapport technique pour accéder à des études d’ablation détaillées sur les performances de la binarisation.

Performance multilingue

De nombreux modèles d’embeddings sont multilingues, car ils ont été entraînés sur des corpus couvrant un grand nombre de langues. Cela ne signifie pas pour autant qu’ils offrent des performances équivalentes dans toutes les langues prises en charge.

Nous avons identifié 211 langues dans le benchmark multilingue MTEB et les avons isolées afin de comparer nos modèles à des modèles similaires, langue par langue. L’image ci-dessous synthétise nos résultats sous la forme d’une carte thermique. Chaque zone correspond à une langue (identifiée par son code ISO-639) et plus la couleur est verte, meilleures sont les performances du modèle par rapport à la moyenne des modèles similaires :

Bien que la précision varie selon les langues, les modèles jina-embeddings-v5-text atteignent des performances de pointe, ou proches de l’état de l’art, dans la majorité des langues du monde.

Pour en savoir plus sur les performances multilingues, consultez le rapport techniquejina-embeddings-v5-text .

Jina in Elastic : une IA native de pointe pour la recherche

Avec les modèles jina-embeddings-v5-text sur EIS, vous exécutez des modèles d’embeddings multilingues hautes performances de manière native dans Elasticsearch, avec une inférence entièrement gérée, accélérée par GPU, et sans infrastructure à provisionner ni à faire évoluer. Les modèles jina-embeddings-v5-text enrichissent le catalogue de modèles EIS en proposant des modèles multilingues compacts, tirant parti des dernières avancées en matière d’IA. Ces modèles affichent des performances de pointe sur les benchmarks de recherche d’information et d’analyse de données standard, tout en offrant une prise en charge multilingue inégalée à l’échelle mondiale.

Avec deux modèles de tailles très différentes, vous pouvez déterminer celui qui convient le mieux à vos applications et à votre budget. De plus, grâce à des embeddings robustes qui restent performants lorsqu’ils sont tronqués à des tailles plus réduites ou quantifiés avec une précision moindre, les modèles jina-embeddings-v5-text offrent des opportunités supplémentaires d’économies concrètes en matière de stockage, de coûts de calcul et de latence de traitement.

Avec la famille jina-embeddings-v5-text, Jina Reranker et la recherche vectorielle rapide et BM25 d’Elastic, vous bénéficiez désormais d’une recherche hybride de bout en bout, de pointe, proposée par Elastic. Lorsque vous avez besoin des résultats les plus pertinents, que ce soit pour des pipelines de génération augmentée par récupération (RAG), des applications de recherche ou des analyses de données, Elastic associé aux modèles Search AI de Jina vous garantit une qualité robuste et un excellent rapport coût-efficacité.

Premiers pas

Les modèles jina-embeddings-v5-text sont entièrement intégrés dans EIS, et vous pouvez les utiliser en définissant lechamp typesursemantic_text lors de la création de votre index et en spécifiant le modèle (jina-embeddings-v5-text-small ou jina-embeddings-v5-text-nano) dans lechamp inference_id, comme dans cet exemple :

Elasticsearch sélectionne automatiquement l’adaptateur LoRA approprié lors de l’indexation et de la recherche. Les dimensions de l'intégration (voir la section « Troncature des intégrations » ci-dessus) peuvent être définies lors de la création d'un point de terminaison d'inférence personnalisé.

Consultez la documentation Elasticsearch pour plus d'informations sur l'utilisation des modèles jina-embeddings-v5-text .

Plus d'informations

Pour en savoir plus sur les modèles jina-embeddings-v5-text, lisez les notes de publication sur le blog de Jina AI et le rapport technique, qui contiennent des informations techniques détaillées sur les performances et la nouvelle procédure de formation innovante de Jina AI. Pour plus d'informations sur le téléchargement et l'exécution de ces modèles localement, consultez la jina-embeddings-v5-text page de la collection sur Hugging Face.

Les modèles Jina AI sont disponibles sous licence CC-BY-NC-4.0, vous êtes donc libre de les télécharger et de les essayer, mais pour un usage commercial, veuillez contacter les ventes d’Elastic.

Les modèles Jina se répartissent en trois grandes catégories, conçues pour faciliter le traitement, l’organisation et la recherche d’informations :

• Modèles d’embedding sémantique

• Modèles de reclassification

• Petits modèles de langage génératif

Modèles d’embedding sémantique

L’idée derrière les embeddings sémantiques est qu’un modèle d’IA peut apprendre à représenter certains aspects du sens d’une entrée en s’appuyant sur la géométrie d’espaces à très grande dimension.

On peut considérer un embedding sémantique comme un point (techniquement un vecteur) dans un espace à plusieurs dimensions. Un modèle d’embedding est un réseau de neurones qui reçoit des données numériques en entrée (souvent du texte ou une image) et renvoie l’emplacement du point correspondant dans un espace multidimensionnel, sous forme de coordonnées numériques. Si le modèle est efficace, la distance entre deux embeddings sémantiques est proportionnelle à la similarité de sens des objets correspondants.

Pour comprendre l’intérêt de cette approche dans les applications de recherche, imaginez les embeddings des mots « chien » et « chat » comme des points dans l’espace :

Un bon modèle d’embedding générera une représentation du mot « félin » bien plus proche de « chat » que de « chien », tandis que « canidé » sera plus proche de « chien » que de « chat », car ces mots partagent un sens très proche :

Si un modèle est multilingue, nous nous attendrions à la même chose pour les traductions de « chat » et « chien » :

Les modèles d’embedding traduisent la similarité ou la différence de sens entre des éléments en relations spatiales entre leurs représentations vectorielles. Les illustrations ci-dessus sont en deux dimensions pour faciliter la visualisation, mais les modèles d’embedding produisent des vecteurs comportant des dizaines, voire des milliers de dimensions. Cela leur permet de capturer les subtilités du sens dans des textes entiers, en leur associant un point dans un espace comportant des centaines, voire des milliers de dimensions, pour des documents pouvant contenir des milliers de mots.

Embeddings multimodaux

Les modèles multimodaux étendent le principe des embeddings sémantiques à d’autres types de contenu que le texte – notamment les images. On s’attend donc à ce qu’un embedding d’image soit proche de celui d’une description fidèle de cette image :

Les embeddings sémantiques offrent de nombreux cas d’usage. Ils peuvent notamment servir à créer des classificateurs efficaces, à regrouper les données (data clustering), ou encore à effectuer des tâches comme la déduplication ou l’analyse de la diversité des données – des fonctionnalités clés dans les environnements big data où les volumes à traiter sont trop importants pour être gérés manuellement.

L’usage principal des embeddings concerne la recherche d’informations. Elasticsearch peut stocker des objets de récupération avec des embeddings comme clés. Les requêtes sont converties en vecteurs d’embedding, et une recherche renvoie les objets stockés dont les clés sont les plus proches du vecteur d’embedding de la requête.

Là où la recherche vectorielle traditionnelle (par vecteur unique ou vecteur clairsemé) utilise des vecteurs basés sur les mots ou les métadonnées dans les documents et les requêtes, la recherche par embeddings (ou vecteurs denses) utilise des significations évaluées par l’IA plutôt que des mots. Cela les rend en général plus flexibles et plus précis que les méthodes de recherche classiques.

Apprentissage par représentation de type matriochka

Le nombre de dimensions d’un embedding et la précision des valeurs qu’il contient ont un impact significatif sur les performances. Les espaces très dimensionnels et les nombres de très grande précision permettent de représenter des informations très complexes et détaillées, mais nécessitent des modèles d’IA plus coûteux à entraîner et à exécuter. Les vecteurs générés occupent également plus d’espace de stockage et nécessitent davantage de ressources de calcul pour mesurer les distances entre eux. L’utilisation de modèles d’embedding sémantique implique donc un compromis important entre précision et consommation de ressources.

Pour maximiser la flexibilité côté utilisateur, les modèles Jina sont entraînés avec une technique appelée Matryoshka Representation Learning. Cette méthode pousse le modèle à prioriser les distinctions sémantiques importantes dans les premières dimensions du vecteur, ce qui permet ensuite de tronquer les dimensions les plus élevées sans perte significative de performance.

Concrètement, cela signifie que les utilisateurs des modèles Jina peuvent choisir le nombre de dimensions qu’ils souhaitent attribuer à leurs embeddings. Réduire le nombre de dimensions entraîne une perte de précision, mais la dégradation des performances reste mineure. Pour la plupart des tâches, les performances des modèles Jina diminuent d’environ 1 à 2 % chaque fois que l’on réduit la taille des embeddings de 50 %, jusqu’à une réduction d’environ 95 %.

Récupération asymétrique

La similarité sémantique est généralement mesurée de façon symétrique. La valeur obtenue en comparant « chat » à « chien » est la même que celle obtenue en comparant « chien » à « chat ». Mais lorsqu’on utilise des embeddings pour la recherche d’informations, les résultats sont meilleurs si l’on casse cette symétrie et qu’on encode les requêtes différemment des objets à retrouver.

Cela tient à la façon dont les modèles d’embedding sont entraînés. Les données d’entraînement contiennent des éléments similaires, comme des mots, dans des contextes variés, et les modèles apprennent à en déduire le sens en comparant les similitudes et les différences contextuelles entre ces éléments.

Ainsi, il se peut par exemple que le mot « animal » apparaisse rarement dans les mêmes contextes que « chat » ou « chien », et que l’embedding du mot « animal » ne soit donc pas particulièrement proche de ceux de « chat » ou « chien ».

Cela réduit la probabilité qu’une requête sur le mot « animal » retourne des documents traitant de chats et de chiens — ce qui est précisément l’effet inverse de l’objectif recherché. On encode donc le mot « animal » différemment selon qu’il s’agit d’une requête ou d’un objet cible à retrouver :

La recherche asymétrique consiste à utiliser un modèle différent pour les requêtes, ou à entraîner un modèle d’embedding de façon spécifique pour encoder différemment les éléments selon qu’ils sont stockés pour la recherche ou utilisés comme requêtes.

Embeddings multi-vecteurs

Les embeddings simples sont efficaces pour la recherche d’informations car ils s’intègrent bien au fonctionnement d’une base indexée : les objets à retrouver sont stockés avec un unique vecteur d’embedding utilisé comme clé de recherche. Lorsque les utilisateurs interrogent le magasin de documents, leurs requêtes sont converties en vecteurs d’embedding, et les documents dont la clé est la plus proche de celle de la requête (dans l’espace vectoriel de haute dimension) sont retournés comme correspondances candidates.

Les embeddings multi-vecteurs fonctionnent différemment. Au lieu de générer un vecteur de longueur fixe pour représenter une requête ou un objet stocké, ils produisent une séquence d’embeddings représentant des parties plus petites de ces éléments. Ces parties sont généralement des jetons ou mots pour les textes, ou des fragments d’image pour les données visuelles. Ces embeddings traduisent le sens de chaque élément dans son contexte.

Par exemple, prenons ces phrases:

• She had a heart of gold.

• She had a change of heart.

• She had a heart attack.

En apparence, ces phrases sont très similaires, mais un modèle multi-vecteur générerait probablement des embeddings très différents pour chaque occurrence du mot « heart », car son sens varie dans le contexte de chaque phrase:

Comparer deux objets à l’aide de leurs embeddings multi-vecteurs revient souvent à calculer leur distance de Chamfer : on compare chaque élément d’un embedding avec ceux de l’autre, puis on additionne les distances minimales. D’autres systèmes, y compris les modules de reclassification Jina présentés plus bas, transmettent ces données à un modèle d’IA spécifiquement entraîné à évaluer leur similarité. Ces deux approches offrent généralement une précision supérieure à la simple comparaison de vecteurs uniques, car les embeddings multi-vecteurs capturent beaucoup plus d’informations contextuelles.

Toutefois, les embeddings multivecteurs sont peu adaptés à l’indexation. Ils sont souvent utilisés dans les tâches de reclassification, comme illustré dans le modèle jina-colbert-v2 présenté dans la section suivante.

Modèles d’embedding Jina

Jina Embeddings v4

jina-embeddings-v4 est un modèle multilingue et multimodal de 3,8 milliards de paramètres (3,8 × 10⁹), compatible avec des textes dans une grande diversité de langues. Il repose sur une architecture innovante qui exploite les connaissances visuelles et linguistiques pour améliorer les performances dans les deux domaines, en particulier dans les tâches de recherche d’images — notamment la recherche de documents visuels. Cela signifie qu’il est capable de traiter des images comme des graphiques, des présentations, des captures d’écran, des pages scannées ou des schémas — des types d’images courants contenant souvent du texte embarqué, en dehors du champ des modèles de vision entraînés sur des scènes du monde réel.

Nous avons optimisé ce modèle pour différentes tâches à l’aide d’adaptateurs compacts LoRA (Low-Rank Adaptation). Cette approche nous permet d’entraîner un modèle unique capable de se spécialiser dans plusieurs tâches sans perte de performance, pour un coût mémoire ou calculatoire minimal.

Principales fonctionnalités :

• Des performances de pointe en recherche de documents visuels, avec en plus une excellente prise en charge du texte multilingue et des images classiques — surpassant des modèles bien plus volumineux.

• Prise en charge de contextes d’entrée étendus : 32 768 jetons correspondent à environ 80 pages de texte en anglais double interligne, et 20 mégapixels équivalent à une image de 4 500 × 4 500 pixels.

• Taille des embeddings sélectionnée par l’utilisateur, allant de 2048 dimensions au maximum jusqu’à 128 dimensions. Nous avons constaté empiriquement une forte dégradation des performances en dessous de ce seuil.

• Compatibilité avec les embeddings simples et multi-vecteurs. Pour le texte, la sortie multivecteur se compose d’un embedding de 128 dimensions pour chaque jeton d’entrée. Pour les images, un embedding de 128 dimensions est généré pour chaque bloc de 28 × 28 pixels nécessaires à la couverture de l’image.

• Optimisation pour la recherche asymétrique grâce à une paire d’adaptateurs LoRA spécialement entraînés à cet effet.

• Un adaptateur LoRA optimisé pour le calcul de similarité sémantique.

• Prise en charge spécifique des langages de programmation et des frameworks IT, également via un adaptateur LoRA.

Nous avons développé jina-embeddings-v4 comme outil polyvalent pour toute une gamme de tâches : recherche, compréhension du langage naturel et analyse basée sur l’IA. C’est un modèle relativement compact au vu de ses capacités, mais qui demande tout de même des ressources importantes pour être déployé, et convient mieux à une utilisation via une API cloud ou dans un environnement haute performance.

Jina Embeddings v3

jina-embeddings-v3 est un modèle d’embedding multilingue, léger, performant, axé sur le texte, avec moins de 600 millions de paramètres. Il prend en charge jusqu’à 8 192 jetons de texte en entrée et génère des embeddings vectoriels simples, avec des tailles personnalisables (de 1 024 à 64 dimensions).

Nous avons entraînerjina-embeddings-v3 non seulement pour la recherche d’informations et la similarité sémantique, mais aussi pour des tâches de classification, comme l’analyse de sentiments, la modération de contenu, le clustering, l’agrégation de nouvelles et la recommandation. Comme jina-embeddings-v4, ce modèle utilise des adaptateurs LoRA spécialisés pour les cas d’usage suivants :

• Récupération asymétrique

• Similarité sémantique

• Classification

• Clustering

jina-embeddings-v3 est un modèle beaucoup plus compact que jina-embeddings-v4 , avec une taille de contexte en entrée considérablement réduite, mais qui est aussi moins coûteux à exécuter. Malgré cela, il offre des performances très compétitives (bien qu’uniquement sur du texte) et représente un choix pertinent pour de nombreux cas d’usage.

Embeddings de code Jina

Les modèles Jina spécialisés pour l’embedding de code — jina-code-embeddings (0,5 Md et 1,5 Md de paramètres) — prennent en charge 15 langages de programmation ainsi que des textes en anglais dans le domaine de l’informatique et des technologies de l’information. Ce sont des modèles compacts, avec respectivement 500 millions et 1,5 milliard de paramètres. Les deux modèles acceptent jusqu’à 32 768 jetons en entrée et permettent à l’utilisateur de définir la taille des embeddings générés : de 896 à 64 dimensions pour le plus petit, et de 1 536 à 128 pour le plus grand.

Ces modèles prennent en charge la recherche asymétrique, pour cinq spécialisations par type de tâche, en utilisant une méthode de réglage par préfixe plutôt que des adaptateurs LoRA :

• Code vers code. Récupère du code similaire entre différents langages de programmation. Utilisé pour l’alignement de code, l’élimination des doublons, la migration et le refactoring.

• Langage naturel vers code. Permet de retrouver du code correspondant à une requête en langage naturel, un commentaire ou une description.

• Code vers langage naturel. Associe du code source à de la documentation ou à d’autres textes en langage naturel.

• Complétion de code à partir de code. Suggère du code pertinent pour compléter ou améliorer un extrait existant.

• Questions-réponses techniques. Fournit des réponses en langage naturel sur des sujets technologiques, idéal pour des cas d’usage liés à l’assistance technique.

Ces modèles offrent des performances supérieures pour les tâches portant sur la documentation technique et les ressources de développement, à un coût computationnel relativement faible. Ils s’intègrent facilement dans les environnements de développement et les assistants de programmation.

Jina ColBERT v2

jina-colbert-v2 est un modèle d’embedding multivecteur de 560 millions de paramètres. Il est multilingue, entraîné à partir de données couvrant 89 langues, et prend en charge les tailles d’embedding variables et la recherche asymétrique.

Comme mentionné précédemment, les plongements multivecteurs sont peu adaptés à l’indexation mais sont très utiles pour augmenter la précision des résultats d’autres stratégies de recherche. En utilisant jina-colbert-v2, vous pouvez calculer à l’avance les embeddings multivecteurs, puis les utiliser pour reclasser les candidats lors de la recherche, au moment de la requête. Cette méthode est moins précise que l’utilisation directe d’un modèle de reclassification, mais beaucoup plus efficace, car elle consiste uniquement à comparer les embeddings multivecteurs déjà stockés, sans faire appel au modèle d’IA à chaque requête ou comparaison de candidats. Elle est particulièrement adaptée aux cas d’usage où la latence et le coût de calcul d’un modèle de reclassification seraient trop élevés, ou lorsque le nombre de documents candidats est trop important.

Ce modèle produit une séquence d’embeddings, un par jeton d’entrée, et les utilisateurs peuvent choisir des embeddings de 128, 96 ou 64 dimensions. Les correspondances candidates sont limitées à 8 192 jetons. Les requêtes sont encodées de manière asymétrique, ce qui impose à l’utilisateur de spécifier si un texte est une requête ou une correspondance candidate, et de limiter la requête à 32 jetons.

Jina CLIP v2

jina-clip-v2 est un modèle d’embedding multimodal de 900 millions de paramètres, entraîné pour produire des embeddings proches entre un texte et une image décrivant le même contenu. Son usage principal est la recherche d’images à partir de requêtes textuelles, mais c’est aussi un modèle textuel performant. Il permet de réduire les coûts liés à la gestion de modèles distincts pour la recherche texte-texte et texte-image.

Ce modèle prend en charge un contexte d’entrée textuel de 8 192 jetons, et les images sont redimensionnées à 512 × 512 pixels avant génération des embeddings.

Les architectures CLIP (Contrastive Language–Image Pretraining) sont simples à entraîner, produisent des modèles compacts, mais présentent des limites structurelles importantes. Elles ne permettent pas de transférer la connaissance d’un support à un autre pour améliorer les performances. Elles ne peuvent pas utiliser un support pour améliorer leurs performances sur un autre. Ainsi, même si le modèle sait que les mots « chien » et « chat » sont plus proches en sens que ne l’est « voiture », il ne saura pas forcément qu’une image de chien est plus proche d’une image de chat qu’elle ne l’est d’une image de voiture.

Cependant, ce modèle souffre également d’un problème connu sous le nom de décalage de modalité : par exemple, un texte sur les chiens pourrait être plus proche, en termes d’embedding, d’un texte sur les chats que d’une image de chien. À cause de cette limitation, nous recommandons d’utiliser CLIP soit pour la recherche texte-image, soit comme modèle textuel seul, mais pas pour combiner les deux dans une même requête.

Modèles de reclassification

Les modèles de reclassification prennent une ou plusieurs correspondances candidates, ainsi qu’une requête en entrée, et les comparent directement, produisant ainsi des correspondances beaucoup plus précises.

En théorie, on pourrait utiliser un reranker directement pour la recherche d’informations, en comparant chaque requête à chaque document stocké, mais cela serait extrêmement coûteux en calcul et peu réaliste, sauf pour de très petites collections. En pratique, les rerankers sont donc surtout utilisés pour réévaluer des listes restreintes de correspondances candidates identifiées par d’autres moyens, comme une recherche par embeddings ou d’autres algorithmes de recherche. Les modèles de reclassification conviennent parfaitement aux architectures de recherche hybrides ou fédérées, où une requête peut être envoyée à plusieurs systèmes de recherche distincts, chacun interrogeant ses propres ensembles de données et retournant des résultats différents. Ils sont très efficaces pour fusionner des résultats hétérogènes en une seule réponse de haute qualité.

La recherche basée sur des embeddings peut représenter un engagement important : elle implique de réindexer toutes vos données stockées et de revoir les attentes des utilisateurs sur les résultats. L’ajout d’un reranker à une solution de recherche existante permet de bénéficier des avantages de l’IA sans avoir à réarchitecturer toute la solution.

Modèles de reclassification Jina

Jina Reranker m0

jina-reranker-m0 est un reclassificateur multimodal de 2,4 milliards de paramètres, qui prend en charge des requêtes textuelles et des candidats textuels et/ou visuels. C’est le modèle de référence pour la recherche documentaire visuelle, idéal pour interroger des bases contenant des PDF, captures d’écran, images modifiées ou documents semi-structurés, qu’ils soient textuels, visuels ou mixtes.

Ce modèle prend une requête et une correspondance candidate, et retourne un score. Lorsque la même requête est utilisée avec différents candidats, les scores sont comparables et peuvent être utilisés pour les classer. Il prend en charge une taille d’entrée totale allant jusqu’à 10 240 jetons, incluant la requête et le texte ou l’image candidat(e). Chaque bloc d’image de 28 × 28 pixels utilisé pour couvrir l’image compte comme un jeton pour le calcul de la taille d’entrée.

Jina Reranker v3

jina-reranker-v3 est un reclassificateur textuel de 600 millions de paramètres avec des performances de pointe pour sa taille. Contrairement à jina-reranker-m0, il traite une requête unique et une liste pouvant aller jusqu’à 64 candidats, puis renvoie leur ordre de classement. Il prend en charge un contexte d’entrée de 131  000 jetons, incluant la requête et tous les candidats.

Jina Reranker v2

jina-reranker-v2-base-multilingual est un modèle compact et polyvalent, intégrant des fonctionnalités supplémentaires comme le support de l’appel de fonction et des requêtes SQL. Pesant moins de 300 millions de paramètres, ce modèle offre un reclassement multilingue rapide, efficace et précis, avec un support supplémentaire pour la sélection de tables SQL et de fonctions externes associées aux requêtes textuelles, ce qui le rend adapté aux cas d’usage orientés agent.

Petits modèles de langage génératif

Les modèles de langage génératif sont des modèles comme ChatGPT d’OpenAI, Google Gemini et Claude d’Anthropic, qui acceptent des entrées textuelles ou multimédias et renvoient des sorties textuelles. Il n’existe pas de frontière claire entre les grands modèles de langage (LLM) et les petits modèles de langage (SLM), mais les difficultés pratiques liées au développement, à l’exploitation et à l’usage de LLM de pointe sont bien connues. Les modèles les plus connus ne sont pas distribués publiquement, donc nous ne pouvons qu’estimer leur taille : ChatGPT, Gemini et Claude seraient dans la fourchette des 1 à 3 milliards de milliards de paramètres (1–3×10¹²).

Exécuter ces modèles, même lorsqu’ils sont en accès libre, dépasse largement les capacités du matériel conventionnel et requiert les puces les plus avancées, organisées en réseaux massivement parallèles. Il est possible d’utiliser des LLM via des API payantes, mais cela implique des coûts importants, une forte latence, et pose des défis en matière de protection des données, de souveraineté numérique et de rapatriement hors du cloud. En outre, les coûts liés à l’entraînement et à la personnalisation de modèles de cette taille peuvent être conséquents.

C’est pourquoi de nombreuses recherches portent sur le développement de modèles plus petits qui, bien qu’ils n’offrent pas toutes les capacités des plus grands LLM, peuvent exécuter certaines tâches spécifiques avec une qualité équivalente et à moindre coût. Les entreprises déploient généralement des logiciels pour répondre à des besoins spécifiques, et les logiciels d’IA n’échappent pas à cette règle : les solutions basées sur des SLM sont souvent préférées aux LLM. Ils peuvent généralement être exécutés sur du matériel standard, sont plus rapides, consomment moins d’énergie et sont beaucoup plus faciles à personnaliser.

L’offre SLM de Jina se développe à mesure que nous cherchons à intégrer l’IA dans des solutions de recherche concrètes.

Jina SLMs

ReaderLM v2

ReaderLM-v2 est un modèle de langage génératif capable de convertir du HTML en Markdown ou en JSON, selon des schémas JSON fournis par l’utilisateur et des instructions en langage naturel.

Le prétraitement et la normalisation des données sont des étapes clés dans le développement de solutions de recherche performantes pour les données numériques, mais les données issues du web sont souvent désordonnées, et les stratégies simples de conversion montrent vite leurs limites. Au contraire, ReaderLM-v2 propose une solution d’IA intelligente, capable de comprendre le chaos d’un arbre DOM brut issu d’une page web, et d’identifier avec robustesse les éléments utiles.

Avec 1,5 milliard de paramètres (1,5 × 10⁹), ils sont mille fois plus compacts que les LLM de dernière génération tout en offrant des performances comparables sur des tâches ciblées.

Jina VLM

jina-vlm est un modèle de langage génératif de 2,4 milliards de paramètres (2,4×10⁹), conçu pour répondre à des questions en langage naturel à propos d’images. Il offre un excellent support pour l’analyse de documents visuels, c’est-à-dire la réponse à des questions sur des captures d’écran, des présentations, des schémas ou d’autres images non naturelles.

Par exemple :

Ils sont également très performants pour la lecture de texte dans des images:

Mais là où jina-vlm excelle vraiment, c'est dans la compréhension du contenu des images informatives et artificielles :

Ou :

jina-vlm Ils conviennent parfaitement pour la génération automatique de légendes, les descriptions de produits, les balises alt pour les images, et les applications d’accessibilité pour les personnes malvoyantes. Ils ouvrent aussi la voie à des systèmes RAG (retrieval-augmented generation) capables d’utiliser des données visuelles et de permettre à des agents d’IA de traiter des images sans intervention humaine.