Choisir un LLM : le guide 2024 de prise en main des LLM open source

Un LLM open source est un LLM disponible gratuitement et qui peut être modifié et personnalisé par n'importe qui.

Avec un LLM open source, toute personne ou entreprise peut l'utiliser à ses propres fins sans avoir à payer de frais de licence. Cela inclut le déploiement du logiciel LLM sur sa propre infrastructure et son réglage précis pour répondre à ses besoins spécifiques.

C'est l'inverse d'un LLM propriétaire qui appartient à une seule personne ou organisation et n'est pas accessible au public. L'exemple le plus connu est la série de modèles GPT d'OpenAI.

Regardez cette vidéo pour approfondir vos connaissances des LLM :

Pour vous aider à choisir un LLM open source adapté à votre entreprise ou projet, nous en avons sélectionné huit parmi les plus intéressants. Cette liste s'appuie sur les indicateurs de popularité de la dynamique communauté IA et du référentiel de ressources de machine learning Hugging Face.

Développé par EleutherAI, GPT-NeoX-20B est un modèle de langage autorégressif conçu pour ressembler architecturalement à GPT-3. Il a été entraîné à l'aide de la bibliothèque GPT-NeoX et des données de The Pile, un ensemble de données open source de 800 Go hébergé par The Eye.

GPT-NeoX-20B a été principalement développé à des fins de recherche. Il est doté de 20 milliards de paramètres que vous pouvez utiliser et personnaliser.

À qui cela s'adresse-t-il ?
GPT-NeoX-20B est idéal pour les moyennes et grandes entreprises ayant des besoins avancés en génération de contenu, telles que les agences de marketing et les entreprises de médias. Ces entreprises doivent disposer de personnel qualifié et de la puissance de calcul nécessaire pour exécuter un LLM de grande envergure.

À qui n'est-il pas adapté ?
Ce grand modèle de langage n'est pas adapté aux petites entreprises ni aux particuliers qui ne disposent pas des ressources financières et techniques nécessaires pour gérer ses exigences de calcul. 

Complexité d'utilisation
Comme il n'est pas conçu pour être déployé tel quel, vous aurez besoin de l'expertise technique nécessaire pour déployer et paramétrer GPT-NeoX-20B en fonction de vos tâches et besoins spécifiques.

Également développé par EleutherAI, GPT-J-6b est un modèle de transformer génératif pré-entraîné conçu pour produire un texte de type humain à partir d'un prompt. Il est construit selon le modèle GPT-J et comporte 6 milliards de paramètres entraînables (d'où son nom).

Il a été entraîné sur un ensemble de données en anglais uniquement. Par conséquent, il n'est pas approprié pour la traduction ou la génération de textes dans d'autres langues.

À qui s'adresse-t-il ?
En raison de sa simplicité d'utilisation et de sa taille relativement petite, GPT-J-6b est idéal pour les startups et les PME qui recherchent un équilibre entre performance et consommation de ressources.

À qui n'est-il pas adapté ?
Ce LLM n'est peut-être pas le meilleur choix pour les entreprises nécessitant des performances et une personnalisation plus avancées des modèles. Ce n'est pas non plus un bon choix pour les entreprises qui ont besoin d'un support multilingue.

Complexité d'utilisation
GPT-J-6b est un LLM modérément convivial qui bénéficie d'une communauté de soutien, ce qui le rend accessible aux entreprises ayant des connaissances techniques moyennes.

Le modèle de Meta en réponse aux LLM populaires de Google et d'OpenAI, Llama 2, est entraîné à partir de sources de données en ligne accessibles au public et conçu pour créer des expériences basées sur l'IA. Il peut être affiné pour des tâches spécifiques et est entièrement gratuit pour la recherche et l'utilisation commerciale.

Développé à partir du travail effectué par Meta sur LLaMA, Llama 2 est disponible en trois tailles de modèle, 7 milliards, 13 milliards et 70 milliards de paramètres, ce qui en fait une option dynamique et scalable.

À qui cela s'adresse-t-il ?
Grâce aux options de taille de modèle, Llama 2 est une excellente option pour les chercheurs et les développeurs de ressources pédagogiques qui souhaitent exploiter des modèles de langage étendus. Il peut même fonctionner sur des ordinateurs grand public, un choix judicieux pour les amateurs.

À qui n'est-il pas adapté ?
Llama 2 n'est pas adapté aux applications plus risquées ou de niche, car il n'est pas conçu pour des tâches hautement spécialisées, et des inquiétudes subsistent quant à la fiabilité de ses résultats.

Complexité d'utilisation
Il s'agit d'un grand modèle de langage relativement facile à utiliser, axé sur les applications éducatives, mais il nécessitera probablement une personnalisation pour des résultats optimaux.

BLOOM est un modèle de langage transformer uniquement décodeur qui possède un nombre impressionnant de 176 milliards de paramètres. Il est conçu pour générer du texte à partir d'un prompt et peut être affiné pour effectuer des tâches spécifiques telles que la génération de texte, la synthèse, les embeddings, la classification et la recherche sémantique.

Il a été entraîné sur un ensemble de données comprenant des centaines de sources dans 46 langues différentes, ce qui en fait également un excellent choix pour la traduction et la production de contenus multilingues.

À qui s'adresse-t-il ?
BLOOM est idéal pour les grandes entreprises qui ciblent un public mondial ayant besoin d'un soutien multilingue. En raison de la taille du modèle, les entreprises devront également disposer de ressources suffisantes pour le faire fonctionner.

À qui n'est-il pas adapté ?
Les entreprises opérant exclusivement sur les marchés anglophones peuvent juger ses capacités multilingues superflues, notamment compte tenu des ressources considérables nécessaires pour personnaliser et entraîner un modèle aussi volumineux.

Complexité d'utilisation
Compte tenu de la nécessité de comprendre les nuances linguistiques et le déploiement dans différents contextes linguistiques, BLOOM présente une complexité modérée à élevée.

Falcon est un LLM qui a étudié BLOOM et s'est dit "Pfff, 176 milliards de paramètres seulement ?"

D'accord, ce n'est pas vraiment ce qu'il a dit, mais ce modèle de langage open source est disponible en trois tailles impressionnantes : 7, 40 et 180 milliards de paramètres.

Disponible sous licence Apache 2.0, Falcon est un LLM autorégressif qui est conçu pour générer du texte à partir d'un prompt et s'appuie sur son ensemble de données RefinedWeb de haute qualité.

À qui s'adresse-t-il ?
En raison de ses excellentes performances et de sa scalabilité, Falcon est idéal pour les grandes entreprises intéressées par des solutions multilingues telles que la création de sites web et de supports marketing, l'analyse des investissements et la cybersécurité.

À qui n'est-il pas adapté ?
Bien qu'il existe l'option 7 milliards, ce n'est pas la meilleure solution pour les entreprises qui recherchent une solution simple et prête à l'emploi pour la génération de contenu. Le coût de la personnalisation et de l'entraînement du modèle serait encore trop élevé pour ce type de tâches.

Complexité d'utilisation
Malgré la taille imposante du plus grand modèle, le Falcon est relativement facile à utiliser comparé à certains autres LLM. Mais vous devrez quand même bien connaître les subtilités de vos tâches pour en tirer le meilleur parti.

Ce LLM de Salesforce se distingue des autres de cette liste car, au lieu de produire des réponses textuelles ou du contenu, il génère du code informatique. CodeGen, abréviation de "génération de code", remplit parfaitement cette fonction. Il a été entraîné à produire du code à partir de code existant ou de prompts en langage naturel.

Disponible en 7, 13 et 34 milliards de paramètres, CodeGen a été conçu pour créer une approche rationalisée du développement logiciel.

À qui s'adresse-t-il ?
CodeGen est destiné aux entreprises technologiques et aux équipes de développement logiciel qui souhaitent automatiser les tâches de codage et améliorer la productivité des développeurs.

À qui n'est-il pas adapté ?
Si votre entreprise n'écrit pas ou ne travaille pas avec du code informatique, ce grand modèle de langage n'est pas pour vous.

Complexité d'utilisation
CodeGen peut s'avérer complexe à intégrer dans des workflows de développement existants. Il nécessite une expérience solide en ingénierie logicielle.

L'un des premiers LLM modernes, BERT, est une architecture de transformer composée uniquement d'encodeurs, créée par Google en 2018. Il est conçu pour comprendre, générer et manipuler le langage humain.

Google utilise BERT pour améliorer la compréhension des requêtes dans le cadre de son moteur de recherche. En outre, ce modèle réalise d'autres tâches avec efficacité, comme la génération de texte, la réponse aux questions et l'analyse des sentiments.

À qui s'adresse-t-il ?
Étant donné qu'il s'agit d'un élément essentiel du moteur de recherche de Google, BERT est la meilleure option pour les spécialistes du référencement et les créateurs de contenu qui souhaitent optimiser leurs sites et leurs contenus pour les moteurs de recherche et améliorer leur pertinence.

À qui n'est-il pas adapté ?
Hormis le référencement naturel, BERT ne sera probablement pas la meilleure option dans de nombreuses situations en raison de son ancienneté, ce qui le rend obsolète par rapport aux alternatives plus récentes et plus performantes.

Complexité d'utilisation
BERT est assez simple à utiliser pour ceux qui connaissent le référencement naturel et l'optimisation de contenu, mais il peut nécessiter un ajustement pour suivre les évolutions des recommandations SEO les plus récentes de Google.

Le T5 (abréviation de Text-to-Text Transfer Transformer) est une architecture basée sur les transformers qui utilise une approche texte-à-texte. Il convertit les problèmes de NLP en un format où l'entrée et la sortie sont toujours des chaînes de caractères, ce qui permet d'utiliser le T5 dans diverses tâches telles que la traduction, la réponse aux questions et la classification. Il est disponible en cinq tailles différentes, de 60 millions à 11 milliards de paramètres.

À qui s'adresse-t-il ?
T5 est idéal pour les entreprises nécessitant un outil polyvalent en vue de réaliser diverses tâches de traitement texte à texte, comme la synthèse, la traduction et la classification.

À qui n'est-il pas adapté ?
Malgré la relative flexibilité de T5, il ne convient pas aux tâches nécessitant tout type de sortie non textuelle. 

Complexité d'utilisation
T5 est généralement considéré comme facile à utiliser comparé à d'autres LLM, avec une gamme de modèles pré-entraînés disponibles. Cependant, une certaine expertise peut être nécessaire pour s'adapter à des tâches plus spécifiques ou de niche.

Mixtral 8x7B représente l'avancée la plus récente dans le domaine des modèles de mélanges d'experts épars. Doté de poids ouverts et d'une licence Apache 2.0, Mixtral change la donne et surpasse les autres modèles en termes de vitesse et d'efficacité (suivez mon regard, Llama 2 et GPT-3.5). Il est particulièrement apte à gérer une variété de langues et excelle dans la génération de code et le suivi des instructions.

À qui s'adresse-t-il ?
Destiné aux développeurs et organisations désireux d'exploiter une technologie d'IA de pointe pour des tâches diverses et complexes, Mixtral promet d'être un atout précieux pour ceux qui souhaitent innover.

À qui n'est-il pas adapté ?
Si vous débutez dans le domaine du machine learning ou si votre puissance de calcul est plutôt limité, Mixtral risque d'être un peu trop pour vous.

Complexité d'utilisation
L'utilisation de Mixtral implique un engagement, mais les avantages sont considérables. Son architecture unique et son échelle requièrent une certaine familiarité avec les concepts de la NLP et peut-être une configuration supplémentaire. L'entreprise n'est pas pour les nouveaux venus. Néanmoins, la solide communauté Hugging Face et la documentation complète offrent des ressources précieuses pour vous aider à démarrer. N'oubliez pas que la maîtrise de ce poids lourd nécessite des efforts, mais que sa capacité à débloquer des capacités NLP avancées en vaut la peine.

Avertissement : Tous les paramètres et les tailles de modèles sont corrects au moment de la publication, mais peuvent avoir changé depuis.

Afin de choisir le LLM open source à utiliser, vous devez tenir compte de plusieurs critères clés :

• Coût : ces LLM étant open source, vous n'avez pas à payer pour les modèles eux-mêmes. Cependant, vous devez prendre en compte les coûts d'hébergement, d'entraînement, de ressources, etc. Plus un LLM est volumineux et complexe, plus son coût sera élevé. En effet, un LLM plus important nécessitera davantage d'espace de stockage de données, de puissance de traitement, une infrastructure plus conséquente et des coûts de maintenance plus importants.

• Précision : il est essentiel d'évaluer la précision de vos options. Vous devez comparer la précision avec laquelle différents LLM peuvent réaliser les types de tâches dont vous avez besoin. Par exemple, certains modèles seront spécifiques à un domaine, et d'autres pourront être améliorés par un réglage fin ou par la génération augmentée par récupération (RAG).

• Performance : la performance d'un LLM se mesure par des critères tels que la fluidité linguistique, la cohérence et la compréhension du contexte. Plus le LLM excelle dans ces domaines, meilleures seront ses performances. Cela améliorera l'expérience utilisateur et l'efficacité des tâches, et vous procurera un avantage concurrentiel.

• Sécurité des données : La sécurité de vos données est un autre élément clé. C'est particulièrement important si vous manipulez des données sensibles ou des données personnelles (PII). Il s'agit d'un autre domaine où la RAG peut être utile, car vous pouvez contrôler l'accès aux données grâce à la sécurité au niveau des documents et limiter les autorisations de sécurité à des données particulières.

• Spécifique à une tâche ou polyvalent : demandez-vous si vous avez besoin d'un LLM qui résout des cas d'utilisation plus spécifiques ou qui couvre un spectre plus large de tâches. Certains modèles étant spécifiques à un domaine, vous devez veiller à en sélectionner un dans votre domaine ou à en trouver un dont le champ d'application est plus large.

• Qualité des données d'entraînement : si la qualité des données est médiocre, les résultats le seront également. Évaluez les données utilisées par chaque modèle linéaire et choisissez-en un qui vous inspire confiance. La RAG peut également vous aider dans cette démarche, car vous pouvez utiliser des données personnalisées, que vous pouvez préparer et optimiser pour améliorer directement la qualité des sorties.

• Compétences : Un autre facteur important à prendre en compte est l'ensemble des compétences dont dispose votre équipe projet. Une expérience en science des données, en MLOps et en NLP est indispensable. Plus le LLM est complexe, plus les compétences requises de votre équipe seront pointues. Si vos ressources sont plus limitées, il est préférable de privilégier les LLM plus simples, voire de faire appel à des experts externes.

En vous fondant sur ces critères, vous devriez être en mesure de déterminer lequel des LLM que nous avons présentés correspond le mieux à votre situation particulière.

La meilleure approche est de prendre votre temps, d'étudier les alternatives répertoriées et de les évaluer en fonction de leur capacité à vous aider à résoudre vos problèmes. Tous ces LLM open source sont extrêmement performants et peuvent changer la donne s'ils sont utilisés de manière efficace.

Lorsque vous serez prêt… Voici quatre façons dont nous pouvons vous aider à intégrer les données à votre entreprise :

1. Démarrez un essai gratuit et découvrez l'aide qu'Elastic peut apporter à votre entreprise.
2. Explorez nos produits. Découvrez le fonctionnement d'Elasticsearch Platform et comment nos solutions s'adaptent à vos besoins.
3. Apprenez à configurer votre cluster Elasticsearch, puis à collecter et à ingérer des données en regardant notre webinar de 45 minutes.
4. Partagez cet article par e-mail ou via LinkedIn, X ou Facebook avec les personnes de votre réseau qui pourraient être intéressées par son contenu.