Die Wahl eines LLM: Der Einsteiger-Leitfaden für Open-Source-LLMs für das Jahr 2024

Ein Open-Source-LLM ist ein LLM, das kostenlos verfügbar ist und von beliebigen Personen modifiziert und angepasst werden kann.

Mit einem Open-Source-LLM kann jede Person und jedes Unternehmen das Modell für die eigenen Zwecke nutzen, ohne dass hierfür Lizenzgebühren anfallen. Dazu gehört auch die Bereitstellung des LLM in einer eigenen Infrastruktur und die Feinjustierung gemäß spezifischen Anforderungen.

Das Gegenteil dazu ist ein Closed-Source-LLM, also ein proprietäres Modell, das einer einzigen Person oder einem Unternehmen gehört und nicht öffentlich verfügbar ist. Das berühmteste Beispiel hierfür ist die GPT-Modellreihe von OpenAI.

Sehen Sie sich dieses Video an und tauchen Sie tiefer in LLMs ein:

Um Sie bei der Auswahl eines Open-Source-LLM für Ihr Unternehmen oder Ihr Projekt zu unterstützen, haben wir neun der interessantesten verfügbaren Open-Source-LLMs zusammengefasst. Diese Liste basiert auf den Beliebtheitssignalen aus der sehr aktiven KI-Community und dem Machine-Learning-Repository Hugging Face.

Das von EleutherAI entwickelte Modell GPT-NeoX-20B ist ein autoregressives Sprachmodell, dessen Architektur stark an GPT-3 angelehnt ist. Es wurde mithilfe der GPT-NeoX-Bibliothek auf Basis von The Pile trainiert – einem 800 GB großen Open-Source-Datensatz, der von The Eye gehostet wird.

GPT-NeoX-20B wurde hauptsächlich zu Forschungszwecken entwickelt und enthält 20 Milliarden Parameter, die Sie verwenden und anpassen können.

Für wen ist es geeignet?
GPT-NeoX-20B ist ideal für die Inhaltsgenerierung in mittelgroßen und großen Unternehmen wie etwa Marketingagenturen oder Medienunternehmen. Diese Unternehmen benötigen sowohl qualifiziertes Personal als auch die Rechenleistung, die erforderlich ist, um ein größeres LLM zu betreiben.

Für wen ist es nicht geeignet?
Dieses LLM eignet sich nicht für Kleinunternehmen oder Einzelpersonen ohne die finanziellen und technischen Ressourcen für die Verwaltung der Rechenanforderungen. 

Komplexität der Nutzung
Da GPT-NeoX-20B nicht im vorkonfigurierten Zustand eingesetzt werden kann, brauchen Sie technisches Fachwissen, um dieses Modell bereitzustellen und für Ihre spezifischen Aufgaben und Anforderungen anzupassen.

Das ebenfalls von EleutherAI entwickelte Modell GPT-J-6b ist ein generativer, vortrainierter Transformer, der darauf ausgelegt ist, aus einem Prompt menschenähnlichen Text zu generieren. Es basiert auf dem GPT-J-Modell und verfügt über 6 Milliarden trainierbare Parameter (daher auch der Name).

Es wurde mit einem rein englischen Datensatz trainiert und eignet sich daher nicht für Übersetzungen oder zum Generieren von Texten in anderen Sprachen.

Für wen ist es geeignet?
Das nutzerfreundliche und relativ kleine GPT-J-6b eignet sich gut für Startups und mittelgroße Unternehmen, die einen Mittelweg zwischen Leistung und Ressourcenverbrauch suchen.

Für wen ist es nicht geeignet?
Dieses LLM eignet sich weniger für Unternehmen, die größeren Wert auf die Leistung und Anpassungsfähigkeit des Modells legen. Es passt auch nicht gut zu Unternehmen, die mehrsprachige Unterstützung benötigen.

Komplexität der Nutzung
GPT-J-6b ist ein relativ nutzerfreundliches LLM mit einer hilfsbereiten Community und eignet sich daher gut für Unternehmen mit mittelmäßigem technischem Fachwissen.

Llama 2, Metas Antwort auf die populären LLMs von Google und OpenAI, wurde auf öffentlich zugänglichen Online-Datenquellen trainiert und ist speziell für die Entwicklung KI-gestützter Anwendungen konzipiert. Es lässt sich für spezifische Aufgaben präzise feintunen und ist sowohl für die Forschung als auch für die kommerzielle Nutzung völlig kostenlos.

Llama 2 basiert auf der Erfahrung von Meta mit LLaMA, ist in drei Größen verfügbar – sieben Milliarden, 13 Milliarden und 70 Milliarden Parameter – und ist damit eine dynamische und skalierbare Option.

Für wen ist es geeignet?
Dank der verschiedenen Modellgrößen eignet sich Llama 2 hervorragend für Anwender im Forschungs- und Bildungsbereich, die umfassende Sprachmodelle benötigen. Es kann sogar auf handelsüblichen Computern laufen, was es zu einer guten Option für Hobbyentwickler macht.

Für wen ist es nicht geeignet?
Llama 2 eignet sich weniger gut für risikointensive oder Nischenanwendungen, da es nicht für hochspezialisierte Aufgaben entwickelt wurde und einige Zweifel an der Zuverlässigkeit der Ausgaben bestehen.

Komplexität der Nutzung
Dieses relativ nutzerfreundliche LLM eignet sich gut für Anwendungen im Bildungswesen, muss jedoch für optimale Ergebnisse vermutlich angepasst werden.

BLOOM ist ein Decoder-only Transformer-Sprachmodell, das mit massiven 176 Milliarden Parametern aufwartet. Es ist darauf ausgelegt, Texte auf Basis eines Prompts zu generieren, und lässt sich für spezifische Aufgaben feintunen – wie etwa Textgenerierung, Zusammenfassungen, Einbettungen, Klassifizierungen sowie semantische Suche.

BLOOM wurde mit einem Datensatz aus Hunderten von Quellen in 46 verschiedenen Sprachen trainiert und ist damit auch eine gute Option für Sprachübersetzung und mehrsprachige Ausgaben.

Für wen ist es geeignet?
BLOOM eignet sich hervorragend für größere Unternehmen, die eine globale Zielgruppe ansprechen und eine mehrsprachige Unterstützung benötigen. Aufgrund der enormen Größe des Modells müssen Unternehmen jedoch auch über ausreichende Ressourcen verfügen, um es effizient zu betreiben.

Für wen ist es nicht geeignet?
Die mehrsprachige Unterstützung ist überflüssig für Unternehmen, die nur im englischsprachigen Raum tätig sind, insbesondere angesichts der beträchtlichen Ressourcen, die zum Anpassen und Trainieren eines so großen Modells erforderlich sind.

Komplexität der Nutzung
Durch die Anforderungen im Hinblick auf natürliches Sprachverständnis und die Bereitstellung in mehrsprachigen Kontexten ist BLOOM eher mittelschwer bis schwer einzusetzen.

Falcon ist ein LLM, das sich beim Anblick von BLOOM gefragt hat: „Pfft, nur 176 Milliarden Parameter?“

Okay, dieser Satz ist nicht gefallen, aber dieses Open-Source-Sprachmodell ist in drei eindrucksvollen Größen verfügbar: sieben Milliarden, 40 Milliarden und 180 Milliarden.

Falcon ist unter der Apache Licence 2.0 verfügbar und ist ein autoregressives LLM, das Texte anhand von Eingaben generiert und auf dem hochwertigen „RefinedWeb“-Datensatz basiert.

Für wen ist es geeignet?
Aufgrund der hervorragenden Leistung und Skalierbarkeit eignet sich Falcon ideal für größere Unternehmen, die mehrsprachige Lösungen in Bereichen wie Websites und Marketinginhalte, Investitionsanalysen und Cybersicherheit benötigen.

Für wen ist es nicht geeignet?
Trotz der Option mit sieben Milliarden Parametern richtet sich dieses Modell nicht an Unternehmen, die eine einfache Plug-and-Play-Lösung für ihre Inhaltsgenerierung suchen. Die Kosten für die Anpassung und das Training des Modells wären für solche Aufgaben immer noch zu hoch.

Komplexität der Nutzung
Trotz der enormen Größe des größten Modells ist Falcon im Vergleich zu einigen anderen LLMs relativ einfach zu bedienen. Dennoch müssen Sie die spezifischen Nuancen Ihrer jeweiligen Aufgabenstellungen genau kennen, um das Beste aus den Modellen herauszuholen.

Dieses LLM von Salesforce unterscheidet sich von allen anderen Modellen in dieser Liste: Anstatt Textantworten oder kreative Inhalte zu generieren, gibt es Computercode aus. CodeGen steht als Abkürzung für „Code Generation“ (Codegenerierung) – und genau das ist seine Aufgabe. Das Modell wurde darauf trainiert, Code entweder auf der Basis von bestehendem Code oder auf Grundlage von Prompts in natürlicher Sprache auszugeben.

CodeGen ist mit 7, 13 oder 34 Milliarden Parametern verfügbar und wurde erstellt, um eine vereinfachte Herangehensweise an die Softwareentwicklung zu bieten.

Für wen ist es geeignet?
CodeGen richtet sich an Technologieunternehmen und Softwareentwicklungsteams, die Programmieraufgaben automatisieren und die Produktivität ihrer Entwickler steigern möchten.

Für wen ist es nicht geeignet?
Wenn Ihr Unternehmen keinen Computercode schreibt oder damit arbeitet, dann ist dieses LLM nicht für Sie.

Komplexität der Nutzung
Die Integration von CodeGen in vorhandene Entwicklungs-Workflows ist komplex und erfordert umfangreiche Kenntnisse im Bereich der Softwareentwicklung.

Als eines der ersten modernen LLMs basiert BERT auf einer Encoder-only Transformer-Architektur, die von Google bereits im Jahr 2018 entwickelt wurde. Es ist darauf ausgelegt, menschliche Sprache zu verstehen, zu generieren und zu verarbeiten.

BERT wurde von Google eingesetzt, um das Verständnis von Suchabfragen zu verbessern, und liefert auch gute Ergebnisse in Aufgaben wie Textgenerierung, Beantwortung von Fragen und Standpunktanalysen.

Für wen ist es geeignet?
Aufgrund der Integration in die Google-eigene Suche ist BERT die beste Option für SEO-Spezialisten und Inhaltsersteller, die Sites und Inhalte für Suchmaschinen optimieren und die Relevanz ihrer Inhalte steigern möchten.

Für wen ist es nicht geeignet?
Außerhalb des SEO-Bereichs ist BERT aufgrund seines Alters in vielen Situationen vermutlich nicht die beste Wahl und ist angesichts größerer und neuerer Alternativen eher redundant.

Komplexität der Nutzung
BERT ist für Anwender mit Erfahrung in den Bereichen SEO und Inhaltsoptimierung recht einfach einzusetzen, erfordert jedoch etwas Feinjustierung, um mit neueren SEO-Empfehlungen von Google Schritt zu halten.

Das T5-Modell (kurz für „Text-to-Text Transfer Transformer“) basiert auf einer Transformer-Architektur, die einen reinen Text-zu-Text-Ansatz verfolgt. Es konvertiert NLP-Probleme in ein Format, bei dem sowohl die Eingabe als auch die Ausgabe immer als Text-Strings vorliegen. Dadurch lässt sich T5 für eine Vielzahl von Aufgaben wie Übersetzungen, Beantwortung von Fragen und Klassifizierungen einsetzen. Das Modell ist in fünf verschiedenen Größen verfügbar, die von 60 Millionen bis zu 11 Milliarden Parametern reichen.

Für wen ist es geeignet?
T5 eignet sich hervorragend für Unternehmen, die ein vielseitiges Tool für verschiedene Text-zu-Text-Verarbeitungsaufgaben benötigen, wie etwa Zusammenfassung, Übersetzung und Klassifizierung.

Für wen ist es nicht geeignet?
T5 ist zwar relativ flexibel, eignet sich aber trotzdem nicht für Aufgaben mit anderen Ausgaben als Text. 

Komplexität der Anwendung
T5 ist im Vergleich zu anderen LLMs recht einfach einzusetzen und ist mit verschiedenen vorab trainierten Modellen verfügbar. Für die Anpassung an speziellere Aufgaben kann jedoch dennoch Fachwissen erforderlich sein.

Mixtral 8x7B repräsentiert den neuesten technologischen Fortschritt bei sogenannten „Sparse Mixture-of-Experts“-Modellen (MoE). Mit seinen offenen Gewichten und der Apache-2.0-Lizenz setzt Mixtral neue Maßstäbe und übertrifft andere Modelle in puncto Geschwindigkeit und Effizienz deutlich (ja, der Seitenhieb gilt hier ganz klar Llama 2 und GPT-3.5). Es zeigt sich besonders versiert im Umgang mit einer Vielzahl von Sprachen und glänzt insbesondere bei der Codegenerierung sowie dem Befolgen komplexer Anweisungen.

Für wen ist es geeignet?
Mixtral richtet sich an Entwickler und Unternehmen, die modernste KI-Technologie für vielfältige und komplexe Aufgaben nutzen möchten, und verspricht eine wertvolle Bereicherung für alle zu sein, die auf Innovation setzen.

Für wen ist es nicht geeignet?
Wenn Sie neu im Bereich des maschinellen Lernens sind oder Ihre Rechenleistung eher gering ausfällt, könnte der Einsatz von Mixtral eine gewisse Herausforderung darstellen.

Komplexität der Nutzung
Der Einsatz von Mixtral erfordert zwar ein gewisses Engagement, doch der Ertrag ist beträchtlich. Seine einzigartige Architektur und Skalierung setzen eine gewisse Vertrautheit mit NLP-Konzepten und unter Umständen zusätzliche Konfigurationsschritte voraus. Dieser Weg ist nicht unbedingt für Einsteiger gedacht. Dennoch bieten die engagierte Hugging Face-Community und die ausführliche Dokumentation wertvolle Ressourcen, die Ihnen den Einstieg erleichtern. Denken Sie daran: Das Meistern dieses Schwergewichts erfordert Aufwand, aber das Potenzial, fortschrittliche NLP-Funktionen freizuschalten, ist diese Herausforderung definitiv wert.

Haftungsausschluss: Sämtliche Parameter und Modellgrößen beziehen sich auf den Veröffentlichungszeitpunkt und haben sich seitdem möglicherweise geändert.

Bei der Auswahl eines Open-Source-LLM für Ihre Zwecke müssen Sie verschiedene wichtige Kriterien berücksichtigen:

• Kosten: Da es sich hierbei um Open-Source-LLMs handelt, müssen Sie für die Modelle selbst keine Lizenzgebühren zahlen. Dennoch sollten Sie die Kosten für Hosting, Training, Hardware-Ressourcen und Ähnliches einkalkulieren. Je größer und komplexer ein LLM ist, desto höher fallen in der Regel die Gesamtkosten aus. Dies liegt daran, dass ein größeres Modell mehr Speicherplatz, höhere Rechenleistung, eine Skalierung der Infrastruktur sowie einen intensiveren Wartungsaufwand erfordert.

• Genauigkeit: Die Evaluierung der Genauigkeit Ihrer Optionen ist von entscheidender Bedeutung. Sie müssen vergleichen, wie präzise die verschiedenen LLMs die von Ihnen benötigten Aufgabenstellungen ausführen können. Beispielsweise sind einige Modelle domänenspezifisch ausgelegt, während andere durch gezieltes Fine-Tuning oder Retrieval-Augmented Generation (RAG) weiter optimiert werden können.

• Leistung: Die Leistung eines LLMs wird an Faktoren wie sprachlicher Flexibilität, Kohärenz und Kontextverständnis gemessen. Je besser das LLM in diesen Bereichen abschneidet, desto höher ist seine Leistungsfähigkeit. Dies optimiert nicht nur die Nutzererfahrung und die Effektivität bei der Aufgabenbewältigung, sondern verschafft Ihnen auch einen entscheidenden Wettbewerbsvorteil. 

• Datensicherheit: Die Sicherheit Ihrer Daten ist ein weiterer zentraler Aspekt. Dies gilt umso mehr, wenn Sie mit sensiblen Informationen oder personenbezogenen Daten arbeiten. Auch in diesem Bereich erweist sich ein RAG-Ansatz als äußerst nützlich, da Sie den Datenzugriff mithilfe von Sicherheitsberechtigungen auf Dokumentenebene präzise steuern und Berechtigungen auf bestimmte Datenbestände beschränken können.

• Aufgabenspezifisch vs. universell: Wägen Sie ab, ob Sie ein LLM benötigen, das hochspezifische Anwendungsfälle löst, oder eines, das ein breiteres Aufgabenspektrum abdeckt. Da einige Modelle domänenspezifisch sind, sollten Sie darauf achten, entweder ein Modell innerhalb Ihrer eigenen Domäne zu wählen oder auf eine Architektur mit einer weitreichenderen Gesamtausrichtung zu setzen. 

• Qualität der Trainingsdaten: Wenn die Qualität der Daten nicht stimmt, werden es die Ergebnisse ebenfalls nicht tun. Bewerten Sie daher die Datengrundlage, die das jeweilige LLM nutzt, und wählen Sie ein Modell, in das Sie volles Vertrauen haben. Ein RAG-Ansatz unterstützt Sie auch an dieser Stelle, da Sie eigene, maßgeschneiderte Daten einbinden können. Diese lassen sich im Vorfeld so aufbereiten und optimieren, dass sie die Qualität der Ausgabe direkt und spürbar verbessern.

• Kompetenzen: Ein weiterer wesentlicher Faktor, den es zu berücksichtigen gilt, sind die bereits in Ihrem Projektteam vorhandenen Kompetenzen. Erfahrung in Bereichen wie Data Science, MLOps und NLP ist hierbei unverzichtbar. Je komplexer das LLM ist, desto tiefergehendes Fachwissen muss Ihr Team mitbringen. Sollten Ihre Ressourcen an dieser Front eher begrenzt sein, empfiehlt es sich, den Fokus auf einfachere LLMs zu legen oder in Erwägung zu ziehen, zusätzliche Expertise ins Team zu holen.

Anhand dieser Kriterien können Sie entscheiden, welches der vorgestellten LLMs sich für Ihre einzigartige Situation am besten eignet.

Nehmen Sie sich Zeit, machen Sie sich mit den Optionen vertraut und bewerten Sie sie, um einen optimalen Lösungsansatz für Ihre Probleme zu finden. All diese Open-Source-LLMs sind extrem leistungsstark und können bei richtiger Anwendung transformativ sein.

Sobald Sie bereit sind, helfen wir Ihnen auf die folgenden vier Arten, Ihr Unternehmen mit Daten zu versorgen:

1. Starten Sie eine kostenlose Testversion und entdecken Sie, wie Elastic Ihr Unternehmen unterstützen kann.
2. Lernen Sie unsere Lösungen bei einer Tour kennen. Erfahren Sie, wie die Elasticsearch Platform funktioniert und wie unsere Lösungen Ihre Anforderungen erfüllen.
3. Lernen Sie in unserem 45-minütigen Webinar, einen eigenen Elasticsearch-Cluster einzurichten und mit der Datenerfassung und -ingestion zu beginnen.
4. Teilen Sie diesen Artikel mit interessierten Personen per E-Mail, LinkedIn, Twitter oder Facebook.