Die leistungsstärksten KI-Modelle werden auf externen Cloud-Installationen mit Zugriff über eine Web-API ausgeführt, was bedeutet, dass Sie Ihrem KI-Dienstanbieter in Bezug auf Sicherheit, Verfügbarkeit und stabile Preise vertrauen müssen. Sie können die berechtigten Anforderungen an Zuverlässigkeit, Datenschutz, überschaubare Kosten und eine gute Data Governance nicht ohne Weiteres mit dem Einsatz von KI in Einklang bringen, die immer leistungsfähiger, ausgefeilter und ressourcenintensiver wird.

Regierungsvorschriften, Gerichtsurteile und geschäftliche Erwägungen, die im Interesse Dritter getroffen wurden, haben in jüngster Zeit dazu geführt, dass der Zugang zu bestimmten Diensten eingeschränkt wurde. Und selbst wenn ein Wechsel zu anderen Diensten möglich ist, sind KI-Modelle keine Komponenten, die sich einfach nach Belieben austauschen lassen. Anwendungen, die semantische Einbettungen nutzen, sind darauf angewiesen, zum Zeitpunkt der Abfrage Zugriff auf dieselben Modelle wie zum Zeitpunkt der Daten-Ingestion zu erhalten. Den Zugriff auf das Einbettungsmodell zu verlieren bedeutet, dass Ihr Suchsystem zum Stillstand kommt.

KI-Preismodelle verstärken dieses Risiko noch. Die jüngsten Finanzberichte großer KI-Anbieter geben den Kunden guten Grund zur Sorge vor möglichen Preiserhöhungen. Die Abhängigkeit von Produkten mit unvorhersehbaren Kosten erhöht das Risiko kapitalintensiver KI-Investitionen, die möglicherweise keine eindeutigen Renditen erzielen.

Jina On-Prem ist die Antwort von Elastic auf diese Herausforderungen.

Wer benötigt On-Prem-KI?

Lokales Hosting und die direkte Kontrolle über Ihre KI-Modelle unterstützen eine Vielzahl technischer Anforderungen, Branchenvorgaben und geschäftlicher Interessen.

Durch eine lokale Installation sinken zwar die Kosten für Ihre KI-Dienstanbieter, allerdings fallen die Kosten für die Hardware und einen zuverlässigen Zugang nun zu Lasten Ihres Unternehmens. Je nach Nutzungsumfang kann es durchaus günstiger sein. Doch es gibt noch weitere dringende Gründe, die für den Betrieb einer eigenen KI sprechen. Sollte eines der unten beschriebenen Probleme auf Ihr Unternehmen zutreffen, sollten Sie eine lokale KI-Lösung wie Jina On-Prem in Betracht ziehen. Diese Liste erhebt keinen Anspruch auf Vollständigkeit.

Anwendungsfall

Warum On-Prem

Beispiel

Air-Gap/Hohe Sicherheit

Keine ausgehende Datenübertragung; vollständige Netzwerkisolierung

Verteidigung, Nachrichtendienste, geheime Forschung

Einhaltung gesetzlicher Vorschriften

Datensouveränität; keine grenzüberschreitende Übermittlung oder Weitergabe an Dritte

Gesundheitswesen (Health Insurance Portability and Accountability Act [HIPAA]), Finanzwesen, EU-Unternehmen (Datenschutz-Grundverordnung [DSGVO])

Latenzkritisch

Keine Netzwerkabhängigkeit; keine Toleranz gegenüber Verbindungsausfällen

Robotik, Edge Computing, Fahrzeuge, Schiffe

Planbarkeit der Kosten

Feste Infrastrukturkosten vs. Preise pro Token mit ungewissen zukünftigen Preisen

Kontinuierliche Inferenz-Workloads mit hohem Volumen

Haftungsbeschränkung

Keine Offenlegung von Daten Dritter; Wahrung des Anwaltsgeheimnisses und der Sorgfaltspflicht

Anwaltskanzleien, Behörden

Warum Air-Gap- und firewallgeschützte Systeme On-Prem-KI benötigen

Air-Gap- und durch eine Firewall geschützte Systeme können keine externen KI-APIs verwenden. Jina On-Prem wird vollständig innerhalb Ihrer Infrastruktur ohne ausgehende Verbindungen ausgeführt.

Für Unternehmen, die besonders sensible Daten verwalten, sind Sicherheits- und Datenschutzaspekte von größter Bedeutung. Es nützt wenig, in den Schutz Ihrer sensiblen Daten zu investieren, wenn Sie diese umgehend an einen externen Dritten weitergeben, der möglicherweise über unzureichende Sicherheitsvorkehrungen verfügt oder den Auflagen einer ausländischen Regierung unterliegt.

Mitarbeiter in Unternehmen, die mit sensiblen Daten umgehen, erhalten oft Schulungen zum sicheren Umgang mit Daten. Diese sind jedoch nicht sehr wirksam, wenn alle Mitarbeiter Webbrowser nutzen, die während der Bearbeitung dieser Daten möglicherweise auf beliebige Seiten im Internet zugreifen können. Die Isolierung ist die wirksamste verfügbare Sicherheitsmaßnahme, sei es durch ein Air Gap oder durch sehr restriktive Firewalls, doch dadurch wird die Nutzung externer Dienste jeglicher Art erschwert.

On-Prem-KI für latenzempfindliche Systeme und Systeme mit hoher Verfügbarkeit

Software as a Service und Cloud Computing stellen einen Kompromiss zwischen den Kosten für die Bereitstellung leicht zugänglicher, zuverlässiger Dienste auf den eigenen Computern und der Auslagerung dieser Problematik an Dritte dar. Allerdings sind sie mit schwankenden Latenzzeiten, Ausfällen und einem völligen Kontrollverlust verbunden, wenn etwas schiefgeht. KI-Dienste bilden da keine Ausnahme. Wenn Ihr Suchsystem offline geht, sobald Sie keinen Zugriff mehr auf Ihr Einbettungsmodell haben, scheint es möglicherweise kein guter Kompromiss mehr zu sein.

Darüber hinaus birgt der Einsatz externer KI stets Risiken, die sich nicht ohne Weiteres vorhersehen oder verwalten lassen. Der Internetzugang und die Netzwerklatenz können sich ohne Vorwarnung verschlechtern, beispielsweise aufgrund politischer Ereignisse, schlechten Wetters oder weil Schiffe mit ihren Ankern über Unterwasser-Glasfaserkabel schleifen. Regierungen können Exportverbote verhängen, um den Zugriff auf KI-Modelle schlagartig zu unterbinden – und das haben sie in jüngster Zeit auch getan. KI-Dienstanbieter nehmen Modelle gelegentlich aus dem Angebot, um Sie zu einem Wechsel auf neuere Modelle zu bewegen. Die Flexibilität und die kontrollierten Kosten externer Dienste müssen gegen die Risiken einer Abhängigkeit abgewogen werden.

On-Prem-KI für die Compliance mit der DSGVO, HIPAA und Datensouveränität

Unternehmen, die personenbezogene Daten erheben, unterliegen immer strengeren Vorschriften, die sich oft von Rechtsraum zu Rechtsraum unterscheiden und widersprüchliche Anforderungen enthalten können. Insbesondere sehen die HIPAA-Vorschriften sehr strenge Datenschutzbestimmungen für amerikanische Gesundheitsdienstleister vor. Zudem verlangen strenge allgemeine Datenschutzgesetze in Kanada, der Europäischen Union sowie vielen asiatischen Ländern von allen Unternehmen, die personenbezogene Daten verarbeiten, einen sicheren Umgang mit diesen Daten sowie eine Beschränkung der Weitergabe dieser Daten an Dritte oder in andere Länder. Diese Vorschriften könnten sogar für ausländische Unternehmen Verpflichtungen mit sich bringen, sofern sie Kunden in diesen Ländern haben. Finanzinstitute unterliegen häufig noch strengeren Vorschriften und tragen dieselbe direkte Verantwortung für die Informationssicherheit wie beim Schutz vor anderen Formen krimineller Aktivitäten.

Die Einhaltung gesetzlicher Vorschriften kann mit KI-Diensten von Drittanbietern unvereinbar sein, insbesondere wenn ihre Nutzung eine grenzüberschreitende Datenübertragung beinhaltet.

Zudem zeigen die jüngsten Ereignisse, dass Vorschriften, die den physischen Standort von Datenspeichern einschränken, nicht unbedingt einen verlässlichen Schutz bieten, wenn internationale Cloud-Anbieter dem Druck ausländischer Regierungen ausgesetzt sind. Lokale Gesetze können sich je nach Rechtsraum widersprechen, was eine lokale Datenspeicherung und -verarbeitung erforderlich und die Nutzung von Diensten Dritter unmöglich macht. In einigen Fällen ist die einzige Lösung eine vollständige interne Abwicklung aller Prozesse, einschließlich Ihrer KI-Systeme.

KI-Haftungsrisiken durch die Datenübertragung von Drittanbietern

Datenschutzgesetze und anerkannte Sorgfaltspflichten im Umgang mit sensiblen Daten haben regelmäßig haftungsrechtliche Konsequenzen, die mitunter sehr schwerwiegend sein können. Sie können für den Umgang mit Ihren Daten durch Drittanbieter haftbar gemacht werden. Zwar bieten Gerichte und rechtliche Verfahren unter Umständen einen gewissen nachträglichen Schutz vor unsicheren Dienstanbietern, doch stehen diese Rechtsmittel gegenüber Akteuren der nationalen Sicherheit, Strafverfolgungsbehörden oder kriminellen Hackern weder zur Verfügung noch sind sie im Allgemeinen wirksam.

Bei Regierungen gab es bereits Fälle, in denen grenzüberschreitend tätige Cloud-Dienstanbieter sensible staatliche Informationen an ausländische Akteure weitergegeben haben.

Aber selbst wenn Sie sich keine Sorgen um ausländische Regierungen oder Hacker machen und Ihre externen KI-Dienstanbieter selbst sicher sind, kann allein die Tatsache, dass sie extern sind, Haftungsrisiken mit sich bringen.

So genießen beispielsweise in den meisten Ländern die Kommunikation zwischen Rechtsanwälten und ihren Mandanten einen besonderen rechtlichen Schutz, und Anwaltskanzleien unterliegen strengen Haftungsvorschriften bei der Aufzeichnung oder Speicherung dieser Informationen. In den Vereinigten Staaten ist dieses „Anwaltsgeheimnis“ so bekannt, dass es sogar eine zentrale Rolle in Film- und Fernsehhandlungen spielt. Eine Möglichkeit, diese Privilegien zu verlieren, besteht jedoch darin, Informationen an jemanden weiterzugeben, der diese Privilegien nicht besitzt, und die jüngsten Entwicklungen deuten darauf hin, dass externe KI-Dienstanbieter unter diese Kategorie fallen könnten.

Zumindest in den Vereinigten Staaten ist es möglich, dass bereits die bloße Nutzung von KI-Diensten von Drittanbietern über eine Internet-API – wie beispielsweise die Einbindung von Modellen, die Indizierungsdienste bereitstellen – gegen wichtige Vertraulichkeitsvorschriften verstoßen könnte. Eine Anwaltskanzlei könnte allein aufgrund der Nutzung extern gehosteter Software verklagt, disziplinarisch belangt oder aus der Anwaltskammer ausgeschlossen werden, selbst wenn keine Sicherheitsverletzung vorliegt.

On-Prem-KI für Offline-, Edge- und physisch isolierte Systeme

Computersysteme werden nicht nur aus Sicherheitsgründen isoliert. Beispielsweise dürfen sich fahrende Fahrzeuge bei keiner ihrer wesentlichen Funktionen auf einen Internetzugang verlassen. Schiffe und Flugzeuge verfügen über sehr umfangreiche Bordcomputersysteme, die ohne Internetverbindung funktionieren müssen und daher keine externen KI-Dienste nutzen können. Offshore-Plattformen, abgelegene Anlagen in unberührten Naturgebieten, Computerdienste in der Arktis, der Antarktis und auf kleinen Inseln ohne ausreichende physische Anbindung an globale Netzwerke sind allesamt Beispiele für Einrichtungen, die davon profitieren, alle benötigten Dienste lokal zu hosten. Da die Bedeutung der KI in der Unternehmens-IT zunimmt, wird es immer wichtiger, diese Einschränkungen anzugehen.

Neue Anwendungen der KI in physischen Systemen (Robotik und andere Anwendungsfälle, die räumlich begrenzt sind oder auf die Außenwelt ausgerichtet sind, wie Logistikmanagementsysteme oder sogar Supermarktkassen) sind zwar möglicherweise mit dem globalen Internet verbunden, tolerieren jedoch weder Verbindungsausfälle noch plötzliche Latenzspitzen. Wenn sie für ihren Betrieb auf ein KI-System angewiesen sind, muss dieses KI-System so lokal und zuverlässig wie möglich sein.

Wer braucht keine On-Prem-KI?

Remote-Softwaredienste und externe KI bieten durchaus Vorteile. Für den Betrieb von KI-Modellen sind unter Umständen teure, stromfressende Prozessoren erforderlich, die bekanntermaßen nur eine kurze Lebensdauer haben. Der Zugang zu hochwertiger Hardware ist derzeit aufgrund von Marktfaktoren und externen wirtschaftlichen Schocks besonders schwierig. Unter diesen Umständen kann es sinnvoll sein, für die Nutzung einer externen API pro Token zu bezahlen, anstatt die hohen Investitionskosten für eine lokale KI zu tragen.

Externe APIs sind für gelegentliche Nutzer am sinnvollsten. Wenn Sie KI-Modelle in erster Linie zur Batch-Verarbeitung von Daten für Analysezwecke nutzen und nicht zum Betreiben eines Suchsystems, das ständig online sein muss, macht es wenig Sinn, in kapitalintensive Hardware und lokale Installationen zu investieren.

Darüber hinaus kann die Nutzung von KI-Diensten, die sich in derselben Cloud-Infrastruktur befinden, ein besseres Preis-Leistungs-Verhältnis bieten als das Deployment eines eigenen lizenzierten KI-Modells, wenn Ihre Datenverarbeitung bereits cloudbasiert ist, beispielsweise bei einer E-Commerce-Website, die aus Gründen der Zuverlässigkeit und Erreichbarkeit in der Cloud gehostet wird. Sie sind ohnehin schon von Ihrem Cloud-Dienstanbieter abhängig, daher stellt die Abhängigkeit von seinen KI-Diensten kein großes zusätzliches Risiko dar.

Wenn Ihr Anwendungsfall dieser Beschreibung entspricht, stehen Ihnen Jina AI-Modelle auf EIS, im AWS Marketplace und auf der Google Cloud Platform speziell für Ihre Anforderungen zur Verfügung.

Die folgende Tabelle fasst die wichtigsten Faktoren zusammen. Ihre Antwort hängt von Ihren Daten, Ihrer Infrastruktur und Ihrem Nutzungsmuster ab.

Faktor

On-Prem bevorzugt

Cloud-API bevorzugt

Nutzungsmuster

Kontinuierliche oder Inferenz mit hohem Volumen

Intermittierende oder Batch-Verarbeitung

Datensensibilität

Reguliert, souverän oder klassifiziert

Keine grenzüberschreitenden oder durch Dritte auferlegten Einschränkungen

Netzwerkumgebung

Air-Gap, durch Firewall geschützt oder unzuverlässig

Stabiles, stets verfügbares Internet

Bestehende Infrastruktur

Im Besitz von GPU-Hardware oder Möglichkeit zur Beschaffung

Bereits in der Cloud mit KI-Colocation gehostet

Kostenmodell

Feste Hardware + Lizenz; vorhersehbare Kosten beim Skalieren

Pro Token; geringere Vorabkosten, variable langfristige Kosten

Latenztoleranz

Keine (Robotik, Edge, Echtzeit)

Netzwerkvariabilität ist akzeptabel

Operative Verantwortung

Ihr Team verwaltet die Hardware und Verfügbarkeit

Der Anbieter verwaltet die Hardware und die Updates; Sie verwalten die Integration

Sie müssen die Kosten und den Nutzen unter Berücksichtigung Ihrer individuellen Umstände und Anwendungsfälle abwägen und dabei die im vorigen Abschnitt hervorgehobenen Punkte berücksichtigen, die auf Sie zutreffen. Die Kosten-Nutzen-Analyse wird sich im Laufe der Zeit zweifellos ändern. Wir können die Zukunft der KI-Branche oder die Hardwarepreise nicht einmal kurzfristig vorhersagen.

Einführung von Jina On-Prem

Für Nutzer, die von lokalen KI-Diensten profitieren können, führen wir Jina On-Prem ein, ein vollständig eigenständiges Installationspaket für die leistungsstarken Modelle von Jina AI.

Die Modelle von Jina AI erreichen die gleiche Genauigkeit wie Einbettungsmodelle, die ein Vielfaches ihrer Größe haben, und senken dabei die Rechenkosten, den Speicherbedarf und die Hardwareanforderungen. Dadurch sind sie eine ideale Wahl für Nutzer, die ihre KI On-Prem betreiben möchten oder müssen. Kommerzielle Lizenzen sind mit skalierbaren, preislich gestaffelten Lösungen für Anwendungsfälle aller Größen verfügbar.

Welche API-Schemata unterstützt Jina On-Prem?

• Erhältlich als vollständige Sammlung von Abhängigkeiten für die lokale Installation oder als Docker-Container, den Sie innerhalb weniger Minuten installieren und ausführen können.

• Jina-On-Prem-Installationen rufen keine externen Systeme auf.

  • Es erfolgt kein Aufruf des Hugging Face Hub oder einer Modellregistrierung (HF_HUB_OFFLINE=1 und TRANSFORMERS_OFFLINE=1 sind fest integriert).

  • Es gibt keinen Lizenzserver.

  • Es gibt keine Telemetrie- oder Logging-Endpoints.

• Unterstützt sowohl CPU- als auch GPU-Hardware mit automatischer GPU-Erkennung.

• Alle 28 verfügbaren Jina-AI-Modelle, einschließlich der neuesten multimodalen Einbettungsmodelle jina-embeddings-v5-omni und jina-reranker-v3.

• Zugriff über gängige KI-API-Schemata: Jina API, OpenAI, Cohere, Voyage AI und Gemini. Jina On-Prem ist eine sofort einsatzbereite Lösung für Anwendungen, die auf diesen Schemata basieren.

• Drop-in-Ersatz für Modelle, die über den EIS bereitgestellt werden. Jina On-Prem lässt sich direkt in Elastic-Deployments mit Air-Gap integrieren.

Hardwareanforderungen für Jina AI-On-Prem-Modelle

Die Hardwareanforderungen variieren je nach Jina-Modell. Die folgende Tabelle zeigt die Empfehlungen für die neuesten Modelle unter Verwendung von GPU-Einstellungen. Sie benötigen keine leistungsstärkere GPU als eine NVIDIA L4, allerdings wird für die v5-Einbettungsmodelle eine A100 empfohlen. Unser neuestes Einbettungsmodell erfordert derzeit mindestens 8 GB VRAM.

Modell

Mindest-VRAM

Empfohlene GPU

jina-embeddings-v5-text-nano

2 GB

T4 / L4

jina-embeddings-v5-text-small

3 GB

L4 / A10G

jina-embeddings-v5-omni-small

8 GB

L4 / A10G / A100

jina-reranker-v3

3 GB

L4

jina-clip-v2

4 GB

L4

jina-code-embeddings-1.5b

4 GB

L4

ReaderLM-v2

4 GB

L4

Wenn Sie mehr als ein Modell gleichzeitig verwenden, steigen die VRAM-Anforderungen. Weitere Informationen finden Sie auf der Seite Größen und Hardware.

So installieren Sie Jina On-Prem mit Docker

Der schnellste Weg für den Einstieg ist die Installation von Docker (sofern noch nicht geschehen) und das Befolgen der Anweisungen auf der Seite Jina On-Prem Quick Start.

Für alle 28 Jina-Modelle stehen vorkonfigurierte Docker-Container zur Verfügung. Laden Sie ein Modell herunter und übertragen Sie es auf Ihr Installationsziel – schon können Sie Jina-AI-Modelle in weniger als fünf Minuten ausführen.

Für multimodale oder benutzerdefinierte Builds oder zum Herunterladen des vollständigen Abhängigkeitssatzes für die Installation außerhalb eines Containers befolgen Sie bitte die Schritte, die in der Bundling-Anleitung beschrieben sind.

Ihre Jina-On-Prem-Installation unterstützt alle Jina-API- und EIS-Funktionen sowie die Generierung von Einbettungen über die APIs von OpenAI, Cohere, Voyage AI und Gemini, sodass sie sich über Standardschnittstellen in bereits vorhandene Anwendungen integrieren lässt. Weitere Informationen finden Sie in der API-Dokumentation.

Jina-Modelle, einschließlich der mit Jina On-Prem installierten Modelle, sind unter verschiedenen Lizenzbedingungen erhältlich, wobei die neuesten Modelle für die nichtkommerzielle Nutzung unter einer CC BY-NC 4.0-Lizenz kostenlos zur Verfügung stehen. Für die Lizenzierung von Jina On-Prem für die kommerzielle Nutzung wenden Sie sich bitte an Elastic Sales.

Sie können jetzt leistungsstarke semantische Einbettungen für Text, Bilder, Videos und Audioaufnahmen in fast 100 Sprachen erstellen und sie für Klassifikation, Clustering, semantische Ähnlichkeitsmessung und Indexierung für den Abruf verwenden. Wenn Ihre Daten neben Texten auch in PDFs, Aufnahmen und Videos vorliegen, benötigen Sie keine separaten Pipelines mehr für jedes Format.

Die jina-embeddings-v5-omni-Familie ist das derzeit kompakteste Einbettungsmodell auf dem Markt und unterstützt Bilder, Sprache, Print und Video. Es bietet:

• jina-embeddings-v5-texts erstklassige Texteinbettungen für Abruf-, Analyse- und KI-Agentenanwendungen.

• Erstklassige Einbettungen für visuelle semantische Ähnlichkeit, visuelles Verständnis und Bildabruf. jina-embeddings-v5-omni-small erzielt die beste Performance bei Bild-Benchmarks aller Modelle mit 1 Milliarde (10⁹) Parametern und ist unserem vorherigen Modell jina-clip-v2 überlegen. Nur wenige Modelle mit drei- bis dreißigmal so vielen Parametern können da mithalten.

• Modernste Einbettungen für mehrsprachiges visuelles Verständnis und Abruf, die Modelle übertreffen, die bis zu 20-mal größer sind.

• Erstklassige Audioeinbettungen, wobei nur Modelle, die die doppelte oder mehr Anzahl von Parametern haben, bei Standard-Benchmarks besser abschneiden.

• Unterstützung für Video, insbesondere zur Lokalisierung von Objekten und Ereignissen in Aufnahmen.

Dies findet Anwendung in allen Bereichen des Informationsabrufs, der Dokumentenverarbeitung und der Datenanalyse. jina-embeddings-v5-omni ermöglicht den Zugriff auf Informationen, die in verschiedenen Mediensilos eingeschlossen sind, und macht sie für den Abruf, die Analyse und die Nutzung durch KI-Agenten zugänglich. Informationen in Audio- und Videoaufnahmen, PDF-Dateien, gedruckten Seitenscans und Infografiken stehen auf einer Ebene mit digitalisierten Texten in Ihrem Datenökosystem.

Genau wie jina-embeddings-v5-text gibt es auch diese Modelle in zwei Größen: small und nano. Beide Modelle erweitern ihr jeweiliges Textäquivalent um zusätzliche Module, die Audio- und visuelle Eingaben unterstützen. Nutzer können Module beim Laden auswählen. Zusätzlich werden aufgabenspezifische Erweiterungen für semantische Ähnlichkeit, Klassifikation, Clustering und Informationsabruf als kompakte Low-Rank-Adapter (LoRAs) implementiert und so geladen, dass Nutzer sie zur Inferenzzeit auswählen können.

Beide Modelle sind sehr kompakt. jina-embeddings-v5-omni-small kann auf herkömmlichen GPU-fähigen Servern ausgeführt werden, und jina-embeddings-v5-omni-nano ist klein genug, um auf Standardhardware zu laufen. Dies birgt ein großes Einsparpotenzial bei den Rechenkosten und ermöglicht die lizenzierte lokale Installation und Edge-Verarbeitung, wodurch die Latenz reduziert und Ihre Kontrolle über Ihre eigenen Daten erhöht wird.

Die v5-omni-Suite nutzt innovative Modelldesign- und Machine-Learning-Techniken, um neue Einbettungsmodelle aus bereits trainierten Modellen zusammenzustellen, ohne sie neu trainieren zu müssen. Wir verwenden Encoder aus vortrainierten, sprachorientierten Einbettungsmodellen für Audio- und Videomedien als Eingabe-Präprozessoren für unsere bestehende jina-embeddings-v5-text-Modellsuite. Die resultierenden Modelle erzeugen Einbettungen für Bilder und Tonaufnahmen, die semantisch mit den Einbettungen für Texte kompatibel sind.

Die v5-omni-Modelle erzeugen Texteinbettungen, die identisch mit jina-embeddings-v5-text sind (also jina-embeddings-v5-omni-small mit jina-embeddings-v5-text-small und jina-embeddings-v5-omni-nano mit jina-embeddings-v5-text-nano), sodass Sie bestehende Textabruf-Repositories auf multimediale Anwendungen erweitern können, ohne Ihre Indizes neu aufbauen zu müssen.

Die integrierten Encoder stammen alle aus offenen Quellen. Für Bilder und Videos haben wir Encoder von Qwen3.5-Modellen verwendet:

• Für jina-embeddings-v5-omni-nanoist der fein abgestimmte SigLIP2-Basis-Encoder von Qwen3.5-0.8B.

• Für jina-embeddings-v5-omni-smallder fein abgestimmte SigLIP2 So400m-Encoder von Qwen3.5-2B.

• Zur Audio-Unterstützung haben wir den Encoder von Whisper-large-v3, der aus Qwen2.5-Omni-7B extrahiert wurde, sowohl für die kleine als auch für die Nano-Version hinzugefügt.

Wir haben diese medienspezifischen Encoder mithilfe trainierter cross-modaler Projektoren mit dem Backbone der Textverarbeitung verbunden. Diese Projektoren übersetzen ihre nativen Ausgänge in Eingangseinbettungen, die mit jina-embeddings-v5-text kompatibel sind. Die einzigen neu trainierten Teile der jina-embeddings-v5-omni-Modelle sind die Gewichte in diesen Projektoren.

Diese Architektur bedeutet, dass wir nur die modellübergreifenden Projektoren trainieren müssen, ungefähr 5,5 Millionen Parameter für jina-embeddings-v5-omni-small und unter 3,5 Millionen für jina-embeddings-v5-omni-nano, für jeden der vier LoRa-Adapter. Dieser Ansatz minimiert den zusätzlichen Trainingsaufwand, der für die Verbindung verschiedener Einbettungsmodelle erforderlich ist, und nutzt das spezialisierte Training der einzelnen Modelle, um eine extrem kompakte, leistungsstarke und modulare Einbettungssuite zu erstellen.

Ausgewählte Modelleigenschaften

Eingang/Ausgang

Modellname

Größe des Eingangskontextfensters

Einbettungsgröße

jina-embeddings-v5-omni-small

32.768 Token*

1024 Dimensionen (Minimum: 32)

jina-embeddings-v5-omni-nano

8.192 Token*

768 Dimensionen (Minimum: 32)

* Unter Using jina-embeddings-v5-omni unten erfahren Sie mehr darüber, wie nicht-textbezogene Medien tokenisiert werden.

Größe

Modellname

Gesamtgröße

jina-embeddings-v5-omni-small (nur Text, Basismodell + 4 LoRA-Adapter)

700 Mio. Parameter

Bild-/Video-Unterstützung (SigLIP2 So400m-Encoder extrahiert aus Qwen3.5-2B)

1.006B Parameter

Audiounterstützung (Whisper-large-v3-Encoder, extrahiert aus Qwen2.5-Omni-7B)

1,354 Mrd. Parameter

beide

1,660 Mrd. Parameter

LoRA-Adapter (jeweils)

20 Mio.

jina-embeddings-v5-omni-nano (nur textbasiertes Basismodell + 4 LoRA-Adapter)

266 Mio. Parameter

Bild-/Videounterstützung (SigLIP2-Basis-Encoder, extrahiert aus Qwen3.5-0.8B)

354 Mio. Parameter

Audiounterstützung (Whisper-large-v3-Encoder, extrahiert aus Qwen2.5-Omni-7B)

916 Mio. Parameter

beide

1.004B Parameter

LoRA-Adapter (jeweils)

7 Mio.

* Unter Using jina-embeddings-v5-omni unten erfahren Sie mehr darüber, wie nicht-textbezogene Medien tokenisiert werden.

Aufgabenspezifisches Training

Die jina-embeddings-v5-omni-Familie unterstützt die gleichen aufgabenspezifischen LoRA-Adapter wie jina-embeddings-v5-text:

Aufgabe

Anwendungsbeispiele

Abruf

Informationsabruf, allein oder in Verbindung mit anderen Abruf- und Kandidatenbewertungstechniken. Mit den v5-omni-Modellen können Sie Audio, Video und Bilder in einer einzigen Abfrage aus einem Index abrufen.

Clustering

Themenfindung und automatische Themenorganisation in allen Medien.

Klassifizierung

Kategorisierung, Stimmungsanalyse und ähnliche Aufgaben.

Semantische Ähnlichkeit

Deduplizierung von Daten in verschiedenen Medien, Empfehlungssystemen, verwandten Medien, Suchen nach Texten, die zur Sprache passen, Identifizierung von Übersetzungen und ähnlichen Aufgaben.

Ausgangseinbettungen hängen von der ausgewählten Aufgabenkategorie ab. Zum Beispiel sollte man keine abruforientierten Einbettungen für Clustering oder semantische Ähnlichkeitseinbettungen für die Klassifikation verwenden.

Multimedia, multimodal, mehrsprachig, multifunktional

Um zu zeigen, was jina-embeddings-v5-omni kann, nehmen wir die berühmten Anfangspassagen zweier Romane und messen ihre semantische Ähnlichkeit:

A Tale of Two Cities (Charles Dickens)

Pride and Prejudice (Jane Austen)

Mit jina-embeddings-v5-omni-small und seinem semantischen Ähnlichkeitsadapter haben diese Texte eine Ähnlichkeit von 0,5329.

Diese Zahl ist ohne Vergleichswert wenig aussagekräftig. Vergleichen wir daher diese beiden Texte mit ihren französischen Übersetzungen unter Verwendung desselben Modells und Adapters:

Semantische Ähnlichkeitswerte für Texte in verschiedenen Sprachen

A Tale of Two Cities (Englisch)

Pride and Prejudice (Englisch)

Tale of Two Cities (Französisch) (Paris et Londres en 1783, tr. H. Loreau)

0,9095

0,5074

Pride and Prejudice (Französisch) (Orgueil et Préjugés, tr. Leconte et Pressoir)

0,4826

0,8784

Die beiden Texte zeigen eine viel größere Ähnlichkeit zu ihren Übersetzungen als zu anderen Texten in derselben Sprache oder in einer anderen. Dies spiegelt die sehr leistungsstarken mehrsprachigen semantischen Einbettungen von jina-embeddings-v5-text-small wider, die unverändert in jina-embeddings-v5-omni-small enthalten sind.

Die Hinzufügung von Multimedia-Unterstützung zu jina-embeddings-v5-omni bedeutet, dass wir dieses Experiment auf ganz andere Datentypen ausweiten können. Wir haben z. B. Scans der ersten Seiten beider Romane aus alten Druckausgaben angefertigt:

Abbildung 2: Tale of Two Cities, undatierte Ausgabe aus dem 19. Jahrhundert, und Pride and Prejudice, Macmillan-Ausgabe von 1903.

Vergleichen wir nun beide Texte mit den Scans, wiederum unter Verwendung des semantischen Ähnlichkeitsadapters:

Semantische Ähnlichkeitswerte zwischen Texten und Bildern

A Tale of Two Cities (Scan)

Pride and Prejudice (Scan)

Tale of Two Cities (Text)

0,7336

0,4891

Pride and Prejudice (Text)

0,4804

0,7213

Man sieht, dass semantische Ähnlichkeitswerte Texte, die mit Bildinhalten übereinstimmen, stark bevorzugen.

Wir können die Texte auch mit einem Screenshot eines Beitrags in den sozialen Medien und einem Meme, das sich auf diese Texte bezieht, vergleichen, indem wir dasselbe Setup verwenden:

Abbildung 3: Ein Tweet von Elon Musk, der A Tale of Two Cities referenziert, und ein Meme, das auf den berühmten Anfang von Pride and Prejudice anspielt.

Semantische Ähnlichkeitswerte zwischen Texten und Bildern

A Tale of Two Cities

Stolz und Vorurteil

Musk-Tweet (Bild)

0,7156

0,4912

Meme „Keep calm“ (Bild)

0,4555

0,6244

Dasselbe können wir auch für die Sprache tun. Uns liegen Aufnahmen von Lesungen beider Texte vor, sowohl in Englisch als auch in Französisch:

• A Tale of Two Cities (englische Audioausgabe von Librivox).

• A Tale of Two Cities (französisches Audio erzeugt von OmniVoice KI).

• Pride and Prejudice (englische Audioausgabe von Librivox).

• Pride and Prejudice (französisches Audio generiert von OmniVoice KI).

Semantische Ähnlichkeitswerte zwischen Texten und Audiodateien in verschiedenen Sprachen

A Tale of Two Cities (englisches Audio)

A Tale of Two Cities (Französisches Audio)

Pride and Prejudice (englisches Audio)

Pride and Prejudice (Französisches Audio)

A Tale of Two Cities (englischer Text)

0,3816

0,3106

0,1607

0,1774

A Tale of Two Cities (französischer Text)

0,3528

0,3253

0,1598

0,1721

Pride and Prejudice (englischer Text)

0,1910

0,1682

0,3511

0,3398

Pride and Prejudice (französischer Text)

0,1667

0,1474

0,3018

0,3702

Diese mehrsprachige und multimediale Fähigkeit erstreckt sich auch auf das Abrufen von Informationen.

Die Abrufsadapter für die jina-embeddings-v5-omni-Modelle implementieren einen asymmetrischen Abruf. Das bedeutet, dass Abfragen anders eingebettet werden als bei den Abruf-Zieldokumenten, sodass cross-modale Abfragen immer in eine Richtung gehen, mit Abfragen in einem Medium und Dokumenten in einem anderen, was andere Werte als beim Umkehren ergibt.

Die untenstehenden Tabellen zeigen die Abrufwerte für Text-, Audio- und Seiten-Scans von A Tale of Two Cities und Pride and Prejudice, wenn der Text aus A Tale of Two Cities (auf Englisch) als Abfrage codiert wird:

Text zu Text

Dokument

Abrufbewertung

A Tale of Two Cities (französischer Textauszug)

0,7597

Stolz und Vorurteil (englischer Textauszug)

0,1482

Pride and Prejudice (französischer Textauszug)

0,0523

Text zu Bild

Dokument

Abrufbewertung

A Tale of Two Cities (englischer Seitenscan)

0,5517

A Tale of Two Cities (Französischer Seitenscan)

0,3576

Pride and Prejudice (englischer Seitenscan)

0,1917

Text zu Audio

Dokument

Abrufbewertung

A Tale of Two Cities (englisches Audio)

0,3277

A Tale of Two Cities (Französisches Audio)

0,1980

Pride and Prejudice (englisches Audio)

0,1419

Pride and Prejudice (Französisches Audio)

0,1759

Nutzer können die Abfrage auch umgekehrt ausführen, indem sie Audio-zu-Text und Bild-zu-Text-Abfragen durchführen.

Nachfolgend sind die Bewertungen unter Verwendung des englischen Audios von A Tale of Two Cities als Abfrage und verschiedener Texte als Dokumente aufgeführt.

Bild zu Text

Dokument

Abrufbewertung

A Tale of Two Cities (englischer Textauszug)

0,3352

A Tale of Two Cities (französischer Textauszug)

0,2650

Stolz und Vorurteil (englischer Textauszug)

0,1626

Pride and Prejudice (französischer Textauszug)

0,1385

Und die Scores unter Verwendung eines Scans der ersten Seite von A Tale of Two Cities (auf Englisch) als Abfrage:

Audio zu Text

Dokument

Abrufbewertung

A Tale of Two Cities (englischer Textauszug)

0,5304

A Tale of Two Cities (französischer Textauszug)

0,4845

Stolz und Vorurteil (englischer Textauszug)

0,1467

Pride and Prejudice (französischer Textauszug)

0,0761

Videosuche

Die Funktionen des jina-embeddings-v5-omnifür Video-Indexierung und -Suche integrieren neue Funktionen in Elasticsearch-Datenbanken, unterliegen jedoch vielen der gleichen Warnungen, die auch für Texte gelten. Die Generierung einer einzelnen Einbettung für einen langen Film ist wie die Einbettung eines sehr langen Romans: Detaillierte Informationen gehen unter, und die resultierende Einbettung wird für viele sehr unpassende Abfragen eine gute Übereinstimmung sein.

Wenn Sie den gesamten Text von Lord of the Rings (~500.000 Wörter) einbetten, ist das wahrscheinlich ein guter Treffer für die meisten Suchanfragen, egal, wonach Sie suchen. Ebenso erhalten Sie bei der Indizierung eines zweistündigen Hollywood-Films viele sporadische Übereinstimmungen und völlig übersehene Details. jina-embeddings-v5-omni ist optimal für kurze Clips.

Für dieses Beispiel haben wir den Trailer zum 1961 erschienenen Film Breakfast At Tiffany’s heruntergeladen, der nur 158 Sekunden lang und gemeinfrei ist. Den Trailer können Sie im Internet Archive ansehen.

Abbildung 4: Das Kinoplakat für Breakfast at Tiffany’s.

Wir haben PySceneDetect verwendet, um den Trailer in 28 einzelne Szenen aufzuteilen, mit Längen von 1,877 Sekunden (45 Frames) bis 18,393 Sekunden (441 Frames). Die Szenenerkennung ist zwar nicht perfekt, bietet aber einen ausreichenden Mechanismus, um Videos in überschaubare Abschnitte für die spätere Wiedergabe zu unterteilen. Dann haben wir Dokument-Einbettungen für jedes der 28 Segmente mit jina-embeddings-v5-omni-small erstellt, um die Wirksamkeit von Textabfragen beim Finden bestimmter Elemente im Video testen zu können.

Zum Beispiel lieferte die Suche nach „Katze“ die folgenden Clips als die drei besten Ergebnisse. Die eine Szene mit einer Katze darin ist ganz oben, mit einem Score von 0,1634:

Sehen Sie sich den ersten Clip an.

Das nächsthöchste Match, mit einem Score von 0,1237, ist deutlich niedriger:

Sehen Sie sich den zweiten Clip an.

Sie können auch nach Aktionen abfragen. Bei einer Suchanfrage mit der Zeichenfolge „Kuss“ enthalten die ersten vier Treffer alle das Wort „Küsse“:

Sehen Sie sich den dritten Clip an. Sein Score liegt bei 0,2864.

Scores: Jeweils für den zweiten Treffer (0,2494), den dritten Treffer (0,2099) und den vierten Treffer (0,2068)

Und Sie können nach Texten suchen, die in Videos angezeigt werden, wie zum Beispiel nach „Buddy Ebsen“, der nur einmal vorkommt. jina-embeddings-v5-omni-small identifiziert es sofort als das beste Match mit einem Score von 0,3885, deutlich höher als das nächstbeste Match:

Buddy Ebsen Clip.

Visuelles Abrufen von Dokumenten

Die multimodalen Einbettungsmodelle von Jina AI sind führend in der visuellen Dokumentenverarbeitung und auf dem neuesten Stand der Technik in der mehrsprachigen visuellen Dokumentenverarbeitung. Dies bedeutet die Verarbeitung von Bilddaten, die Text, Abbildungen und strukturierte Informationen enthalten. Wichtige Daten liegen oft in Form von Ausdrucken, Scans, PDF-Dateien, Diagrammen, technischen Zeichnungen, Screenshots, Bildern, Infografiken und Ähnlichem vor. Solche Bilder sind oft mechanisch zusammengestellt oder computergeneriert. Sie können in der Regel nicht ohne Bedeutungsverlust auf Text reduziert werden und eignen sich schlecht für Computer-Vision-Modelle, die für die Fotografie natürlicher Szenen entwickelt wurden.

jina-embeddings-v5-omniDie Einbettungen umfassen Informationen über die Dinge im Bild, den darauf gedruckten Text und die Beziehungen zwischen den beiden. Die visuelle Dokumentensuche ermöglicht es, reichhaltige Bilder zu indizieren, die sowohl Objekte als auch relevanten Text in verschiedenen Sprachen enthalten.

Als Beispiel verwenden wir vier Produktbilder von verschiedenen E-Commerce-Websites:

Schauen wir uns nun an, wie gut jina-embeddings-v5-omni-small diese vier Bilder für die Abfrage „Ramen-Nudeln“ bewertet:

Campbell’s Chunky Chicken Noodle (kanadische Verpackung)

Kraft Dinner (kanadische Verpackung)

Maruchan Miso Flavour Fresh Ramen (japanische Verpackung)

Birkel Spaghetti (Deutsche Verpackung)

0,0872

0,0711

0,1123

0,0886

Es findet problemlos das japanische Gegenstück.

Versuchen wir nun eine Abfrage nach „マカロニチーズ“ (japanisch für Makkaroni und Käse):

Campbell’s Chunky Chicken Noodle (kanadische Verpackung)

Kraft Dinner (kanadische Verpackung)

Maruchan Miso Flavour Fresh Ramen (japanische Verpackung)

Birkel Spaghetti (Deutsche Verpackung)

0,2207

0,3487

0,2760

0,2674

Es findet die korrekte Übereinstimmung mit der gleichen Leichtigkeit wie eine englische Abfrage.

jina-embeddings-v5-omni zeichnet sich auch durch das Verständnis von informativen Bildern wie Diagrammen aus. Um dies in Aktion zu erleben, schauen Sie sich diese beiden Balkendiagramme an:

Zwei Diagramme, Diagramm 1 links über die globale Krankheitslast, und Diagramm 2 rechts über die Lebensdauer von Hunderassen.

Mal sehen, wie gut sie zwei mögliche Textfragen abgleichen, die jeweils für eines, aber nicht für beide Diagramme relevant sind, wobei jina-embeddings-v5-omni-small für den Abruf verwendet wird:

Textfrage

Diagramm 1

Diagramm 2

„Was sind häufige medizinische Probleme bei älteren Menschen?“

0,2787

0,1099

„Wie lange leben Hunde?“

0,1350

0,3564

Sie können die Suche auch umkehren und Bilder als Suchbegriffe verwenden, um Texte zu finden. Die folgende Tabelle zeigt die aus den Abstracts thematisch verwandter wissenschaftlicher Arbeiten extrahierten Zieldokumente und ihre Abrufergebnisse, wobei die Diagrammbilder als Abfragen verwendet wurden:

Text 1

Text 2

Die Gesundheit von Menschen, die in extremer Armut leben, steht seit Langem im Mittelpunkt der globalen Entwicklungsbemühungen und hat auch in der Ära der nachhaltigen Entwicklungsziele weiterhin Priorität. Allerdings gab es seit fast zwei Jahrzehnten keinen systematischen Versuch, das Ausmaß und die Ursachen der Belastung in dieser speziellen Bevölkerungsgruppe zu quantifizieren. Wir haben die Krankheitsraten nach Ursachen für die ärmste Milliarde Menschen der Welt geschätzt und diese Raten mit denen in Bevölkerungsgruppen mit hohem Einkommen verglichen.

Der Begleithund zählt zu den phänotypisch vielfältigsten Arten. Die Variabilität zwischen Rassen erstreckt sich nicht nur auf die Morphologie und Verhaltensaspekte, sondern auch auf die Langlebigkeit. Trotz dieser Tatsache wurde bisher wenig Forschung betrieben, um die Unterschiede in der Lebenserwartung zwischen verschiedenen Rassen zu untersuchen oder das Potenzial für eine phylogenetische Charakterisierung der Langlebigkeit zu bewerten.

Diagramm 1

0,2377

0,1357

Diagramm 2

0,0673

0,3576

Features

Kürzbare Einbettungen

Wir haben die Backbone- jina-embeddings-v5-text-Modelle, die jina-embeddings-v5-omni untermauern, mit Matryoshka Representation Learning trainiert, sodass Sie sowohl Text- als auch Multimedia-Einbettungen aus diesen Modellen kürzen können.

Standardmäßig erzeugt jina-embeddings-v5-omni-small Einbettungen mit 1.024 Dimensionen und benötigt 2 KB zur Speicherung mit 16-Bit-Präzision. Die Einbettungen von jina-embeddings-v5-omni-nanohaben 768 Dimensionen und nehmen etwa 1,5 KB ein. Sie können die Größe dieser Einbettungen auf 32 Dimensionen (64 Bytes) reduzieren, was zwar zu Lasten der Genauigkeit geht, aber einen großen Gewinn an Verarbeitungsgeschwindigkeit und geringere Ressourcenkosten mit sich bringt. Im Allgemeinen führt eine Halbierung der Einbettungsgröße zu einer Verringerung der Genauigkeit um etwa 2 %, bis hin zu 128 Dimensionen, unterhalb derer die Genauigkeit viel schneller abnimmt.

Durch kürzbare Einbettungen können Nutzer den optimalen Kompromiss zwischen Genauigkeit, Geschwindigkeit und Kosten für ihre jeweiligen Anwendungsfälle festlegen.

Quantisierung

Die jina-embeddings-v5-omni-Familie erbt auch eine robuste Leistung unter Quantisierung von ihrem jina-embeddings-v5-text-Backbone. Dies erhöht die Geschwindigkeit weiter und senkt die Rechen- und Speicherkosten, indem weniger präzise Zahlen gespeichert werden. Wir haben sie darauf trainiert, mit Elasticsearchs Better Binary Quantization (BBQ) zu arbeiten, um eine nahezu identische Leistung wie bei unquantisierten Einbettungen zu erzielen. Bei der Massive Text Embedding Benchmark (MTEB) Retrieval-Benchmark-Suite reduziert die Binarisierung die Leistung um weniger als 3 % im Vergleich zu vollständigen 16-Bit-Werten, spart jedoch 93 % Speicherplatz und erhöht die Verarbeitungs- und Abrufgeschwindigkeit drastisch.

Sprachübergreifende Leistung

jina-embeddings-v5-textDie umfangreiche mehrsprachige Schulung überträgt sich auf jina-embeddings-v5-omni, mit fast 100 Sprachen im Vortraining von jina-embeddings-v5-text-smallund 15 wichtigen globalen Sprachen in jina-embeddings-v5-text-nano. Für Audiomedien umfasst das Whisper-large-v3-Modell ungefähr 100 Sprachen in seinem Training, und die Qwen-modifizierten SigLip2-Vision-Modelle, die in jina-embeddings-v5-omni-small und -nano integriert sind, wurden mit Daten aus 201 verschiedenen Sprachen und Dialekten trainiert.

Benchmark-Leistung

Text

jina-embeddings-v5-omni Modelle sind identisch mit jina-embeddings-v5-text-Modellen, wenn sie nur für Text verwendet werden. Sie sind die Leistungsträger in der MMTEB-Benchmark-Suite in ihren jeweiligen Größenkategorien für semantische Texteinbettungen.

Abbildung 5: Größe und Leistung jina-embeddings-v5-omniauf Textbenchmarks im Vergleich zu konkurrierenden Modellen. Die angegebene Größe ist ohne Ladeerweiterungen für andere Medien.

Visuelle semantische Ähnlichkeit

Bei Standard-Benchmarks für visuelle semantische Ähnlichkeit liefert jina-embeddings-v5-omni die besten Bewertungen aller Modelle in seiner Größe. jina-embeddings-v5-omni-Modelle zeigen bei weitem die beste Leistung für öffentliche Modelle mit offenen Gewichten vergleichbarer Größe. jina-embeddings-v5-omni-small wird bei visuellen semantischen Ähnlichkeitsaufgaben nur von einem Modell übertroffen, das dreimal so groß ist, und jina-embeddings-v5-omni-nano wird nur von jina-embeddings-v5-omni-small und von Modellen übertroffen, die 10- bis 25-mal größer sind.

Abbildung 6: Benchmark-Mittelwerte für visuelle semantische Ähnlichkeit für jina-embeddings-v5-omni-small, jina-embeddings-v5-omni-nano und vergleichbare Modelle sowie deren Größen einschließlich Visionserweiterungen.

Visuelles Abrufen von Dokumenten

jina-embeddings-v5-omni-small ist wettbewerbsfähig mit Modellen mit drei und sieben Milliarden Parametern, bleibt aber unter einer Milliarde Parametern. jina-embeddings-v5-omni-nano sticht ebenfalls durch seine Größe hervor und übertrifft Modelle, die zehn bis sechzig Mal größer sind.

Abbildung 7: Mittlere ViDoRe-Ergebnisse bei der visuellen Dokumentensuche in sechs Benchmarks: DocVQA, InfoVQA, ShiftProj, SynAI, Tabfquad und TatDQA.

Audio-Abruf

Bei den Standard-MAEB-Benchmarks (Massive Audio Embedding Benchmark) für den Audioabruf gehören sowohl jina-embeddings-v5-omni-small als auch jina-embeddings-v5-omni-nano zu den Leistungsträgern. Nur sehr große Modelle – mehr als dreimal so groß wie jina-embeddings-v5-omni-small – übertreffen seinen Punktestand.

Abbildung 8: Mittlerer Score verschiedener Modelle auf den MAEB-Audio-Retrieval-Benchmarks.

Obwohl das larger_clap_general-Modell von LAION den Score von jina-embeddings-v5-omni-nano verbessert und dabei weniger Parameter hat, handelt es sich um ein reines Audiomodell ohne die zusätzlichen multimodalen Features der v5-omni-Suite.

Video

Auf Video ist jina-embeddings-v5-omni-small hervorragend darin, den Ort in einem Video zu finden, der zu einer Textabfrage passt. Die Charades-STA- und MomentSeeker-Tests sind die Standardmaßstäbe für diese Aufgabe, und man sieht in den untenstehenden Diagrammen, dass jina-embeddings-v5-omni-small trotz seiner deutlich kleineren Größe der Top-Scorer unter vergleichbaren Open-Weight-Modellen ist.

Abbildung 9: Charades-STA-Bewertungen für verschiedene Modelle sowie deren Größen.

Abbildung 10: MomentSeeker-Bewertungen für verschiedene Modelle sowie deren Größen.

Wir verglichen jina-embeddings-v5-omni-small auch mit ByteDances Seed 1.6, einem Closed-Weight-Modell mit nicht veröffentlichter Parameteranzahl. Unser Modell übertrifft Seed 1.6 beim Charades-STA-Benchmark mit großem Abstand und ist mit ihm bei MomentSeeker nahezu gleichauf.

Modell

Charades-STA-Score

MomentSeeker-Score

seed-1.6-embedding

29,30

59,30

jina-embeddings-v5-omni-small

55,57

58,93

Stärken und Schwächen

jina-embeddings-v5-omni Modelle erweitern die Fähigkeit der Nutzer, digitalisierte Informationen auf verschiedene Weise zu indexieren, zu suchen und zu analysieren, insbesondere:

• Mehrsprachiger Sprachabruf aus Textabfragen.

• PDF, Scans und visuelle Dokumentensuche.

• Zeitliche Verankerung von Videos, d. h. die Identifizierung von Teilen von Videos, die mit natürlichsprachlichen Textbeschreibungen übereinstimmen.

• Klassifizierung von Audiogenres, einschließlich Musikgenres.

• Bildklassifizierung basierend auf Szeneninformationen und Objekterkennung.

Die Leistungsfähigkeit ist in einigen anderen Bereichen eingeschränkt. Es könnte möglich sein, jina-embeddings-v5-omni für diese Aufgaben zu verwenden, aber wir haben dafür nicht trainiert und die Ergebnisse könnten schlecht sein.

Wir arbeiten aktiv daran, unsere Technologie in folgenden Bereichen zu verbessern:

• Das Auffinden spezifischer Videos anhand von Beschreibungen in natürlicher Sprache.

• Bild-zu-Bild-Semantikvergleich und -Abruf.

• Absichtsklassifizierung in der Sprache, wie beispielsweise das Erkennen verbaler Befehle.

• Verarbeitung gemischter Medieneingaben, d. h. Bilder und begleitender Text oder eine Kombination aus Audio, Bildern und Texten.

Verwendung von jina-embeddings-v5-omni

Diese Modellsuite unterstützt Eingaben über drei Einstiegspunkte: Text, Audio sowie Bilder und Videos zusammen. jina-embeddings-v5-omni läuft in einem Framework, das eine breite Palette von Standardformaten konvertiert und andere Vorverarbeitungsschritte durchführt.

Wir verarbeiten Bilder mit dem gleichen NaFlex-Ansatz wie in der ersten SigLip2-Version: Ist das Eingabebild kleiner als 262.144 Pixel (entspricht 512×512), wird es hochskaliert, bis es größer als dieses Minimum ist. Ist es größer als 3.072.000 Pixel, wird es herunterskaliert, bis es kleiner als dieses Maximum ist. Der Konvertierungsprozess stellt sicher, dass sowohl die Höhe als auch die Breite des Bildes ein Vielfaches von 14 Pixeln betragen, wobei die Verzerrung des Seitenverhältnisses so gering wie möglich gehalten wird, um dieses Ziel zu erreichen. Das Ergebnis wird in Patches von 28×28 Pixeln aufgeteilt, sodass die Gesamtzahl der Patches der Anzahl der 28×28-Quadrate entspricht, die benötigt werden, um das Bild abzudecken. Jeder Patch wird zur Inferenzzeit wie ein einzelnes Token behandelt, und jeder Bildeingang wird von speziellen Start- und End-Token begleitet, um ein einzelnes Bild abzugrenzen.

Die jina-embeddings-v5-omni-Modelle verändern die Videoauflösung auf die gleiche Weise wie Bilder (siehe oben), und wir extrahieren bis zu 32 Frames aus dem Video. Wenn das Video mehr als 32 Bilder hat (was wahrscheinlich ist, da Standardformate in der Regel mindestens 24 Bilder pro Sekunde haben), werden die Bilder, die wir extrahieren, gleichmäßig verteilt. Dann generiert der Video-Präprozessor für alle zwei Frames einen Satz von Token, der der Anzahl von 28x28 Quadraten entspricht, die benötigt werden, um das Video abzudecken.

Abbildung 11: jina-embeddings-v5-omni extrahiert 32 gleichmäßig verteilte Bilder aus dem Video. Wenn Sie ein langes Video haben, bedeutet das, dass viel verloren geht.

Weitere Details zur Videovorverarbeitung finden Sie in der technischen Dokumentation von SigLip2.

Die Audio-Tokenisierung folgt dem in Qwen-2.5-Omni integrierten Ansatz: Die Tondateien werden in 30-Sekunden-Segmente geschnitten. Wenn sie länger als 30 Sekunden sind, werden sie auf 16 kHz neu abgetastet und in ein 128-Kanal-Mel-Spektrogramm umgewandelt. Jede 40 ms wird als einzelnes Token behandelt, so dass jedes 30-Sekunden-Segment als 750 Token behandelt wird, ein Token pro 40 ms Audio, plus spezielle Start- und End-Token zur Abgrenzung eines einzelnen Samples.

Weitere Details zur Audiovorverarbeitung finden Sie im Technischen Bericht Qwen-2.5-Omni.

Verfügbarkeit

Sowohl jina-embeddings-v5-omni-small als auch jina-embeddings-v5-omni-nano sind über den Elastic Inference Service (EIS), über die Jina API und für die lokale Installation per Download verfügbar (small und nano). Die Modellgewichte stehen unter einer nichtkommerziellen Lizenz kostenlos zum Ausprobieren zur Verfügung. Kontaktieren Sie Elastic Sales für die kommerzielle Nutzung.

Erste Schritte

Um jina-embeddings-v5-omni für Text zu verwenden, können Sie dies über das Feld semantic_text integrieren, so wie bei jina-embeddings-v5-text. Setzen Sie einfach inference_id auf .jina-embeddings-v5-omni-small oder .jina-embeddings-v5-omni-nano. Anweisungen finden Sie im Referenzleitfaden.

Um andere Medien mit jina-embeddings-v5-omni einzubetten, müssen Sie die Inferenz-API verwenden. Zum Beispiel:

Ändern Sie für jina-embeddings-v5-omni-nano die URI POST in _inference/embedding/.jina-embeddings-v5-omni-nano.

Um Dokumente in anderen Medien zu kodieren oder Einbettungen für Klassifikationen oder Clustering zu generieren, müssen Sie einen Inferenz-Endpoint mit demjinaai Service erstellen.

Für Abfragen verwenden Sie den Abfragegenerator wie im untenstehenden Beispiel. Ersetzen Sie den Wert inference_id durch .jina-embeddings-v5-omni-nano, um das Modell nano anstelle von small zu verwenden.

Weitere Informationen finden Sie in der Dokumentation des Query Builders.

Um BBQ mit jina-embeddings-v5-omni zu verwenden, folgen Sie den Anweisungen zum BBQ-Indexieren.

Weitere Informationen

Weitere Informationen zu jina-embeddings-v5-omni finden Sie im technischen Bericht des Modells und auf der Jina AI-Website. Die jina-embeddings-v5-omni Kollektionsseite auf Hugging Face enthält auch technische Informationen und Anweisungen zum Herunterladen und lokalen Ausführen dieser Modelle. Die jina-embeddings-v5-omni-Modelle stehen unter einer CC-BY-NC-4.0-Lizenz zur Verfügung. Sie können sie also kostenlos herunterladen und ausprobieren. Für die kommerzielle Nutzung wenden Sie sich bitte an den Elastic-Vertrieb.

Mit dieser Integration erhalten Elasticsearch-Nutzer eine neue Deployment-Option, bei der die Daten innerhalb ihres Sicherheitsperimeters verbleiben, die Infrastrukturkosten vorhersehbar sind und die nativ auf Google Cloud ausgeführt wird. Gleichzeitig erhält das gesamte Google Cloud-Ökosystem Zugriff auf die speziell entwickelten, fortschrittlichen Such- und Abrufmodelle von Jina.

Es handelt sich hierbei um die erste Phase einer umfassenderen Einführung. Zusammen mit den kommenden Modellen wird das Angebot einen vollständigen Retrieval-Stack bilden: Betten Sie Ihre Daten und Abfragen ein, rufen Sie Kandidaten ab und ordnen Sie sie neu, und erweitern Sie die Suche mithilfe multimodaler Einbettungen auf Bilder – alles auf einer von Ihnen kontrollierten Infrastruktur. Sie können noch heute mit jina-embeddings-v3 loslegen – dem Modell, das über den Elastic Inference Service (EIS) bereits Produktions-Suchpipelines im gesamten Elasticsearch-Ökosystem unterstützt.

Modell

Typ

Parameter

Wichtige Funktion

Status im Model Garden

„jina-embeddings-v3“

Texteinbettungen

572 Mio.

Bewährtes mehrsprachiges Tool, Kontextlänge von 8.000, Ausgabedimension von 1.024, auf 32 kürzbar

Jetzt verfügbar

„jina-embeddings-v5-text-small“

Texteinbettungen

677 Mio.

Fortschrittliches mehrsprachiges Tool mit weniger als 1 Mrd. Parametern, Kontextlänge von 32.000, Ausgabedimension von 1.024, auf 32 kürzbar

Demnächst verfügbar

„jina-embeddings-v5-text-nano“

Texteinbettungen

239 Mio.

Branchenführend unter 500 Mio. Parametern, Kontextlänge von 8.000, Ausgabedimension von 768, auf 32 kürzbar

Demnächst verfügbar

„jina-reranker-v3“

Reranker

600M

Listwise-Reranker, Kontextlänge von 131.000, bis zu 64 Dokumente

Demnächst verfügbar

„jina-clip-v2“

Multimodale Einbettung

900M

Text und Bild im gemeinsamen Bereich, 89 Sprachen und Textkontextlänge von 8.000, Bilder mit einer Größe von 512 × 512

Demnächst verfügbar

Jedes Modell wird auf einem einzelnen NVIDIA L4 (24 GB) ausgeführt, der kostengünstigsten GPU-Stufe in Google Cloud. Die meisten anderen Einbettungsmodelle im Google Cloud Model Garden erfordern einen A100 80 GB oder einen H100, was etwa dem Dreifachen der Instanzkosten pro Stunde entspricht, noch bevor Token berücksichtigt werden.

Beim Deployment über Vertex AI ist keine zusätzliche kommerzielle Lizenz erforderlich.

Warum Model Garden?

Warum das Deployment über Model Garden statt über eine API? Letztendlich kommt es auf drei Faktoren an: Kontrolle, Kosten und Kontext.

Ihre Daten verlassen niemals das Gebäude

Der größte Anreiz für die meisten Entwickler ist die Self-Deployment-Architektur. Beim Deployment eines Jina-Modells über Model Garden werden die Gewichte auf GPU-Instanzen innerhalb Ihres eigenen Google Cloud-Projekts und Ihrer eigenen VPC ausgeführt. Dieser entscheidende Vorteil kommt allen zugute, die in Branchen mit hohen Anforderungen an die Datensicherheit tätig sind, wie beispielsweise im Finanzwesen oder im Gesundheitswesen. Da keine externen API-Aufrufe erfolgen, verbleiben Ihre sensiblen Daten innerhalb Ihres Sicherheitsperimeters.

Skalierung mit Prognose

Anstatt jedes Mal zu zahlen, wenn Sie einen Satz einbetten oder ein Dokument neu anordnen, zahlen Sie eine pauschale stündliche Instanzgebühr. Und da jedes Jina-Modell auf einer einzigen NVIDIA L4, der günstigsten GPU-Stufe in der Google Cloud, ausgeführt werden kann, ist die Einstiegshürde niedrig. Ganz gleich, ob Sie tausend oder eine Milliarde Anfragen bearbeiten – Ihre Infrastrukturkosten bleiben kalkulierbar. Bei diesem Modell werden Sie für die Steigerung Ihres Traffics belohnt, anstatt dafür zur Kasse gebeten zu werden.

Alles unter einem Dach

Wenn Ihre Daten bereits in Elasticsearch auf Google Cloud, in BigQuery oder in Cloud Storage gespeichert sind, ist es sinnvoll, Ihre Inferenz-Engines in der Nähe zu belassen. Durch das Deployment über Model Garden profitieren die Search Foundation Models von Jina von allen Unternehmensfunktionen, die Sie bereits nutzen: Identitäts- und Zugriffsverwaltung (IAM) für die Zugriffskontrolle, eine einheitliche Abrechnung über Ihre bestehende Google Cloud-Rechnung sowie die Möglichkeit zur Integration in Vertex AI Pipelines für MLOps-Workflows (Machine Learning Operations).

Während die Jina AI Cloud API und Elastic Cloud den schnellsten Weg für Spitzenauslastungen oder bestehende Such-Workflows bieten, eignet sich Model Garden insbesondere für Unternehmensanwendungen, die strenge Datensicherheit und vorhersehbare Kosten im großen Maßstab erfordern. Elastic möchte Sie dort abholen, wo Sie gerade stehen.

Jina AI-Modelle

jina-embeddings-v3

Unser bewährtes mehrsprachiges Einbettungsmodell mit 572 Mio. Parametern und einem Kontext von 8.000 Tokens. Erzielt 65,5 Punkte beim Massive Text Embedding Benchmark (MTEB) für Englisch. Unterstützt fünf aufgabenspezifische LoRA-Adapter (Abfrage/Passage, Textvergleich, Klassifizierung, Clustering) und Matrjoschka-Kürzungen von 1.024 auf 64 Dimensionen. Wird im gesamten Elasticsearch-Ökosystem über EIS bereits umfassend eingesetzt.

Wir setzen auf v3, da viele Produktionssysteme bereits davon abhängig sind. Wenn Sie eine v3-basierte Pipeline zu Google Cloud migrieren, können Sie dasselbe Modell jetzt nativ ausführen, ohne Ihre Einbettungsdimensionen zu ändern oder neu zu indizieren.

jina-embeddings-v5-text (Small und Nano)

Unsere im Februar 2026 veröffentlichten Texteinbettungsmodelle der fünften Generation erzielen Spitzenleistungen und können mit Modellen mithalten, die um ein Vielfaches größer sind.

v5-text-small (677 Mio.) erzielt 67,0 Punkte in der Multilingual MTEB (MMTEB) Benchmark-Suite, die 131 Aufgaben aus neun Aufgabentypen umfasst, und 71,7 Punkte im MTEB-Benchmark für Englisch. Es handelt sich um das leistungsstärkste mehrsprachige Einbettungsmodell mit weniger als 1 Mrd. Parametern auf dem MTEB-Leaderboard.

v5-text-nano (239 Mio.) erzielt 65,5 Punkte im MMTEB. Kein anderes Modell mit weniger als 500 Mio. Parametern erreicht diesen Wert. Da es weniger als halb so groß ist wie die meisten vergleichbaren Modelle, ist es die naheliegende Wahl für Edge-Anwendungen und latenzkritische Deployments.

Beide Modelle unterstützen:

• Vier aufgabenspezifische LoRA-Adapter: Abruf, Textabgleich, Klassifikation, Clustering. Auswahl eines geeigneten Adapters über den Parameter task zum Zeitpunkt der Inferenz.

• Kürzungen von Matrjoschka-Dimensionen: Reduziert die Einbettungsdimensionen von 1.024 (bzw. 768 bei Nano) auf 32. Bei moderater Kürzung (zum Beispiel 256 Dimensionen) ist der Qualitätsverlust minimal. Eine Halbierung der Dimensionen reduziert den Speicherbedarf in etwa um die Hälfte.

• Binäre Quantisierung: Komprimiert Einbettungen mit 1.024 Dimensionen durch Binarisierung von 2 KB auf 128 Byte. Durch spezielles Training sind die Verluste bei dieser Komprimierung minimal.

• Mehrsprachig: 119 Sprachen (Small) und 93 (Nano).

jina-reranker-v3

Ein mehrsprachiger Listwise-Reranker mit 0,6 Mrd. Parametern, der auf einer „Last but not late“-Interaktionsarchitektur basiert. Die Abfrage und bis zu 64 mögliche Kandidaten werden in ein einziges Kontextfenster mit 131.000 Token eingegeben, und das Modell führt vor der Bewertung einen dokumentenübergreifenden Vergleich durch. Jina Reranker v3 erreicht auf BEIR einen nDCG@10-Wert von 61,94 und übertrifft damit bei einer sechsmal geringeren Größe das Modell. Damit unterscheidet es sich grundlegend von punktuellen Rerankern, die jedes Dokument isoliert bewerten, und liefert insbesondere beim Abrufen von Passagen aus einzelnen Dokumenten bessere Ergebnisse.

jina-clip-v2

Ein multimodales, mehrsprachiges Einbettungsmodell mit 0,9 Mrd. Parametern, das Text und Bilder in einen gemeinsamen Bereich mit 1.024 Dimensionen abbildet. Es unterstützt:

• 89 Sprachen für den Abruf von Texten und Bildern.

• 512 × 512 Bildauflösung.

• Texteingabe für 8.000 Token.

• Matroschka-Kürzung von 1.024 auf 64 Dimensionen für beide Modalitäten.

Sehr wettbewerbsfähig bei Bild-zu-Text-Benchmarks, einschließlich mehrsprachiger Aufgaben.

Erste Schritte

Jina Embeddings v3 ist ab heute auf Model Garden verfügbar. Hier erfahren Sie, wie es funktioniert.

Sie benötigen ein Google Cloud-Projekt, in dem die Vertex AI-API aktiviert ist und das über genügend GPU-Kontingent für mindestens eine g2-standard-8-Instanz (NVIDIA L4) verfügt. Wenn Sie noch keine Erfahrung mit Google Cloud haben, beginnen Sie mit dem Einrichtungsleitfaden.

Die Model Garden-Seite für Jina Embeddings v3 führt Sie durch den gesamten Ablauf: Laden Sie das Modell hoch, erstellen Sie einen Endpoint, wählen Sie Ihren Maschinentyp aus und führen Sie das Deployment durch. Öffnen Sie es in Ihrem eigenen Projekt und folgen Sie den Anweisungen. A100- und H100-Maschinen sind ebenfalls verfügbar, sofern Region und Kontingent dies zulassen, aber für den Anfang reicht L4 völlig aus.

Vom Klicken bis zur ersten Einbettung dauert der gesamte Vorgang nur wenige Minuten.

Was als Nächstes kommt

Jina Embeddings v3 ist der Ausgangspunkt. In den kommenden Wochen werden wir den Rest des Jina-Retrieval-Stacks in Model Garden integrieren: v5-Text-Embeddings (Small und Nano), jina-reranker-v3 sowie jina-clip-v2 für die multimodale Suche. Alle Modelle laufen auf einer einzigen L4-GPU mit demselben Self-Deployment-Modell.

Die Familie umfasst zwei Modelle:

• jina-embeddings-v5-text-small

• jina-embeddings-v5-text-nano

Diese Modelle sind das erfolgreiche Ergebnis eines innovativen neuen Trainingsverfahrens zum Einbetten von Modellen. Beide übertreffen um ein Vielfaches größere Modelle. Sie sparen Speicherplatz und Rechenressourcen und reagieren schneller auf Anfragen.

Das jina-embeddings-v5-text-small-Modell verfügt über 677 Millionen Parameter, unterstützt ein 32.768-Token-Eingangskontextfenster und erzeugt standardmäßig 1.024-Dimensionseinbettungen.

jina-embeddings-v5-text-nano ist nur etwa ein Drittel so groß wie sein Pendant, mit 239 Mio. Parametern und einem Eingangskontextfenster mit 8192 Token, was schlanke Einbettungen mit 768 Dimensionen ergibt.

Modellname

Gesamtgröße

Größe des Eingangskontextfensters

Einbettungsgröße

jina-v5-text-small

677 Mio. Parameter

32.768 Token

1024 Dimensionen

jina-v5-text-nano

239 Mio. Parameter

8192 Tokens

768 Dimensionen

Diese beiden Modelle sind hinsichtlich der Gesamtleistung des MMTEB (Multilingual MTEB)-Benchmarks die besten verfügbaren. Unter den Modellen mit weniger als 500 Millionen Parametern ist jina-embeddings-v5-text-nano trotz weniger als 250 Millionen Parametern der beste Performer, und das jina-embeddings-v5-text-small-Modell ist führend unter mehrsprachigen Einbettungsmodellen mit weniger als 750 Millionen Parametern.

Diese Modelle sind über den Elastic Inference Service (EIS), über eine Online-API und für lokales Hosting verfügbar. Anweisungen zum Zugriff auf jina-embeddings-v5-text-Modelle finden Sie im Abschnitt „Erste Schritte“ weiter unten.

Einbettungsmodelle und semantisches Indexieren erhöhen die Genauigkeit von Suchalgorithmen drastisch, haben aber auch eine Vielzahl anderer Einsatzmöglichkeiten für Aufgaben, die semantische Ähnlichkeit und Bedeutungsextraktion betreffen, zum Beispiel:

• Doppelte Texte finden.

• Paraphrasen und Übersetzungen erkennen.

• Themenfindung.

• Empfehlungssysteme.

• Stimmungs- und Absichtsanalyse.

• Spamfilterung.

• Und vieles mehr.

Features

Diese neue Modellfamilie verfügt über eine Reihe von Features zur Verbesserung der Relevanz und Kostensenkung.

Aufgabenoptimierung

Wir haben die jina-embeddings-v5-text-Modelle für vier breitgefächerte Aufgabentypen optimiert:

Aufgabe

Beispiel-Anwendungsfälle

Abruf

Suche mit natürlichsprachlichen Abfragen und Abrufen der relevantesten Treffer in einer Sammlung von Dokumenten.

Textabgleich

Semantische Ähnlichkeiten, Deduplizierung, Paraphrasierungs- und Übersetzungsabgleich und mehr.

Clustering

Themenfindung und automatische Organisation von Dokumentensammlungen.

Klassifizierung

Kategorisierung von Dokumenten, Stimmungs- und Absichtsanalysen, ähnliche Aufgaben.

Die Optimierung für eine Aufgabe bedeutet in der Regel, dass man bei einer anderen Aufgabe Kompromisse eingehen muss. Daher bieten die meisten Einbettungsmodelle nur für eine Art von Aufgabe eine wettbewerbsfähige Leistung. jina-embeddings-v5-text-Modelle können sich hingegen auf alle vier Bereiche spezialisieren, ohne Kompromisse einzugehen, indem sie aufgabenspezifische Low-Rank Adaptation (LoRA)-Adapter trainieren.

LoRA-Adapter sind gewissermaßen Plugins für KI-Modelle, die ihr Verhalten drastisch ändern, während sie die Gesamtgröße nur geringfügig erhöhen. Anstatt für jede Aufgabe ein komplettes Modell mit Hunderten Millionen Parametern zu verwenden, ermöglicht die jina-embeddings-v5-text-Modellfamilie die Nutzung eines einzigen Modells mit einem kompakten LoRA-Adapter für jede Aufgabe. Dadurch werden Speicher, Speicherplatz und Inferenzkosten gespart.

Kürzen von Einbettungen

Wir haben die jina-embeddings-v5-text-Modelle mit Matryoshka Representation Learning trainiert, das es Ihnen ermöglicht, Ihre Einbettungen auf kleinere Größen zu reduzieren, ohne die Qualität wesentlich zu beeinträchtigen.

Standardmäßig erzeugt jina-embeddings-v5-text-small Einbettungsvektoren in 1.024 Dimensionen, die jeweils durch eine 16-Bit-Zahl dargestellt werden, sodass jede Einbettung 2 KB groß ist. Für eine große Sammlung von Dokumenten kann dies eine Menge Daten zum Speichern bedeuten, und die Suche in einer Vektordatenbank voller Einbettungen fällt proportional zur Größe der Datenbank sowie zur Anzahl der Dimensionen aus, die jeder gespeicherte Vektor enthält.

Man kann aber einfach die Größe der Einbettungen halbieren (512 der 1.024 Dimensionen weglassen) und so den Speicherplatz halbieren und gleichzeitig die Suchgeschwindigkeit verdoppeln. Dies hat Auswirkungen auf die Leistung. Das Entfernen von Informationen verringert die Präzision. Aber wie der Graph unten zeigt, verringert sich die Leistung selbst dann nur geringfügig, wenn Sie die Hälfte der Einbettung weglassen:

Solange Ihre Einbettungen mindestens 256 Dimensionen haben, sollte der Präzisionsverlust relativ gering bleiben. Unterhalb dieses Niveaus nehmen Relevanz und Genauigkeit jedoch schnell ab.

Das Kürzen von Einbettungen auf diese Weise ermöglicht es Nutzern, ihre eigenen Kompromisse zwischen Genauigkeit und Rechenkosten zu bestimmen. Es bietet Ihnen die nötigen Tools, um große Effizienzgewinne und erhebliche Kosteneinsparungen aus Ihrer Such-KI zu erzielen.

Robuste Quantisierung

Quantisierung ist eine weitere Möglichkeit, um die Größe von Einbettungen zu reduzieren. Anstatt einen Teil jeder Einbettung zu entfernen, reduziert die Quantisierung die Präzision der Zahlen in der Einbettung. Die jina-embeddings-v5-text-Modelle generieren Einbettungen mit 16-Bit-Zahlen, doch diese Zahlen können abgerundet werden, wodurch ihre Präzision und die Anzahl der Bits, die zu ihrer Speicherung nötig sind, reduziert werden. Im Extremfall können wir jede Zahl auf ein Bit (0 oder 1) reduzieren und die standardmäßigen 1.024-dimensionalen Einbettungen von jina-embeddings-v5-textvon 2 Kilobyte auf 128 Byte komprimieren, was einer Reduzierung um 94 % durch alleinige binäre Quantisierung entspricht. Genau wie bei der Kürzung führt dies zu großen Einsparungen bei Speicherplatz und Rechenkosten. Jedoch sorgt die Quantisierung, ähnlich wie eine Kürzung, dafür, dass Einbettungen weniger genau ausfallen.

Wir haben die jina-embeddings-v5-text -Modelle darauf trainiert, mit Elasticsearchs Better Binary Quantization zu arbeiten, indem wir diesen Genauigkeitsverlust minimieren. Benchmark-Tests binarisierter Einbettungen aus diesen Modellen zeigen eine Leistung, die fast der ihrer nicht-binarisierten Äquivalente entspricht. Im technischen Bericht finden Sie detaillierte Ablationsstudien zur Binarisierungsleistung.

Mehrsprachige Leistung

Viele Einbettungsmodelle sind mehrsprachig, weil sie auf Materialien trainiert wurden, die eine große Anzahl von Sprachen enthalten. Das bedeutet jedoch nicht, dass sie in allen unterstützten Sprachen gleich gut funktionieren.

Wir haben 211 Sprachen im MMTEB-Mehrsprachen-Benchmark identifiziert und sie getrennt, um unsere Modelle mit ähnlichen Modellen auf Sprachbasis vergleichen zu können. Die folgende Abbildung fasst unsere Ergebnisse als Heatmap zusammen. Jedes Feld stellt eine Sprache dar (identifiziert durch ihren ISO-639-Code). Je grüner es ist, desto besser hat das Modell im Vergleich zum Durchschnitt ähnlicher Modelle abgeschnitten:

Obwohl die Genauigkeit zwischen Sprachen variiert, sind die jina-embeddings-v5-text-Modelle in den meisten Sprachen weltweit auf dem neuesten Stand der Technik oder nahezu so weit.

Details zur mehrsprachigen Leistung finden Sie im technischen Bericht jina-embeddings-v5-text.

Jina in Elastic: Hochmoderne native KI für die Suche

Mit jina-embeddings-v5-text-Modellen auf EIS können Sie leistungsstarke, mehrsprachige Einbettungsmodelle nativ in Elasticsearch ausführen, mit vollständig verwalteter, GPU-beschleunigter Inferenz und ohne Infrastruktur zur Bereitstellung oder Skalierung. jina-embeddings-v5-text-Modelle erweitern den wachsenden EIS-Modellkatalog mit kompakten, mehrsprachigen Modellen, die von den neuesten Entwicklungen im Bereich der KI angetrieben werden. Diese Modelle weisen eine herausragende Leistung bei der Informationswiedergewinnung und Standard-Datenanalyse-Benchmarks auf und bieten eine unübertroffene, weltweite Unterstützung in mehreren Sprachen.

Mit zwei Modellen in deutlich unterschiedlichen Größen können die Nutzer entscheiden, welches am besten zu ihren Anwendungsbereichen und ihrem Budget passt. Darüber hinaus bieten jina-embeddings-v5-text -Modelle mit robusten Einbettungen, die auch bei Verkleinerung der Größe oder Quantisierung auf eine geringere Genauigkeit leistungsfähig bleiben, Möglichkeiten für weitere konkrete Einsparungen bei Speicher- und Rechenkosten sowie bei der Verarbeitungslatenz.

Mit der jina-embeddings-v5-text-Familie, Jina Reranker und Elastics schneller Vektor- und BM25-Suche haben Nutzer nun Zugang zu einer End-to-End-Hybridsuche von Elastic. Wenn Sie die relevantesten Ergebnisse benötigen – sei es für Retrieval Augmented Generation (RAG) Pipelines, Suchanwendungen oder Datenanalysen – bietet Elastic mit den Such-KI-Modellen von Jina solide und kosteneffiziente Qualität.

Erste Schritte

Die jina-embeddings-v5-text-Modelle sind vollständig in EIS integriert und können durch Einstellen des typeFelds fürsemantic_text verwendet werden, um Ihren Index zu erstellen und das Modell (jina-embeddings-v5-text-small oder jina-embeddings-v5-text-nano) im inference_idFeld zu spezifizieren, wie an diesem Beispiel zu sehen ist:

Elasticsearch wählt während des Indexierens und des Abrufs automatisch den entsprechenden LoRA-Adapter aus. Die Einbettungsdimensionen (siehe Abschnitt „Kürzen von Einbettungen“ oben) können festgelegt werden, wenn ein benutzerdefinierter Inferenz-Endpoint erstellt wird.

In der Elasticsearch-Dokumentation finden Sie weitere Informationen zur Nutzung vonjina-embeddings-v5-textModellen.

Weitere Informationen

Um mehr über jina-embeddings-v5-text-Modelle zu erfahren, lesen Sie die Versionshinweise im Jina AI-Blog und den technischen Bericht mit detaillierteren technischen Informationen zur Leistung und zum innovativen neuen Trainingsverfahren von Jina AI. Informationen zum lokalen Herunterladen und Betrieb dieser Modelle finden Sie auf der Seite der jina-embeddings-v5-text-Sammlung auf Hugging Face.

Die Jina AI-Modelle stehen unter einer CC-BY-NC-4.0-Lizenz zur Verfügung. Sie können sie also kostenlos herunterladen und ausprobieren. Für die kommerzielle Nutzung wenden Sie sich bitte an den Elastic-Vertrieb.

Jina-Modelle lassen sich in drei Hauptkategorien einteilen, die zur Unterstützung der Informationsverarbeitung, Organisation und den Informationsabruf entwickelt wurden:

• Semantische Einbettungsmodelle

• Reranking-Modelle

• Kleine generative Sprachmodelle

Semantische Einbettungsmodelle

Die Idee hinter semantischen Einbettungen ist, dass ein KI-Modell lernen kann, Aspekte der Bedeutung seiner Eingaben in Bezug auf die Geometrie hochdimensionaler Räume darzustellen.

Sie können sich eine semantische Einbettung als einen Punkt (technisch gesehen einen Vektor) in einem hochdimensionalen Raum vorstellen. Ein Einbettungsmodell ist ein neuronales Netz, das digitale Daten als Eingabe aufnimmt (potenziell alles, aber meist Text oder Bild) und die Position eines entsprechenden hochdimensionalen Punktes als numerische Koordinaten ausgibt. Wenn das Modell seine Aufgabe gut erfüllt, ist der Abstand zwischen zwei semantischen Einbettungen proportional dazu, wie sehr ihre entsprechenden digitalen Objekte dieselbe Bedeutung haben.

Um zu verstehen, wie wichtig das für Suchanwendungen ist, stellen Sie sich eine Einbettung für das Wort „dog“ und eine für das Wort „cat“ als Punkte im Raum vor:

Ein gutes Einbettungsmodell sollte eine Einbettung für das Wort „feline“ generieren, die viel näher an „cat“ als an „dog“ liegt, und „canine“ sollte eine Einbettung haben, die viel näher an „dog“ als an „cat“ liegt, weil diese Wörter fast dasselbe bedeuten:

Wenn ein Modell mehrsprachig ist, würden wir dasselbe für Übersetzungen von „cat“ und „dog“ erwarten:

Einbettungsmodelle übersetzen Ähnlichkeiten oder Unterschiede in der Bedeutung zwischen Dingen in räumliche Beziehungen zwischen Einbettungen. Die Bilder oben haben nur zwei Dimensionen, sodass Sie sie auf einem Bildschirm sehen können, aber das Einbetten von Modellen erzeugt Vektoren mit Dutzenden bis Tausenden von Dimensionen. Dies ermöglicht es ihnen, die Feinheiten der Bedeutung ganzer Texte zu kodieren, indem sie einen Punkt in einem Raum mit Hunderten oder Tausenden von Dimensionen für Dokumente mit Tausenden von Wörtern oder mehr zuweisen.

Multimodale Einbettungen

Multimodale Modelle erweitern das Konzept der semantischen Einbettung auf andere Dinge als Texte, insbesondere auf Bilder. Wir würden erwarten, dass eine Einbettung für ein Bild nahe an einer Einbettung einer getreuen Beschreibung des Bildes liegt:

Semantische Einbettungen haben viele Einsatzmöglichkeiten. Unter anderem können Sie sie verwenden, um effiziente Klassifikatoren zu erstellen, Clustering durchzuführen und eine Vielzahl von Aufgaben zu erledigen, wie z. B. die Deduplizierung von Daten und die Untersuchung der Datendiversität. Beides ist wichtig für Big-Data-Anwendungen, bei denen mit zu vielen Daten gearbeitet wird, um sie manuell zu verwalten.

Die größte direkte Anwendung von Einbettungen ist der Informationsabruf. Elasticsearch kann Abrufobjekte mit Einbettungen als Schlüssel speichern. Abfragen werden in Einbettungsvektoren umgewandelt, und eine Suche gibt die gespeicherten Objekte zurück, deren Schlüssel den Abfrage-Einbettungen am nächsten sind.

Bei der traditionellen vektorbasierten Suche (manchmal auch als Sparse Vector Retrieval bezeichnet) werden Vektoren verwendet, die auf Wörtern oder Metadaten in Dokumenten und Anfragen basieren. Die einbettungsbasierte Suche (auch bekannt als Dense Vector Retrieval) verwendet hingegen KI-bewertete Bedeutungen anstelle von Wörtern. Dadurch sind sie im Allgemeinen wesentlich flexibler und genauer als herkömmliche Suchmethoden.

Matryoshka-Darstellungslernen

Die Anzahl der Dimensionen, die eine Einbettung hat, und die Präzision der darin enthaltenen Zahlen haben erhebliche Auswirkungen auf die Leistung. Äußerst hochdimensionale Räume und extrem hochpräzise Zahlen können sehr detaillierte und komplexe Informationen darstellen, erfordern aber größere KI-Modelle, deren Training und Nutzung teurer sind. Die erzeugten Vektoren benötigen mehr Speicherplatz, und es braucht mehr Rechenzyklen, um die Abstände zwischen ihnen zu berechnen. Bei der Verwendung semantischer Einbettungsmodelle müssen wichtige Kompromisse zwischen Präzision und Ressourcenverbrauch eingegangen werden.

Um die Flexibilität für die Nutzer zu maximieren, werden Jina-Modelle mit einer Technik namens Matryoshka Representation Learning trainiert. Dies führt dazu, dass die Modelle die wichtigsten semantischen Unterscheidungen in die ersten Dimensionen des Einbettungsvektors vorladen, sodass man die höheren Dimensionen einfach abschneiden und trotzdem eine gute Leistung erzielen kann.

In der Praxis bedeutet das, dass Nutzer von Jina-Modellen wählen können, wie viele Dimensionen ihre Einbettungen haben sollen. Die Wahl von weniger Dimensionen verringert die Präzision, der Leistungsverlust ist jedoch gering. Bei den meisten Aufgaben sinken die Leistungskennzahlen für Jina-Modelle um 1 bis 2 %, wenn man die Einbettungsgröße um 50 % reduziert, bis hin zu einer Reduzierung um etwa 95 %.

Asymmetrischer Informationsabruf

Semantische Ähnlichkeit wird normalerweise symmetrisch gemessen. Der Wert, den man beim Vergleich von „cat“ mit „dog“ erhält, ist derselbe wie der Wert, den man beim Vergleich von „dog“ mit „cat“ erhält. Bei der Verwendung von Einbettungen für den Informationsabruf funktionieren diese jedoch besser, wenn man die Symmetrie aufhebt und Anfragen anders kodiert als die zu kodierenden Objekte.

Das liegt an der Art, wie wir Einbettungsmodelle trainieren. Die Trainingsdaten enthalten Instanzen der gleichen Elemente, wie z. B. Wörter, in vielen verschiedenen Kontexten. Die Modelle lernen die Semantik, indem sie die kontextuellen Ähnlichkeiten und Unterschiede zwischen den Elementen vergleichen.

So könnten wir beispielsweise feststellen, dass das Wort „animal“ nicht in sehr vielen der gleichen Kontexte wie „cat“ oder „dog“ vorkommt, und daher ist die Einbettung für „animal“ möglicherweise nicht besonders nahe an der von „cat“ oder „dog“:

Dies macht es unwahrscheinlicher, dass eine Abfrage nach „animal“ Dokumente über Katzen und Hunde zurückgibt – das Gegenteil unseres Ziels. Deshalb kodieren wir „Tier“ anders, wenn es sich um eine Suchanfrage handelt, als wenn es ein Ziel für den Informationsabruf ist:

Asymmetrischer Informationsabruf bedeutet, ein anderes Modell für Abfragen zu verwenden oder ein Einbettungsmodell speziell zu trainieren, um Dinge auf eine bestimmte Weise zu kodieren, wenn sie für den Abruf gespeichert sind, und Abfragen auf eine andere Weise zu kodieren.

Multivektor-Einbettungen

Einzelne Einbettungen sind gut für die Informationsabfrage, da sie in das grundlegende Framework einer indizierten Datenbank passen: Wir speichern Objekte für die Abfrage mit einem einzelnen Einbettungsvektor als deren Abfrageschlüssel. Wenn Nutzer den Dokumentenspeicher abfragen, werden ihre Abfragen in Einbettungsvektoren übersetzt und die Dokumente, deren Schlüssel der Abfrage-Einbettung am nächsten sind (im hochdimensionalen Einbettungsraum), werden als Kandidatenmatches abgerufen.

Multivektor-Einbettungen funktionieren etwas anders. Anstatt einen Vektor mit fester Länge zu erzeugen, um eine Abfrage und ein ganzes gespeichertes Objekt darzustellen, erzeugen sie eine Folge von Einbettungen, die kleinere Teile davon repräsentieren. Die einzelnen Teile sind typischerweise Tokens oder Wörter für Texte und Bildkacheln für visuelle Daten. Diese Einbettungen spiegeln die Bedeutung des Teils in seinem Kontext wider.

Betrachten wir zum Beispiel die folgenden Sätze:

• Sie hatte ein Herz aus Gold.

• Sie hatte einen Herzenswandel.

• Sie hatte einen Herzinfarkt.

Oberflächlich betrachtet sehen sie sehr ähnlich aus, aber ein Multivektor-Modell würde wahrscheinlich sehr unterschiedliche Einbettungen für jede Instanz von „Herz“ generieren, was darstellt, wie jede im Kontext des gesamten Satzes etwas anderes bedeutet:

Der Vergleich zweier Objekte anhand ihrer Multivektor-Einbettungen beinhaltet oft die Messung ihres Chamfer-Abstands: der Vergleich jedes Teils einer Multivektor-Einbettung mit jedem Teil einer anderen und die Summierung der minimalen Abstände zwischen ihnen. Andere Systeme, einschließlich des unten beschriebenen Jina Rerankers, geben sie in ein KI-Modell ein, das speziell für die Bewertung ihrer Ähnlichkeit trainiert wurde. Beide Ansätze haben in der Regel eine höhere Präzision als der Vergleich von Einzeleinbettungen, da Einbettungen mit mehreren Vektoren viel detailliertere Informationen enthalten als solche mit einem Vektor.

Allerdings eignen sich Multivektor-Einbettungen nicht gut zum Indexieren. Sie werden häufig bei Neubewertungsaufgaben verwendet, wie im nächsten Abschnitt für das Modell jina-colbert-v2 beschrieben.

Jina-Einbettungsmodelle

Jina-Einbettungen – v4

jina-embeddings-v4 ist ein 3,8 Milliarden (3,8x10⁹) Parameter umfassendes mehrsprachiges und multimodales Einbettungsmodell, das Bilder und Texte in einer Vielzahl weit verbreiteter Sprachen unterstützt. Es verwendet eine neuartige Architektur, um visuelle Kenntnisse und Sprachkenntnisse zu nutzen, um die Leistung bei beiden Aufgaben zu verbessern, sodass es beim Abrufen von Bildern und insbesondere beim visuellen Abrufen von Dokumenten hervorragende Leistungen erbringt. Das bedeutet, dass es Bilder wie Diagramme, Dias, Karten, Screenshots, Seitenscans und Diagramme verarbeitet – gängige Bildtypen, oft mit wichtigem eingebettetem Text, die außerhalb des Bereichs von Computer-Vision-Modellen fallen, die auf Bildern realer Szenen trainiert sind.

Wir haben dieses Modell mithilfe kompakter Low-Rank Adaptation (LoRA)-Adapter für verschiedene Aufgaben optimiert. Dadurch können wir ein einzelnes Modell trainieren, um sich auf mehrere Aufgaben zu spezialisieren, ohne bei einer davon die Leistung zu beeinträchtigen – mit minimalen zusätzlichen Kosten für Speicher oder Verarbeitung.

Zu den wichtigsten Funktionen gehören:

• Spitzenleistung beim visuellen Dokumentenabruf sowie eine mehrsprachige Text- und Bildverarbeitungsleistung, die deutlich größere Modelle übertrifft.

• Unterstützung für große Eingabekontextgrößen: 32.768 Tokens entsprechen ungefähr 80 Seiten doppeltzeiligem englischen Text, und 20 Megapixel entsprechen einem Bild von 4.500 x 4.500 Pixeln.

• Vom Nutzer ausgewählte Einbettungsgrößen, von maximal 2048 Dimensionen bis zu 128 Dimensionen. Wir haben empirisch festgestellt, dass die Leistung unterhalb dieser Schwelle dramatisch abnimmt.

• Unterstützung für sowohl einzelne Einbettungen als auch Multivektor-Einbettungen. Für Texte besteht die Multivektor-Ausgabe aus einer 128-dimensionalen Einbettung für jedes Eingabetoken. Für Bilder erzeugt es eine 128-dimensionale Einbettung für jede 28x28 Pixel große Kachel, die zur Abdeckung des Bildes benötigt wird.

• Optimierung für asymmetrischen Datenabruf mittels eines Paares von LoRA-Adaptern, die speziell für diesen Zweck trainiert wurden.

• Ein LoRA-Adapter, optimiert für die Berechnung semantischer Ähnlichkeit.

• Spezielle Unterstützung für Programmiersprachen und IT-Frameworks, ebenfalls über einen LoRA-Adapter.

Wir haben jina-embeddings-v4 als allgemeines Mehrzweckwerkzeug für eine breite Palette gängiger Such-, Sprachverarbeitungs- und KI-Analyseaufgaben entwickelt. Es handelt sich im Verhältnis zu seinen Fähigkeiten um ein relativ kleines Modell, dessen Bereitstellung jedoch erhebliche Ressourcen erfordert und das sich am besten für die Nutzung über eine Cloud-API oder in einer Umgebung mit hohem Datenaufkommen eignet.

Jina-Einbettungen – v3

jina-embeddings-v3 ist ein kompaktes, leistungsstarkes, mehrsprachiges, ausschließlich textbasiertes Einbettungsmodell mit weniger als 600 Millionen Parametern. Es unterstützt bis zu 8192 Texteingabetoken und liefert Einzelvektor-Einbettungen mit vom Nutzer gewählten Größen von einem Standard von 1024 Dimensionen bis zu 64 als Ausgabe.

Wir haben jina-embeddings-v3 für eine Vielzahl von Textaufgaben trainiert – nicht nur für den Informationsabruf und die semantische Ähnlichkeit, sondern auch für Klassifikationsaufgaben wie die Sentiment-Analyse und Inhaltsmoderation sowie für Clustering-Aufgaben wie die Nachrichtenaggregation und -empfehlung. Wie jina-embeddings-v4 bietet auch dieses Modell LoRA-Adapter, die auf die folgenden Nutzungskategorien spezialisiert sind:

• Asymmetrischer Informationsabruf

• Semantische Ähnlichkeit

• Klassifizierung

• Clustering

jina-embeddings-v3 ist ein deutlich kleineres Modell als jina-embeddings-v4 mit einer deutlich reduzierten Eingabekontextgröße, aber es ist günstiger in der Nutzung. Dennoch bietet es eine sehr wettbewerbsfähige Leistung, wenn auch nur für Texte, und ist für viele Anwendungsfälle eine bessere Wahl.

Jina Code-Einbettungen

Die spezialisierten Code-Einbettungsmodelle von Jina – jina-code-embeddings (0.5b und 1.5b) – unterstützen 15 Programmierschemata und Frameworks sowie englischsprachige Texte aus dem Bereich Informatik und Informationstechnologie. Es handelt sich um kompakte Modelle mit einer halben Milliarde (0,5x10⁹) bzw. eineinhalb Milliarden (1,5x10⁹) Parametern. Beide Modelle unterstützen Eingabekontextgrößen von bis zu 32.768 Token und ermöglichen es den Nutzern, ihre Ausgabe-Einbettungsgrößen auszuwählen, von 896 bis 64 Dimensionen für das kleinere Modell und 1536 bis 128 für das größere.

Diese Modelle unterstützen asymmetrische Abrufe für fünf aufgabenspezifische Spezialisierungen, wobei Präfixabstimmung statt LoRA-Adapter verwendet wird:

• Code zu Code. Ähnlichen Code in verschiedenen Programmiersprachen abrufen. Dies wird für die Code-Ausrichtung, Code-Deduplizierung sowie die Unterstützung von Portierung und Refactoring verwendet.

• Natürliche Sprache zu Code. Abrufen von Code, um Abfragen, Kommentare, Beschreibungen und Dokumentation in natürlicher Sprache abzugleichen.

• Code zu natürlicher Sprache. Vergleichen des Codes mit der Dokumentation oder anderen Texten in natürlicher Sprache.

• Code-zu-Code-Vervollständigung. Vorschlag von relevantem Code, um bestehenden Code zu ergänzen oder zu verbessern.

• Technische Fragen und Antworten. Identifizierung von Antworten in natürlicher Sprache auf Fragen zu Informationstechnologien, ideal geeignet für Anwendungsfälle im technischen Support.

Diese Modelle bieten eine überlegene Leistung für Aufgaben, die Computerdokumentation und Programmiermaterialien erfordern, bei relativ geringen Rechenkosten. Sie eignen sich hervorragend für die Integration in Entwicklungsumgebungen und Code-Assistenten.

Jina ColBERT v2

jina-colbert-v2 ist ein Multivektor-Texteinbettungsmodell mit 560 Millionen Parametern. Es ist mehrsprachig, mit Materialien in 89 Sprachen trainiert und unterstützt variable Einbettungsgrößen sowie asymmetrischen Informationsabruf.

Wie bereits erwähnt, sind Multivektor-Einbettungen schlecht für das Indexieren geeignet, aber sehr nützlich, um die Genauigkeit von Ergebnissen anderer Suchstrategien zu erhöhen. Mit jina-colbert-v2können Sie Multivektor-Einbettungen im Voraus berechnen und sie dann verwenden, um Abrufkandidaten zur Abfragezeit neu zu ordnen. Dieser Ansatz ist weniger präzise als die Verwendung eines der Reranking-Modelle im nächsten Abschnitt, aber viel effizienter, da er nur den Vergleich gespeicherter Multivektor-Einbettungen beinhaltet, anstatt das gesamte KI-Modell für jede Abfrage und jedes Kandidatenmatch aufzurufen. Es eignet sich ideal für Anwendungsfälle, in denen die Latenz und der Rechenaufwand durch die Nutzung von Reranking-Modellen zu groß sind oder die Anzahl der Kandidaten zum Vergleich zu groß für das Reranking von Modellen ist.

Dieses Modell gibt eine Folge von Einbettungen aus – eine pro Eingabetoken – und Nutzer können Token-Einbettungen aus 128-, 96- oder 64-dimensionalen Einbettungen auswählen. Kandidaten-Textmatches sind auf 8.192 Token begrenzt. Abfragen werden asymmetrisch kodiert, daher müssen Nutzer angeben, ob ein Text eine Abfrage oder ein Kandidatenmatch ist, und die Abfragen auf 32 Token begrenzen.

Jina CLIP v2

jina-clip-v2 ist ein multimodales Einbettungsmodell mit 900 Millionen Parametern, das so trainiert wurde, dass Texte und Bilder Einbettungen erzeugen, die nahe beieinander liegen, wenn der Text den Inhalt des Bildes beschreibt. Es dient in erster Linie zum Abrufen von Bildern auf der Grundlage von Textabfragen, ist aber auch ein leistungsstarkes reines Textmodell, das die Nutzerkosten senkt, da Sie keine separaten Modelle für Text-zu-Text- und Text-zu-Bild-Abfragen benötigen.

Dieses Modell unterstützt einen Texteingabekontext von 8.192 Tokens, und Bilder werden vor der Einbettung auf 512x512 Pixel skaliert.

CLIP-Architekturen („Contrastive Language-Image Pretraining“) sind einfach zu trainieren und zu bedienen und können sehr kompakte Modelle erzeugen, aber sie haben einige grundlegende Einschränkungen. Sie können ihr Wissen aus einem Medium nicht nutzen, um ihre Leistung in einem anderen zu verbessern. Sie können nicht ein Medium nutzen, um ihre Leistung in einem anderen zu verbessern. Obwohl das System also wissen mag, dass die Wörter „dog“ und „cat“ in ihrer Bedeutung näher beieinander liegen als jedes von ihnen bei „car“, weiß es nicht unbedingt, dass ein Bild von einem Hund und ein Bild von einer Katze enger miteinander verwandt sind als jedes von ihnen bei einem Bild von einem Auto.

Sie leiden auch unter der sogenannten Modalitätslücke: Die Einbettung eines Textes über Hunde ist wahrscheinlich näher an der Einbettung eines Textes über Katzen als an der Einbettung eines Bildes von Hunden. Aufgrund dieser Einschränkung empfehlen wir, CLIP entweder als Text-zu-Bild-Abfragemodell oder als reines Textmodell zu verwenden, jedoch nicht beide in einer einzigen Abfrage zu vermischen.

Reranking-Modelle

Reranking-Modelle nehmen ein oder mehrere Kandidatenmatches zusammen mit einer Abfrage als Eingabe für das Modell und vergleichen sie direkt, wodurch deutlich präzisere Übereinstimmungen entstehen.

Grundsätzlich könnte man einen Reranker direkt für die Informationsabfrage verwenden, indem man jede Abfrage mit jedem gespeicherten Dokument vergleicht, dies wäre jedoch sehr rechenintensiv und für alle außer den kleinsten Sammlungen unpraktisch. Daher werden Reranker tendenziell zur Bewertung relativ kurzer Listen von Kandidatenmatches verwendet, die mit anderen Mitteln gefunden wurden, wie z. B. durch einbettungsbasierte Suche oder andere Algorithmen für den Informationsabruf. Reranking-Modelle eignen sich ideal für hybride und föderierte Suchverfahren, bei denen eine Suche bedeuten kann, dass Anfragen an separate Suchsysteme mit unterschiedlichen Datensätzen gesendet werden, die jeweils unterschiedliche Ergebnisse liefern. Sie sind sehr gut darin, vielfältige Ergebnisse zu einem einzigen, hochwertigen Ergebnis zu vereinen.

Die auf Einbettungen basierende Suche kann eine große Herausforderung darstellen, da sie eine Neuindizierung aller gespeicherten Daten erfordert und die Erwartungen der Nutzer an die Ergebnisse verändert. Wenn Sie einen Reranker zu einem bestehenden Suchschema hinzufügen, können Sie viele der Vorteile von KI nutzen, ohne Ihre gesamte Suchlösung neu zu entwickeln.

Jina-Reranker-Modelle

Jina Reranker m0

jina-reranker-m0 ist ein multimodaler Reranker mit 2,4 Milliarden (2,4x10⁹) Parametern, der Textanfragen und Kandidatenmatches aus Texten und/oder Bildern unterstützt. Es ist das führende Modell für die visuelle Dokumentensuche und somit eine ideale Lösung für Sammlungen von PDFs, Scans von Texten, Screenshots und anderen computergenerierten oder modifizierten Bildern, die Text oder andere semistrukturierte Informationen enthalten, sowie für gemischte Daten, die aus Textdokumenten und Bildern bestehen.

Dieses Modell nimmt eine einzelne Abfrage und einen Kandidatenmatch entgegen und gibt einen Score zurück. Wenn dieselbe Abfrage mit verschiedenen Kandidaten verwendet wird, sind die Scores vergleichbar und können zur Rangfolge herangezogen werden. Es unterstützt eine gesamte Eingabegröße von bis zu 10.240 Tokens, einschließlich des Anfragetextes und des Kandidatentextes oder -bildes. Jede 28x28 Pixel große Kachel, die zum Abdecken eines Bildes benötigt wird, zählt als Token zur Berechnung der Eingabegröße.

Jina Reranker v3

jina-reranker-v3 ist ein Text-Reranker mit 600 Millionen Parametern und modernster Leistung für Modelle vergleichbarer Größe. Im Gegensatz zu jina-reranker-m0 nimmt er eine einzelne Abfrage und eine Liste von bis zu 64 Kandidatenübereinstimmungen und gibt die Rangfolge zurück. Es hat einen Eingabekontext von 131.000 Token, einschließlich der Abfrage und aller Textkandidaten.

Jina Reranker v2

jina-reranker-v2-base-multilingual ist ein äußerst kompakter, universeller Reranker mit zusätzlichen Features, die Funktionsaufrufe und SQL-Abfragen unterstützen. Mit weniger als 300 Millionen Parametern bietet er ein schnelles, effizientes und genaues mehrsprachiges Text-Reranking mit zusätzlicher Unterstützung für die Auswahl von SQL-Tabellen und externen Funktionen, die Textabfragen entsprechen, wodurch es sich für agentenbasierte Anwendungsfälle eignet.

Kleine generative Sprachmodelle

Generative Sprachmodelle sind Modelle wie ChatGPT von OpenAI, Google Gemini und Claude von Anthropic, die Text- oder Multimedia-Eingaben aufnehmen und mit Textausgaben antworten. Es gibt keine klar definierte Grenze, die große Sprachmodelle (LLMs) von kleinen Sprachmodellen (SLMs) unterscheidet, aber die praktischen Probleme bei der Entwicklung, dem Betrieb und der Nutzung von Top-LLMs sind wohlbekannt. Die bekanntesten werden nicht öffentlich verbreitet, daher können wir ihre Größe nur schätzen, aber es wird erwartet, dass ChatGPT, Gemini und Claude im Bereich von 1 bis 3 Billionen (1–3x10¹²) Parametern liegen.

Das Ausführen dieser Modelle – selbst wenn sie öffentlich verfügbar sind – geht weit über den Umfang herkömmlicher Hardware hinaus und erfordert die fortschrittlichsten Chips, die in riesigen parallelen Arrays angeordnet sind. Der Zugriff auf LLMs ist über kostenpflichtige APIs möglich, dies verursacht jedoch erhebliche Kosten, führt zu einer hohen Latenz und lässt sich nur schwer mit den Anforderungen an Datenschutz, digitale Souveränität und Cloud-Repatriierung vereinbaren. Außerdem können die Kosten für das Training und die Anpassung von Modellen dieser Größe beträchtlich sein.

Aus diesem Grund wurde viel Forschung in die Entwicklung kleinerer Modelle gesteckt, die vielleicht nicht alle Fähigkeiten der größten LLMs haben, aber bestimmte Aufgaben genauso gut erledigen können, und das zu geringeren Kosten. Unternehmen setzen Software in der Regel ein, um spezifische Probleme zu lösen, und KI-Software bildet da keine Ausnahme. Daher sind SLM-basierte Lösungen oft LLM-basierten Lösungen vorzuziehen. Sie können üblicherweise auf Standardhardware laufen, sind schneller, verbrauchen weniger Energie und lassen sich viel leichter anpassen.

Das SLM-Angebot von Jina wächst, da wir uns darauf konzentrieren, wie wir KI am besten in praktische Suchlösungen integrieren können.

Jina SLMs

ReaderLM v2

ReaderLM-v2 ist ein generatives Sprachmodell, das HTML gemäß benutzerdefinierten JSON-Schemata und natürlichen Sprachanweisungen in Markdown oder JSON umwandelt.

Datenvorverarbeitung und -normalisierung sind ein wesentlicher Bestandteil der Entwicklung guter Suchlösungen für digitale Daten, aber reale Daten, insbesondere webbasierte Informationen, sind oft chaotisch, und einfache Umwandlungsstrategien erweisen sich häufig als sehr zerbrechlich. Stattdessen bietet ReaderLM-v2 eine intelligente KI-Modelllösung, die das Chaos eines DOM-Tree-Dumps einer Webseite verstehen und nützliche Elemente robust identifizieren kann.

Mit 1,5 Milliarden (1,5x10⁹) Parametern ist es drei Größenordnungen kompakter als modernste LLMs, leistet aber bei dieser einen engen Aufgabe auf Augenhöhe.

Jina VLM

jina-vlm ist ein generatives Sprachmodell mit 2,4 Milliarden (2,4x10⁹) Parametern, das darauf trainiert wurde, natürlichsprachliche Fragen zu Bildern zu beantworten. Es bietet eine sehr starke Unterstützung für die visuelle Dokumentenanalyse, d. h. für die Beantwortung von Fragen zu Scans, Screenshots, Folien, Diagrammen und ähnlichen nicht natürlichen Bilddaten.

Zum Beispiel:

Es ist auch sehr gut darin, Text in Bildern zu lesen:

Die wahre Stärke von jina-vlm liegt jedoch im Verständnis des Inhalts von informativen und von Menschen erstellten Bildern:

Oder:

jina-vlm ist gut geeignet für die automatische Generierung von Bildunterschriften, Produktbeschreibungen, Alternativtexten für Bilder und Barrierefreiheitsanwendungen für Sehbehinderte. Es schafft zudem Möglichkeiten für RAG-Systeme („Retrieval-Augmented-Generation“), visuelle Informationen zu verwenden, und für KI-Agenten, Bilder ohne menschliche Unterstützung zu verarbeiten.