On-Prem in weniger als 5 Minuten: Jina-Einbettungsmodelle jetzt für On-Prem-Deployment verfügbar

Alle 28 Einbettungs- und Reranking-Modelle von Jina AI werden nun als vollständig offline nutzbare Docker-Container für das On-Prem-Deployment bereitgestellt, darunter jina-embeddings-v5-omni sowie jina-reranker-v3. Laden Sie ein Modell herunter, übertragen Sie es auf ein lokales Air-Gap- oder durch eine Firewall geschütztes System und schon wird die lokale Inferenz in weniger als fünf Minuten ausgeführt. Die Container sind komplett eigenständig und weisen keine externen Verbindungen auf. Es erfolgt kein Aufruf von Hugging Face oder einer anderen Modell-Registrierungsstelle. Zudem gibt es weder einen Lizenzserver noch Telemetrie- oder Logging-Endpoints. In regulierten Branchen, bei Anforderungen an die Datensouveränität oder in Umgebungen, in denen der Internetzugang unzuverlässig oder gar nicht verfügbar ist, entfällt dadurch die Abhängigkeit von KI-Diensten von Drittanbietern. Jina On-Prem unterstützt die Schemata von Elastic Inference Service (EIS), OpenAI, Cohere, Voyage AI und Gemini API, sodass bestehende Anwendungen ohne Codeänderungen funktionieren.

Die leistungsstärksten KI-Modelle werden auf externen Cloud-Installationen mit Zugriff über eine Web-API ausgeführt, was bedeutet, dass Sie Ihrem KI-Dienstanbieter in Bezug auf Sicherheit, Verfügbarkeit und stabile Preise vertrauen müssen. Sie können die berechtigten Anforderungen an Zuverlässigkeit, Datenschutz, überschaubare Kosten und eine gute Data Governance nicht ohne Weiteres mit dem Einsatz von KI in Einklang bringen, die immer leistungsfähiger, ausgefeilter und ressourcenintensiver wird.

Regierungsvorschriften, Gerichtsurteile und geschäftliche Erwägungen, die im Interesse Dritter getroffen wurden, haben in jüngster Zeit dazu geführt, dass der Zugang zu bestimmten Diensten eingeschränkt wurde. Und selbst wenn ein Wechsel zu anderen Diensten möglich ist, sind KI-Modelle keine Komponenten, die sich einfach nach Belieben austauschen lassen. Anwendungen, die semantische Einbettungen nutzen, sind darauf angewiesen, zum Zeitpunkt der Abfrage Zugriff auf dieselben Modelle wie zum Zeitpunkt der Daten-Ingestion zu erhalten. Den Zugriff auf das Einbettungsmodell zu verlieren bedeutet, dass Ihr Suchsystem zum Stillstand kommt.

KI-Preismodelle verstärken dieses Risiko noch. Die jüngsten Finanzberichte großer KI-Anbieter geben den Kunden guten Grund zur Sorge vor möglichen Preiserhöhungen. Die Abhängigkeit von Produkten mit unvorhersehbaren Kosten erhöht das Risiko kapitalintensiver KI-Investitionen, die möglicherweise keine eindeutigen Renditen erzielen.

Jina On-Prem ist die Antwort von Elastic auf diese Herausforderungen.

Wer benötigt On-Prem-KI?

Lokales Hosting und die direkte Kontrolle über Ihre KI-Modelle unterstützen eine Vielzahl technischer Anforderungen, Branchenvorgaben und geschäftlicher Interessen.

Durch eine lokale Installation sinken zwar die Kosten für Ihre KI-Dienstanbieter, allerdings fallen die Kosten für die Hardware und einen zuverlässigen Zugang nun zu Lasten Ihres Unternehmens. Je nach Nutzungsumfang kann es durchaus günstiger sein. Doch es gibt noch weitere dringende Gründe, die für den Betrieb einer eigenen KI sprechen. Sollte eines der unten beschriebenen Probleme auf Ihr Unternehmen zutreffen, sollten Sie eine lokale KI-Lösung wie Jina On-Prem in Betracht ziehen. Diese Liste erhebt keinen Anspruch auf Vollständigkeit.

Warum Air-Gap- und firewallgeschützte Systeme On-Prem-KI benötigen

Air-Gap- und durch eine Firewall geschützte Systeme können keine externen KI-APIs verwenden. Jina On-Prem wird vollständig innerhalb Ihrer Infrastruktur ohne ausgehende Verbindungen ausgeführt.

Für Unternehmen, die besonders sensible Daten verwalten, sind Sicherheits- und Datenschutzaspekte von größter Bedeutung. Es nützt wenig, in den Schutz Ihrer sensiblen Daten zu investieren, wenn Sie diese umgehend an einen externen Dritten weitergeben, der möglicherweise über unzureichende Sicherheitsvorkehrungen verfügt oder den Auflagen einer ausländischen Regierung unterliegt.

Mitarbeiter in Unternehmen, die mit sensiblen Daten umgehen, erhalten oft Schulungen zum sicheren Umgang mit Daten. Diese sind jedoch nicht sehr wirksam, wenn alle Mitarbeiter Webbrowser nutzen, die während der Bearbeitung dieser Daten möglicherweise auf beliebige Seiten im Internet zugreifen können. Die Isolierung ist die wirksamste verfügbare Sicherheitsmaßnahme, sei es durch ein Air Gap oder durch sehr restriktive Firewalls, doch dadurch wird die Nutzung externer Dienste jeglicher Art erschwert.

On-Prem-KI für latenzempfindliche Systeme und Systeme mit hoher Verfügbarkeit

Software as a Service und Cloud Computing stellen einen Kompromiss zwischen den Kosten für die Bereitstellung leicht zugänglicher, zuverlässiger Dienste auf den eigenen Computern und der Auslagerung dieser Problematik an Dritte dar. Allerdings sind sie mit schwankenden Latenzzeiten, Ausfällen und einem völligen Kontrollverlust verbunden, wenn etwas schiefgeht. KI-Dienste bilden da keine Ausnahme. Wenn Ihr Suchsystem offline geht, sobald Sie keinen Zugriff mehr auf Ihr Einbettungsmodell haben, scheint es möglicherweise kein guter Kompromiss mehr zu sein.

Darüber hinaus birgt der Einsatz externer KI stets Risiken, die sich nicht ohne Weiteres vorhersehen oder verwalten lassen. Der Internetzugang und die Netzwerklatenz können sich ohne Vorwarnung verschlechtern, beispielsweise aufgrund politischer Ereignisse, schlechten Wetters oder weil Schiffe mit ihren Ankern über Unterwasser-Glasfaserkabel schleifen. Regierungen können Exportverbote verhängen, um den Zugriff auf KI-Modelle schlagartig zu unterbinden – und das haben sie in jüngster Zeit auch getan. KI-Dienstanbieter nehmen Modelle gelegentlich aus dem Angebot, um Sie zu einem Wechsel auf neuere Modelle zu bewegen. Die Flexibilität und die kontrollierten Kosten externer Dienste müssen gegen die Risiken einer Abhängigkeit abgewogen werden.

On-Prem-KI für die Compliance mit der DSGVO, HIPAA und Datensouveränität

Unternehmen, die personenbezogene Daten erheben, unterliegen immer strengeren Vorschriften, die sich oft von Rechtsraum zu Rechtsraum unterscheiden und widersprüchliche Anforderungen enthalten können. Insbesondere sehen die HIPAA-Vorschriften sehr strenge Datenschutzbestimmungen für amerikanische Gesundheitsdienstleister vor. Zudem verlangen strenge allgemeine Datenschutzgesetze in Kanada, der Europäischen Union sowie vielen asiatischen Ländern von allen Unternehmen, die personenbezogene Daten verarbeiten, einen sicheren Umgang mit diesen Daten sowie eine Beschränkung der Weitergabe dieser Daten an Dritte oder in andere Länder. Diese Vorschriften könnten sogar für ausländische Unternehmen Verpflichtungen mit sich bringen, sofern sie Kunden in diesen Ländern haben. Finanzinstitute unterliegen häufig noch strengeren Vorschriften und tragen dieselbe direkte Verantwortung für die Informationssicherheit wie beim Schutz vor anderen Formen krimineller Aktivitäten.

Die Einhaltung gesetzlicher Vorschriften kann mit KI-Diensten von Drittanbietern unvereinbar sein, insbesondere wenn ihre Nutzung eine grenzüberschreitende Datenübertragung beinhaltet.

Zudem zeigen die jüngsten Ereignisse, dass Vorschriften, die den physischen Standort von Datenspeichern einschränken, nicht unbedingt einen verlässlichen Schutz bieten, wenn internationale Cloud-Anbieter dem Druck ausländischer Regierungen ausgesetzt sind. Lokale Gesetze können sich je nach Rechtsraum widersprechen, was eine lokale Datenspeicherung und -verarbeitung erforderlich und die Nutzung von Diensten Dritter unmöglich macht. In einigen Fällen ist die einzige Lösung eine vollständige interne Abwicklung aller Prozesse, einschließlich Ihrer KI-Systeme.

KI-Haftungsrisiken durch die Datenübertragung von Drittanbietern

Datenschutzgesetze und anerkannte Sorgfaltspflichten im Umgang mit sensiblen Daten haben regelmäßig haftungsrechtliche Konsequenzen, die mitunter sehr schwerwiegend sein können. Sie können für den Umgang mit Ihren Daten durch Drittanbieter haftbar gemacht werden. Zwar bieten Gerichte und rechtliche Verfahren unter Umständen einen gewissen nachträglichen Schutz vor unsicheren Dienstanbietern, doch stehen diese Rechtsmittel gegenüber Akteuren der nationalen Sicherheit, Strafverfolgungsbehörden oder kriminellen Hackern weder zur Verfügung noch sind sie im Allgemeinen wirksam.

Bei Regierungen gab es bereits Fälle, in denen grenzüberschreitend tätige Cloud-Dienstanbieter sensible staatliche Informationen an ausländische Akteure weitergegeben haben.

Aber selbst wenn Sie sich keine Sorgen um ausländische Regierungen oder Hacker machen und Ihre externen KI-Dienstanbieter selbst sicher sind, kann allein die Tatsache, dass sie extern sind, Haftungsrisiken mit sich bringen.

So genießen beispielsweise in den meisten Ländern die Kommunikation zwischen Rechtsanwälten und ihren Mandanten einen besonderen rechtlichen Schutz, und Anwaltskanzleien unterliegen strengen Haftungsvorschriften bei der Aufzeichnung oder Speicherung dieser Informationen. In den Vereinigten Staaten ist dieses „Anwaltsgeheimnis“ so bekannt, dass es sogar eine zentrale Rolle in Film- und Fernsehhandlungen spielt. Eine Möglichkeit, diese Privilegien zu verlieren, besteht jedoch darin, Informationen an jemanden weiterzugeben, der diese Privilegien nicht besitzt, und die jüngsten Entwicklungen deuten darauf hin, dass externe KI-Dienstanbieter unter diese Kategorie fallen könnten.

Zumindest in den Vereinigten Staaten ist es möglich, dass bereits die bloße Nutzung von KI-Diensten von Drittanbietern über eine Internet-API – wie beispielsweise die Einbindung von Modellen, die Indizierungsdienste bereitstellen – gegen wichtige Vertraulichkeitsvorschriften verstoßen könnte. Eine Anwaltskanzlei könnte allein aufgrund der Nutzung extern gehosteter Software verklagt, disziplinarisch belangt oder aus der Anwaltskammer ausgeschlossen werden, selbst wenn keine Sicherheitsverletzung vorliegt.

On-Prem-KI für Offline-, Edge- und physisch isolierte Systeme

Computersysteme werden nicht nur aus Sicherheitsgründen isoliert. Beispielsweise dürfen sich fahrende Fahrzeuge bei keiner ihrer wesentlichen Funktionen auf einen Internetzugang verlassen. Schiffe und Flugzeuge verfügen über sehr umfangreiche Bordcomputersysteme, die ohne Internetverbindung funktionieren müssen und daher keine externen KI-Dienste nutzen können. Offshore-Plattformen, abgelegene Anlagen in unberührten Naturgebieten, Computerdienste in der Arktis, der Antarktis und auf kleinen Inseln ohne ausreichende physische Anbindung an globale Netzwerke sind allesamt Beispiele für Einrichtungen, die davon profitieren, alle benötigten Dienste lokal zu hosten. Da die Bedeutung der KI in der Unternehmens-IT zunimmt, wird es immer wichtiger, diese Einschränkungen anzugehen.

Neue Anwendungen der KI in physischen Systemen (Robotik und andere Anwendungsfälle, die räumlich begrenzt sind oder auf die Außenwelt ausgerichtet sind, wie Logistikmanagementsysteme oder sogar Supermarktkassen) sind zwar möglicherweise mit dem globalen Internet verbunden, tolerieren jedoch weder Verbindungsausfälle noch plötzliche Latenzspitzen. Wenn sie für ihren Betrieb auf ein KI-System angewiesen sind, muss dieses KI-System so lokal und zuverlässig wie möglich sein.

Wer braucht keine On-Prem-KI?

Remote-Softwaredienste und externe KI bieten durchaus Vorteile. Für den Betrieb von KI-Modellen sind unter Umständen teure, stromfressende Prozessoren erforderlich, die bekanntermaßen nur eine kurze Lebensdauer haben. Der Zugang zu hochwertiger Hardware ist derzeit aufgrund von Marktfaktoren und externen wirtschaftlichen Schocks besonders schwierig. Unter diesen Umständen kann es sinnvoll sein, für die Nutzung einer externen API pro Token zu bezahlen, anstatt die hohen Investitionskosten für eine lokale KI zu tragen.

Externe APIs sind für gelegentliche Nutzer am sinnvollsten. Wenn Sie KI-Modelle in erster Linie zur Batch-Verarbeitung von Daten für Analysezwecke nutzen und nicht zum Betreiben eines Suchsystems, das ständig online sein muss, macht es wenig Sinn, in kapitalintensive Hardware und lokale Installationen zu investieren.

Darüber hinaus kann die Nutzung von KI-Diensten, die sich in derselben Cloud-Infrastruktur befinden, ein besseres Preis-Leistungs-Verhältnis bieten als das Deployment eines eigenen lizenzierten KI-Modells, wenn Ihre Datenverarbeitung bereits cloudbasiert ist, beispielsweise bei einer E-Commerce-Website, die aus Gründen der Zuverlässigkeit und Erreichbarkeit in der Cloud gehostet wird. Sie sind ohnehin schon von Ihrem Cloud-Dienstanbieter abhängig, daher stellt die Abhängigkeit von seinen KI-Diensten kein großes zusätzliches Risiko dar.

Wenn Ihr Anwendungsfall dieser Beschreibung entspricht, stehen Ihnen Jina AI-Modelle auf EIS, im AWS Marketplace und auf der Google Cloud Platform speziell für Ihre Anforderungen zur Verfügung.

Die folgende Tabelle fasst die wichtigsten Faktoren zusammen. Ihre Antwort hängt von Ihren Daten, Ihrer Infrastruktur und Ihrem Nutzungsmuster ab.

Sie müssen die Kosten und den Nutzen unter Berücksichtigung Ihrer individuellen Umstände und Anwendungsfälle abwägen und dabei die im vorigen Abschnitt hervorgehobenen Punkte berücksichtigen, die auf Sie zutreffen. Die Kosten-Nutzen-Analyse wird sich im Laufe der Zeit zweifellos ändern. Wir können die Zukunft der KI-Branche oder die Hardwarepreise nicht einmal kurzfristig vorhersagen.

Einführung von Jina On-Prem

Für Nutzer, die von lokalen KI-Diensten profitieren können, führen wir Jina On-Prem ein, ein vollständig eigenständiges Installationspaket für die leistungsstarken Modelle von Jina AI.

Die Modelle von Jina AI erreichen die gleiche Genauigkeit wie Einbettungsmodelle, die ein Vielfaches ihrer Größe haben, und senken dabei die Rechenkosten, den Speicherbedarf und die Hardwareanforderungen. Dadurch sind sie eine ideale Wahl für Nutzer, die ihre KI On-Prem betreiben möchten oder müssen. Kommerzielle Lizenzen sind mit skalierbaren, preislich gestaffelten Lösungen für Anwendungsfälle aller Größen verfügbar.

Welche API-Schemata unterstützt Jina On-Prem?

• Erhältlich als vollständige Sammlung von Abhängigkeiten für die lokale Installation oder als Docker-Container, den Sie innerhalb weniger Minuten installieren und ausführen können.

• Jina-On-Prem-Installationen rufen keine externen Systeme auf.

  • Es erfolgt kein Aufruf des Hugging Face Hub oder einer Modellregistrierung (HF_HUB_OFFLINE=1 und TRANSFORMERS_OFFLINE=1 sind fest integriert).

  • Es gibt keinen Lizenzserver.

  • Es gibt keine Telemetrie- oder Logging-Endpoints.

• Unterstützt sowohl CPU- als auch GPU-Hardware mit automatischer GPU-Erkennung.

• Alle 28 verfügbaren Jina-AI-Modelle, einschließlich der neuesten multimodalen Einbettungsmodelle jina-embeddings-v5-omni und jina-reranker-v3.

• Zugriff über gängige KI-API-Schemata: Jina API, OpenAI, Cohere, Voyage AI und Gemini. Jina On-Prem ist eine sofort einsatzbereite Lösung für Anwendungen, die auf diesen Schemata basieren.

• Drop-in-Ersatz für Modelle, die über den EIS bereitgestellt werden. Jina On-Prem lässt sich direkt in Elastic-Deployments mit Air-Gap integrieren.

Hardwareanforderungen für Jina AI-On-Prem-Modelle

Die Hardwareanforderungen variieren je nach Jina-Modell. Die folgende Tabelle zeigt die Empfehlungen für die neuesten Modelle unter Verwendung von GPU-Einstellungen. Sie benötigen keine leistungsstärkere GPU als eine NVIDIA L4, allerdings wird für die v5-Einbettungsmodelle eine A100 empfohlen. Unser neuestes Einbettungsmodell erfordert derzeit mindestens 8 GB VRAM.

Wenn Sie mehr als ein Modell gleichzeitig verwenden, steigen die VRAM-Anforderungen. Weitere Informationen finden Sie auf der Seite Größen und Hardware.

So installieren Sie Jina On-Prem mit Docker

Der schnellste Weg für den Einstieg ist die Installation von Docker (sofern noch nicht geschehen) und das Befolgen der Anweisungen auf der Seite Jina On-Prem Quick Start.

Für alle 28 Jina-Modelle stehen vorkonfigurierte Docker-Container zur Verfügung. Laden Sie ein Modell herunter und übertragen Sie es auf Ihr Installationsziel – schon können Sie Jina-AI-Modelle in weniger als fünf Minuten ausführen.

Für multimodale oder benutzerdefinierte Builds oder zum Herunterladen des vollständigen Abhängigkeitssatzes für die Installation außerhalb eines Containers befolgen Sie bitte die Schritte, die in der Bundling-Anleitung beschrieben sind.

Ihre Jina-On-Prem-Installation unterstützt alle Jina-API- und EIS-Funktionen sowie die Generierung von Einbettungen über die APIs von OpenAI, Cohere, Voyage AI und Gemini, sodass sie sich über Standardschnittstellen in bereits vorhandene Anwendungen integrieren lässt. Weitere Informationen finden Sie in der API-Dokumentation.

Jina-Modelle, einschließlich der mit Jina On-Prem installierten Modelle, sind unter verschiedenen Lizenzbedingungen erhältlich, wobei die neuesten Modelle für die nichtkommerzielle Nutzung unter einer CC BY-NC 4.0-Lizenz kostenlos zur Verfügung stehen. Für die Lizenzierung von Jina On-Prem für die kommerzielle Nutzung wenden Sie sich bitte an Elastic Sales.