On-Prem in weniger als 5 Minuten: Jina-Einbettungsmodelle jetzt für On-Prem-Deployment verfügbar

Probieren Sie Elasticsearch aus: Entdecken Sie unsere Beispiel-Notebooks im Elasticsearch Labs Repository, starten Sie eine kostenlose Cloud-Testversion oder probieren Sie Elastic jetzt auf Ihrem lokalen Rechner aus.

Alle 28 Jina AI-Embedding- und Reranking-Modelle werden jetzt als vollständig offline einsetzbare Docker-Container für On-Prem-Deployments versendet, einschließlich jina-embeddings-v5-omni und jina-reranker-v3. Laden Sie eines herunter, übertragen Sie es auf ein isoliertes oder durch eine Firewall geschütztes On-Prem-System, dann wird die lokale Inferenz in weniger als fünf Minuten ausgeführt. Die Container sind vollständig in sich geschlossen und stellen keine externen Verbindungen her. Es erfolgen keine Aufrufe von Hugging Face oder Modellregistrierungen. Außerdem gibt es weder einen Lizenzserver noch Telemetrie- oder Logging-Endpoints. Bei regulierten Branchen, Anforderungen an die Datensouveränität oder Umgebungen, in denen der Internetzugang unzuverlässig oder schlicht nicht verfügbar ist, entfällt dadurch die Abhängigkeit von externen KI-Diensten. Jina On-Prem unterstützt API-Schemas für Elastic Inference Service (EIS), OpenAI, Cohere, Voyage AI und Gemini, sodass bestehende Anwendungen ohne Codeänderungen funktionieren.

Die leistungsfähigsten KI-Modelle werden auf entfernten Cloud-Installationen ausgeführt, auf die über eine Web-API zugegriffen wird. Das bedeutet, dass Sie sich in Bezug auf Sicherheit, Dienstverfügbarkeit und stabile Preise auf Ihren KI-Dienstanbieter verlassen müssen. Grundlegende Anforderungen an Zuverlässigkeit, Datenschutz, überschaubare Kosten und eine gute Daten-Governance können nicht ohne Weiteres mit einer zunehmend leistungsstarken, ausgefeilten und ressourcenintensiven Nutzung der KI verbunden werden.

Staatliche Regulierung, Gerichtsurteile und geschäftliche Erwägungen, die im Interesse anderer angestellt wurden, haben in letzter Zeit allesamt dazu geführt, den Zugang zu bestimmten Diensten einzuschränken. Und selbst wenn Sie zu anderen Diensten wechseln können, sind KI-Modelle keine Komponenten, die Sie beliebig austauschen können. Anwendungen, die semantische Einbettungen verwenden, setzen voraus, dass zum Zeitpunkt der Abfrage dieselben Modelle verfügbar sind wie zum Zeitpunkt der Daten-Ingestion. Wenn Sie den Zugriff auf Ihr Einbettungsmodell verlieren, kommt Ihr Suchsystem zum Stillstand.

KI-Preismodelle verstärken dieses Risiko. Die jüngsten Finanzangaben großer KI-Anbieter geben Kunden guten Grund, sich über mögliche Preiserhöhungen Sorgen zu machen. Die Abhängigkeit von Produkten mit unvorhersehbaren Kosten erhöht das Risiko kapitalintensiver KI-Investitionen, die möglicherweise keine klaren Renditen abwerfen.

Jina On-Prem ist die Antwort von Elastic auf diese Herausforderungen.

Wer benötigt On-Prem-KI?

Lokales Hosting und die direkte Kontrolle über Ihre KI-Modelle werden vielfältigen technischen Anforderungen, Branchenbedingungen und Geschäftsinteressen gerecht.

Eine lokale Installation senkt Ihre Ausgaben für KI-Dienstleister, verlagert jedoch die Kosten für Hardware und einen zuverlässigen Zugang auf Ihr Unternehmen. Je nach Nutzungsumfang ist das möglicherweise günstiger. Es gibt jedoch weitere dringende Gründe, den Betrieb Ihrer eigenen KI in Betracht zu ziehen. Wenn eines der nachfolgend beschriebenen Probleme Ihr Unternehmen betrifft, sollten Sie eine lokale KI-Lösung wie Jina On-Prem in Betracht ziehen. Diese Liste ist nicht vollständig.

Warum Air-Gap-Systeme und firewallgeschützte Systeme On-Prem-KI benötigen

Air-Gapped-Systeme und durch Firewalls geschützte Systeme können keine externen KI-APIs verwenden. Jina On-Prem wird vollständig innerhalb Ihrer Infrastruktur ausgeführt, ohne ausgehende Verbindungen.

Für Unternehmen, die besonders sensible Daten verwalten, sind Sicherheits- und Datenschutzaspekte von größter Bedeutung. Es nützt wenig, in den Schutz Ihrer sensiblen Daten zu investieren, wenn Sie diese umgehend einem externen Drittanbieter überlassen, der möglicherweise unzureichende Sicherheitsmaßnahmen getroffen hat oder den Anforderungen einer ausländischen Regierung unterliegt.

Mitarbeitende in Unternehmen, die sensible Daten verarbeiten, erhalten häufig eine gewisse Schulung zum sicheren Umgang mit Daten, doch diese ist nicht besonders effektiv, wenn sie bei der Verarbeitung dieser Daten alle Webbrowser verwenden, die möglicherweise den Zugriff auf jede beliebige Seite im Internet erlauben. Isolation ist die wirksamste verfügbare Sicherheitsmaßnahme, sei es durch Air-Gapping oder sehr restriktive Firewalls, doch dadurch wird die Nutzung externer Dienste jeglicher Art erschwert.

On-Prem-KI für latenzempfindliche und hochverfügbare Systeme

Software as a Service und Cloud Computing stellen einen Kompromiss zwischen den Kosten, hochverfügbare, zuverlässige Dienste auf eigenen Computern anzubieten, und der Auslagerung des Problems an jemand anderen dar. Doch sie bringen variable Latenzzeiten, Ausfälle und den vollständigen Kontrollverlust mit sich, wenn etwas schiefgeht. KI-Dienste bilden da keine Ausnahme. Wenn Ihr Suchsystem offline geht, sobald Sie nicht auf Ihr Embedding-Modell zugreifen können, ist es möglicherweise kein guter Kompromiss mehr.

Darüber hinaus birgt der Verlass auf eine externe KI immer Risiken, die Sie nicht ohne Weiteres vorhersehen oder bewältigen können. Der Internetzugang und die Netzwerklatenz verschlechtern sich möglicherweise ohne Vorwarnung infolge politischer Ereignisse, schlechten Wetters oder Schiffsanker, die Untersee-Glasfaserkabel beschädigen. Manche Regierungen nutzen Exportverbote, um den Zugriff auf KI-Modelle von einem Tag auf den anderen zu blockieren. KI-Dienstanbieter ziehen mitunter Modelle zurück, um Sie zu einem Wechsel auf neuere Modelle zu bewegen. Die Flexibilität und die kontrollierten Kosten externer Dienste müssen gegen die Risiken der Abhängigkeit abgewogen werden.

On-Prem-KI für DSGVO-, HIPAA- und Datensouveränitäts-Compliance

Unternehmen, die personenbezogene Daten erfassen, unterliegen immer strengeren Vorschriften, die sich häufig je nach Land unterscheiden und widersprüchliche Anforderungen haben. Insbesondere legen die HIPAA-Vorschriften US-amerikanischen Gesundheitsdienstleistern sehr strenge Datenschutzauflagen auf, und strenge allgemeine Datenschutzgesetze in Kanada, der Europäischen Union und vielen asiatischen Rechtsordnungen verlangen von allen Unternehmen, die mit personenbezogenen Daten umgehen, dies auf sichere Weise zu tun und die Übermittlung dieser Daten an andere Parteien oder andere Länder zu beschränken. Diese Vorschriften können selbst ausländischen Unternehmen Pflichten auferlegen, wenn sie Kunden in diesen Rechtsordnungen haben. Finanzinstitute unterliegen häufig noch strengeren Regeln und tragen für die Informationssicherheit dieselbe direkte Haftung wie beim Schutz vor anderen Formen krimineller Aktivitäten.

Die Einhaltung regulatorischer Vorschriften kann mit KI-Diensten von Drittanbietern unvereinbar sein, insbesondere wenn deren Nutzung eine grenzüberschreitende Übermittlung von Daten beinhaltet.

Darüber hinaus zeigen jüngste Ereignisse, dass Vorschriften, die den physischen Standort von Datenspeichern einschränken, möglicherweise keinen zuverlässigen Schutz bieten, wenn internationale Cloud-Anbieter dem Druck ausländischer Regierungen ausgesetzt sind. Lokale Gesetze können zwischen verschiedenen Gerichtsbarkeiten miteinander in Konflikt stehen, sodass eine lokale Speicherung und Verarbeitung von Daten erforderlich wird und die Nutzung von Drittanbieterdiensten unmöglich ist. In manchen Fällen besteht die einzige Lösung darin, alle Teile Ihrer Prozesse intern abzuwickeln, einschließlich Ihrer KI-Systeme.

KI-Haftungsrisiken durch die Übermittlung von Daten durch Dritte

Datenschutzgesetze und anerkannte Sorgfaltspflichten im Umgang mit sensiblen Daten haben regelmäßig haftungsrechtliche Auswirkungen, mitunter sehr schwerwiegende. Sie können für den Umgang von Drittanbietern mit Ihren Daten haftbar sein. Zwar bieten Gerichte und Rechtsverfahren möglicherweise einen gewissen nachträglichen Schutz vor unsicheren Dienstleistern, doch stehen diese Rechtsmittel gegen Akteure der nationalen Sicherheit, Strafverfolgungsbehörden oder kriminelle Hacker nicht zur Verfügung und sind im Allgemeinen auch nicht wirksam.

Für Regierungen gab es bereits Fälle, in denen grenzüberschreitend tätige Cloud-Dienstanbieter sensible staatliche Informationen an ausländische Akteure weitergegeben haben.

Doch selbst wenn Sie sich keine Sorgen um ausländische Regierungen oder Hacker machen und Ihre externen KI-Dienstleister selbst sicher sind, kann allein die Tatsache, dass sie extern sind, Haftungsrisiken mit sich bringen.

Beispielsweise genießen in den meisten Rechtsordnungen Mitteilungen von Anwälten an ihre Mandanten besonderen rechtlichen Schutz, und Anwaltskanzleien haften streng, wenn sie diese Informationen aufzeichnen oder speichern. In den USA ist dieses „Anwaltsgeheimnis“ so bekannt, dass es in Filmen und Fernsehserien eine zentrale Rolle spielt. Eine der Möglichkeiten, dieses Privileg zu verlieren, besteht jedoch darin, Informationen an jemanden weiterzugeben, der nicht zum Kreis der privilegierten Personen gehört, und aktuelle Entwicklungen deuten darauf hin, dass externe KI-Dienstleister dazu zählen könnten.

Zumindest in den USA ist es möglich, dass bereits die Nutzung von KI-Diensten Dritter über eine Internet-API, etwa von Einbettungsmodellen, die Indexierungsdienste bereitstellen, gegen wichtige Vertraulichkeitsregeln verstößt. Eine Anwaltskanzlei könnte allein wegen der Nutzung extern gehosteter Software verklagt, disziplinarisch belangt oder aus der Anwaltschaft ausgeschlossen werden, selbst wenn es zu keiner Sicherheitsverletzung kommt.

On-Prem-KI für Offline-, Edge- und physisch isolierte Systeme

Computersysteme werden nicht nur aus Sicherheitsgründen isoliert. Fahrzeuge beispielsweise können sich bei wichtigen Funktionen nicht auf einen Internetzugang verlassen. Schiffe und Flugzeuge verfügen über sehr umfangreiche Computersysteme an Bord, die ohne Internetverbindungen funktionieren müssen und daher keine externen KI-Dienste nutzen können. Offshore-Plattformen, abgelegene Einrichtungen in der Wildnis, Computerdienste in der Arktis, der Antarktis und auf kleinen Inseln ohne ausreichende physische Verbindungen zu globalen Netzwerken sind alles Beispiele für Installationen, die davon profitieren, alle benötigten Dienste lokal zu hosten. Da die KI im IT-Bereich von Unternehmen eine immer größere Rolle spielt, wird es immer wichtiger, diese Einschränkungen anzugehen.

Neue Anwendungen der KI in physischen Systemen (Robotik und andere räumlich begrenzte oder auf die Außenwelt ausgerichtete Anwendungsfälle wie Logistikmanagementsysteme oder auch Supermarktkassen) sind möglicherweise mit dem globalen Internet verbunden, tolerieren jedoch keinerlei Verbindungsausfälle oder Latenzspitzen. Wenn sie für ihren Betrieb auf ein KI-System angewiesen sind, muss dieses KI-System so lokal und zuverlässig wie möglich sein.

Wer braucht keine On-Prem-KI?

Remote-Softwaredienste und externe KI haben durchaus ihre Vorteile. Der Betrieb von KI-Modellen erfordert teure, stromfressende Prozessoren, deren Lebensdauer bekanntermaßen kurz ist. Der Zugang zu hochwertiger Hardware ist derzeit aufgrund von Marktbedingungen und externen wirtschaftlichen Turbulenzen besonders schwierig. Unter diesen Umständen ist es möglicherweise sinnvoll, pro Token zu bezahlen, um eine externe API zu nutzen, anstatt die hohen Investitionskosten für lokale KI zu tragen.

Externe APIs eignen sich am besten für Nutzer, die sie nur gelegentlich verwenden. Wenn Sie KI-Modelle hauptsächlich verwenden, um Daten im Batch für Analysen zu verarbeiten, anstatt ein Suchsystem zu betreiben, das ständig online sein muss, ergibt es wenig Sinn, in kapitalintensive Hardware und lokale Installationen zu investieren.

Wenn Ihre Datenverarbeitung ohnehin bereits in der Cloud stattfindet, beispielsweise bei einer aus Gründen der Zuverlässigkeit und Zugänglichkeit in der Cloud gehosteten E-Commerce-Website, kann die Nutzung von KI-Diensten in derselben Cloud-Infrastruktur ein besseres Preis-Leistungs-Verhältnis bieten, als ein eigenes Deployment eines lizenzierten KI-Modells einzuführen. Sie sind bereits von Ihrem Cloud-Service-Provider abhängig, sodass die Abhängigkeit von dessen KI-Diensten kein großes zusätzliches Risiko darstellt.

Wenn Ihr Anwendungsfall dieser Beschreibung zu entsprechen scheint, sind Jina AI-Modelle auf EIS, dem AWS Marketplace und der Google Cloud Platform verfügbar, um speziell Ihren Anforderungen gerecht zu werden.

Die folgende Tabelle fasst die Schlüsselfaktoren zusammen. Ihre Antwort hängt von Ihren Daten, Ihrer Infrastruktur und Ihrem Nutzungsmuster ab.

Sie müssen die Kosten und Vorteile im Hinblick auf Ihre besonderen Umstände und Anwendungsfälle abwägen und dabei die im vorherigen Abschnitt hervorgehobenen Probleme berücksichtigen, die auf Sie zutreffen. Die Kosten-Nutzen-Analyse wird sich zweifellos im Laufe der Zeit verändern. Wir können die Zukunft der KI-Branche oder die Hardwarepreise nicht einmal kurzfristig vorhersagen.

Einführung von Jina On-Prem

Für Nutzer, die von lokalen KI-Diensten profitieren können, führen wir Jina On-Prem ein, eine vollständig eigenständige Installationssuite für die Hochleistungsmodelle von Jina AI.

Die Modelle von Jina AI erreichen die Genauigkeit von Embedding-Modellen, die um ein Vielfaches größer sind, und senken so Rechenkosten, Speicherbedarf und Hardwareanforderungen. Dies macht sie zur idealen Wahl für Nutzer, die ihre KI On-Prem betreiben möchten oder müssen. Kommerzielle Lizenzen sind mit skalierbaren, größenabhängig bepreisten Solutions für Anwendungsfälle jeder Größe verfügbar.

Welche API-Schemas unterstützt Jina On-Prem?

• Verfügbar als vollständige Sammlung von Abhängigkeiten zur lokalen Installation oder als Docker-Container, den Sie in wenigen Minuten installieren und ausführen können.

• Jina-On-Prem-Installationen kontaktieren keine externen Systeme.

  • Kein Aufruf des Hugging Face Hubs oder einer Modell-Registry (HF_HUB_OFFLINE=1 und TRANSFORMERS_OFFLINE=1 sind fest integriert).

  • Es gibt keinen Lizenzserver.

  • Es gibt keine Telemetrie- oder Logging-Endpoints.

• Unterstützt sowohl CPU- als auch GPU-Hardware, mit automatischer GPU-Erkennung.

• Alle 28 Jina AI-Modelle sind verfügbar, darunter die neuesten multimodalen Einbettungsmodelle jina-embeddings-v5-omni sowie jina-reranker-v3.

• Zugriff über gängige KI-API-Schemas: Jina API, OpenAI, Cohere, Voyage AI und Gemini. Jina On-Prem ist eine direkt einsetzbare Lösung für Anwendungen, die auf diesen Schemas basieren.

• Drop-in-Ersatz für Modelle, die vom EIS bereitgestellt werden. Jina On-Prem lässt sich direkt in Air-Gap-Deployments von Elastic integrieren.

Hardwareanforderungen für On-Prem-Modelle von Jina AI

Die Hardwareanforderungen variieren bei den verschiedenen Jina-Modellen. Die folgende Tabelle zeigt die Empfehlungen für die neuesten Modelle mit GPU-Einstellungen. Sie benötigen höchstens die Leistungsstärke einer NVIDIA L4-GPU, wobei für die v5-Einbettungsmodelle eine A100 empfohlen wird. Unser neuestes Einbettungsmodell erfordert derzeit mindestens 8 GB VRAM.

Wenn Sie mehr als ein Modell gleichzeitig verwenden, steigen die VRAM-Anforderungen. Weitere Informationen finden Sie auf der Seite zur Dimensionierung und Hardware.

So installieren Sie Jina On-Prem mit Docker

Der schnellste Weg für den Einstieg besteht darin, Docker zu installieren (falls Sie dies nicht bereits getan haben) und die Anweisungen auf der Seite Jina On-Prem Quick Start zu befolgen.

Für alle 28 Jina-Modelle gibt es vorkonfigurierte Docker-Container. Laden Sie einen herunter und übertragen Sie ihn auf Ihr Installationsziel, dann können Sie Jina AI-Modelle in weniger als fünf Minuten ausführen.

Für multimodale oder benutzerdefinierte Builds oder zum Herunterladen des vollständigen Abhängigkeitssatzes für eine Installation außerhalb eines Containers befolgen Sie die Schritte in der Anleitung für Bundles.

Ihre Jina-On-Prem-Installation unterstützt alle Jina-API- und EIS-Funktionen sowie die Generierung von Einbettungen über die APIs von OpenAI, Cohere, Voyage AI und Gemini, sodass sie sich über standardisierte Schnittstellen in bestehende Anwendungen integrieren lässt. Weitere Informationen finden Sie in der API-Dokumentation.

Jina-Modelle, einschließlich der mit Jina On-Prem installierten Modelle, sind unter verschiedenen Lizenzbedingungen verfügbar. Die neuesten Modelle sind für die nicht kommerzielle Nutzung unter einer CC BY-NC 4.0 Lizenz kostenlos verfügbar. Um Jina On-Prem für die kommerzielle Nutzung zu lizenzieren, wenden Sie sich bitte an Elastic Sales.