不到 5 分钟即可完成本地部署：Jina 嵌入模型现已支持本地部署

亲身体验 Elasticsearch：在 Elasticsearch Labs 仓库中查看示例笔记本，开始免费云试用，或者立即在本地计算机上体验 Elastic。

Jina AI 所有 28 个嵌入和重排序模型现已以完全离线的 Docker 容器形式发布，支持本地部署，其中包括jina-embeddings-v5-omni。 以及jina-reranker-v3 。下载一个，将其传输到本地隔离或防火墙后的系统，不到五分钟即可运行本地推理。这些容器完全独立，不与外界连接。不会调用 Hugging Face 或任何模型注册表。此外，也没有许可证服务器、遥测或日志记录终端。对于受监管行业、数据主权要求或互联网接入不可靠或根本无法使用的环境，这消除了对第三方人工智能服务的依赖。Jina On-Prem 支持 Elastic Inference Service (EIS)、OpenAI、Cohere、Voyage AI 和 Gemini API 模式，因此现有应用程序无需更改代码即可运行。

当前性能最强的 AI 模型均部署在远端云设施中，用户需通过网页 API 接口调用，这意味着您必须在安全保障、服务可用性与价格稳定性方面完全信任您的AI服务提供商。您很难将对可靠性、隐私保护、可控成本与良好数据治理的合理诉求，与日益强大、复杂且资源密集的 AI 使用模式相匹配。

政府监管、法院裁决以及出于他人利益考虑的商业因素，最近都导致了对特定服务访问权限的限制。即使您可以切换到其他服务，AI 模型也不是可以随心所欲替换的组件。使用语义嵌入的应用程序，依赖于在查询时和数据摄取时均可访问相同的模型。如果无法访问嵌入模型，您的搜索系统就会停止运行。

AI 定价模型会加剧这种风险。主要 AI 供应商近期披露的财务信息，让客户有充分理由担心潜在的价格上涨。依赖成本难以预测的产品，会给资本密集型 AI 投资带来更多风险，而这些投资可能无法带来明确回报。

Jina 本地部署是 Elastic 应对这些挑战的解决方案。

谁需要本地部署的 AI？

本地托管和对 AI 模型的直接控制可满足各种技术需求、行业要求和商业利益。

本地设施可以降低您向 AI 服务提供商支付的费用，但硬件和可靠访问的成本则由您的组织承担。根据您的使用量，这样做可能更划算。不过，还有其他一些迫切原因值得考虑自行运行 AI。如果下文所述的任何问题与贵企业有关，可以考虑采用 Jina On-Prem 这样的本地 AI 解决方案。此列表并不详尽。

为什么物理隔离系统和受防火墙保护的系统需要本地部署 AI

物理隔离且受防火墙保护的系统无法使用外部 AI API。Jina 本地部署完全在您的基础架构内运行，且不会建立出站连接。

对于管理特别敏感数据的组织而言，安全和隐私考量至关重要。如果您在投入资源保护敏感数据后，转头就将其移交给可能缺乏充分安全措施或可能受制于外国政府要求的某个远程第三方，那么这种投入其实收效甚微。

处理敏感数据的组织中的员工通常会接受一些安全数据处理方面的培训，但是当他们在处理数据时，他们的网络浏览器可能会打开互联网上的任何页面，因此这种培训效果并不好。隔离是目前最有效的安全措施，可以通过物理隔离或非常严格的防火墙来实现，但这会使使用任何类型的外部服务变得困难。

适用于对延迟敏感且要求高可用性的系统的本地部署 AI

软件即服务和云计算代表了一种折衷方案，既能保证在自己的计算机上提供高度便捷、可靠的服务，又能降低将问题外包给其他人的成本。但它们也存在延迟不稳定、服务中断以及出现故障时完全失控等问题。AI 服务也不例外。如果无法访问嵌入模型时搜索系统离线，那么这可能不再是一个好的折衷方案。

此外，依赖外部 AI 始终会带来一些难以预见或管理的风险。由于政治事件、恶劣天气或船只拖锚刮过海底光纤电缆等原因，互联网接入和网络延迟可能会在毫无预警的情况下下降。政府可以通过出口禁令突然阻止人们访问 AI 模型，而且最近确实已经这样做了。AI 服务提供商有时会撤下模型，促使您改用更新的模型。需要权衡外部服务的灵活性和成本可控性与依赖这些服务所带来的风险。

满足 GDPR、HIPAA 和数据主权合规要求的本地部署 AI

收集个人数据的组织受到越来越严格的监管，这些监管在不同司法管辖区之间往往有所不同，并且可能存在相互矛盾的要求。值得注意的是，HIPAA 法规对美国医疗保健提供者施加了非常严格的数据保护，而加拿大、欧盟和许多亚洲司法管辖区的强有力的通用数据保护法要求所有处理个人信息的企业都必须安全地处理这些信息，并限制将数据传输给其他方或其他司法管辖区。如果外国实体在这些司法管辖区有任何客户，这些规则甚至可能对其施加义务。金融机构往往需遵守更为严苛的监管要求，并且在信息安全方面承担与防范其他各类犯罪活动同等性质的直接法律责任。

监管合规要求可能与第三方 AI 服务不兼容，尤其是在使用这些服务涉及跨境数据传输的情况下。

此外，近期事件表明，当国际云运营商受到外国政府施压时，限制数据存储地点的规定可能无法提供可靠的保护。不同司法管辖区的当地法律可能相互冲突，要求在当地存储和处理数据，从而导致无法使用第三方服务。在某些情况下，唯一的解决方案是将流程的所有环节都转为内部处理，包括 AI 系统。

第三方数据传输带来的 AI 责任风险

数据保护法律以及对敏感数据公认的谨慎义务，通常会产生责任后果，有时后果非常严重。您可能需要对第三方服务提供商处理您数据的行为承担责任。尽管法院和法律程序可能会针对不安全的服务提供商提供一些事后保护，但这些补救措施对国家安全机构、执法部门或犯罪黑客来说既不可用，也通常无效。

对于各国政府而言，已经出现过跨境云服务提供商向外国行为体泄露敏感国家信息的案例。

但即使您不担心外国政府或黑客，而且您的外部 AI 服务提供商本身也很安全，仅仅是它们属于外部这一事实就可能会带来责任风险。

例如，在大多数司法管辖区，律师与客户之间的通信享有特殊的法律保护，而律所记录或存储此类信息时，则需承担严格的法律责任。在美国，这种“律师与客户之间的保密特权”非常有名，也是电影和电视剧剧情的核心。但丧失这种特权的方式之一，是向不享有特权的人传递信息，而近期的发展表明，外部 AI 服务提供商可能也属于此类。

至少在美国，仅仅通过互联网 API 使用第三方 AI 服务（例如嵌入提供索引服务的模型）就可能违反关键的保密规定。即使没有发生安全漏洞，律师事务所也可能仅仅因为使用外部托管软件而被起诉、受到纪律处分或被吊销执照。

面向离线、边缘和物理隔离系统的本地部署 AI

计算机系统隔离不仅仅是出于安全原因。例如，行驶中的车辆无法依赖互联网接入来实现任何基本功能。船舶和飞机配备了非常庞大的机载计算机系统，这些系统必须在没有互联网连接的情况下运行，因此无法使用外部 AI 服务。海上平台、荒野地区的偏远设施，以及位于北极、南极和缺乏与全球网络充分物理连接的小岛上的计算服务，都是受益于在本地托管其所需全部服务的设施的例子。随着 AI 在企业计算中的作用日益增强，解决这些局限性变得更加重要。

AI 在物理系统（机器人和其他空间受限或以外部世界为中心的用例，如物流管理系统甚至超市收银台）中的新兴应用可能连接到全球互联网，但它们对连接故障或延迟峰值没有容忍度。如果它们依赖 AI 系统运行，那么该 AI 系统就需要尽可能本地部署，并尽可能可靠。

谁不需要本地部署的 AI？

远程软件服务与非本地部署的 AI 确实具备自身优势。运行 AI 模型往往需要价格高昂、功耗巨大且使用寿命极短的处理器。受市场因素与外部经济冲击影响，当前获取高品质硬件的难度尤其突出。在这种背景下，按词元付费调用外部 API，而非承担本地化 AI 部署所需的高额前期资本投入，往往是更合理的选择。

外部 API 最适合使用频率较低的用户。如果您主要使用 AI 模型批量处理数据以进行分析，而不是运行一个必须始终保持在线的搜索系统，那么投资于资本密集型硬件和本地安装就不太合理。

此外，如果您的数据处理已经基于云，例如，出于可靠性和可访问性的原因，电子商务网站托管在云端，那么使用位于同一云基础设施中的 AI 服务可能比引入您自己的授权 AI 模型部署更具性价比。您已经依赖云服务提供商，因此依赖其 AI 服务并不会增加太多额外风险。

如果您的用例符合上述描述，Jina AI 模型可通过 EIS、AWS Marketplace 和 Google Cloud Platform 使用，专门满足您的需求。

下表总结了关键因素。您的答案取决于您的数据、基础架构和使用模式。

您必须结合自身的具体情况和用例，考虑成本与收益，并考虑前一节中提及且适用于您的问题。成本效益分析无疑会随着时间推移而变化。我们甚至无法预测 AI 行业的未来或硬件价格的短期走势。

隆重推出 Jina On-Prem

对于能够从本地 AI 服务中受益的用户，我们现推出 Jina On-Prem。这是一套专为 Jina AI 的高性能模型打造的完全独立安装套件。

Jina AI 的模型精度可与规模大得多的嵌入式模型相媲美，从而降低了计算成本、内存占用和硬件要求。这使它们成为希望或需要在本地部署 AI 的用户的理想选择。它们提供商业许可，并根据规模和比例提供可扩展的解决方案，以满足各种规模的使用需求。

Jina On-Prem 支持哪些 API 架构？

• 可以作为完整的依赖项集合进行本地安装，也可以作为Docker 容器进行安装和运行，只需几分钟即可完成。

• Jina 本地部署不会向外部系统发起调用。

  • 不会调用 Hugging Face Hub 或任何模型注册表（已内置 HF_HUB_OFFLINE=1 和 TRANSFORMERS_OFFLINE=1）。

  • 没有许可证服务器。

  • 没有遥测或日志记录终端。

• 同时支持 CPU 和 GPU 硬件，并可自动检测 GPU。

• 所有 28 款 Jina AI 模型现已全部推出，包括最新的 jina-embeddings-v5-omni 多模态嵌入模型和 jina-reranker-v3。

• 可通过标准 AI API 架构访问：Jina API、OpenAI、Cohere、Voyage AI 和 Gemini。Jina On-Prem 是一个即插即用的解决方案，适用于基于这些架构构建的应用程序。

• 可直接替换由 EIS 提供的模型。Jina On-Prem 直接与 隔离式 Elastic 部署集成。

Jina AI 本地部署模型的硬件要求

不同的 Jina 模型对硬件的要求各不相同。下表显示了使用 GPU 设置的最新模型的建议。您不需要性能强于 NVIDIA L4 GPU 的硬件，不过对于 v5 嵌入模型，建议使用 A100。我们最新的嵌入模型目前至少需要 8 GB 显存。

如果同时使用多个模型，则所需的显存容量将会增加。请参阅“大小调整和硬件”页面了解更多信息。

如何使用 Docker 安装 Jina On-Prem

开始使用的最快方式是先安装 Docker（如果您尚未安装），然后按照Jina 本地部署快速入门页面上的说明操作。

所有 28 款 Jina 模型均提供了预构建 Docker 容器。下载其中一个并将其传输到您的目标部署环境，即可在不到 5 分钟内运行 Jina AI 模型。

对于多模态构建或自定义构建，或者要下载完整的依赖项集以便在容器外安装，请按照 打包指南 中概述的步骤操作。

您的 Jina 本地部署支持所有 Jina API 和 EIS 功能，以及通过 OpenAI、Cohere、Voyage AI 和 Gemini API 进行嵌入生成，因此可以使用标准接口集成到现有应用程序中。有关更多信息，请参阅 API 文档。

Jina 模型（包括随 Jina 本地部署安装的模型）采用多种许可条款，其中最新模型可在 CC BY-NC 4.0 许可下免费用于非商业用途。如需获取 Jina 本地部署的商业使用许可，请联系 Elastic 销售团队。