Scott Martens - Elasticsearch Labs

不到 5 分钟即可完成本地部署：Jina 嵌入模型现已支持本地部署

Scott Martens — Thu, 23 Jul 2026 00:00:00 GMT

所有 28 个 Jina AI 嵌入和重排序模型现已作为完全离线的 Docker 容器提供，用于本地部署，其中包括 jina-embeddings-v5-omni 和 jina-reranker-v3。下载一个，将其传输到本地隔离的或受防火墙保护的系统中，本地推理即可在五分钟内运行起来。这些容器是完全独立的，不会建立任何外部连接。不会对 Hugging Face 或任何模型注册表进行调用。同时也没有许可证服务器、遥测或日志记录终端。对于受监管行业、有数据主权要求或互联网访问不可靠或根本无法使用的环境，这消除了对第三方 AI 服务的依赖。Jina 本地部署支持 Elastic 推理服务 (EIS)、OpenAI、Cohere、Voyage AI 和 Gemini API 模式，因此现有应用程序无需修改代码即可运行。

最强大的 AI 模型在远程云安装上运行，通过 Web API 进行访问，这意味着您必须信任您的 AI 服务提供商的安全、服务可用性和稳定的价格。您很难兼顾对可靠性、隐私、可控成本和良好数据治理的合理需求，与日益强大、复杂且资源密集型的 AI 使用。

政府监管、法院裁决以及出于他人利益考虑而做出的商业决策，最近都导致对特定服务的访问受限。而且，即使您可以切换到其他服务，AI 模型也不是那种只要您想换就能随时替换的组件。使用语义嵌入的应用程序依赖于在查询时和数据摄取时能够访问相同的模型。无法访问嵌入模型意味着您的搜索系统将陷入瘫痪。

AI 定价模式加剧了这种风险。主要 AI 供应商最近披露的财务信息，让客户有充分理由对潜在的价格上涨感到担忧。依赖成本不可预测的产品，会给可能无法产生明确回报的资本密集型 AI 投资增加更多风险。

Jina 本地部署是 Elastic 应对这些挑战的解决方案。

谁需要本地部署 AI？

对您的 AI 模型进行本地托管和直接控制，支持各种技术需求、行业要求和商业利益。

本地安装可以减少您支付给 AI 服务提供商的费用，但会将硬件和可靠访问的成本转嫁给您的组织。根据您的使用量，它可能确实更便宜。但还有其他紧迫的原因促使您考虑自行运行 AI。如果下面描述的任何问题涉及您的企业，请考虑采用像 Jina 本地部署这样的本地 AI 解决方案。此列表并非详尽无遗。

用例

为什么选择本地部署

示例

隔离/高安全

无出站数据传输；完全网络隔离

国防、情报、机密研究

监管合规性

数据主权；无跨境传输或第三方暴露

医疗保健（《健康保险流通与责任法案》[HIPAA]）、金融、欧盟企业（《通用数据保护条例》[GDPR]）

延迟关键型

零网络依赖；对连接故障零容忍

机器人技术、边缘计算、车辆、船舶

成本可预测性

固定基础架构成本与按代币定价且未来费率不确定

高容量连续推理工作负载

责任降低

无第三方数据泄露；维护法律特权与注意义务

律师事务所、政府机构

为什么隔离的和受防火墙保护的系统需要本地部署 AI

隔离的和受防火墙保护的系统无法使用外部 AI API。Jina 本地部署完全在您的基础架构内运行，无出站连接。

对于管理特别敏感数据的组织而言，安全和隐私考量至关重要。如果您将敏感数据随意提供给可能缺乏足够安全措施或可能受制于外国政府要求的远程第三方，那么在保护敏感数据方面的投入就毫无意义。

处理敏感数据的组织中的员工通常会接受一些安全数据处理方面的培训，但是当他们在处理数据时，他们的 Web 浏览器可能会打开互联网上的任何页面，因此这种培训效果并不理想。无论是通过隔离网络还是限制极为严格的防火墙，隔离都是最有效的安全措施，但这使得使用任何类型的外部服务都变得困难。

适用于对延迟敏感和高可用性系统的本地部署 AI

软件即服务和云计算代表了一种折衷方案，既能保证在自己的计算机上提供高度便捷、可靠的服务，又能降低将问题外包给其他人的成本。但它们也存在延迟不稳定、服务中断以及出现故障时完全失控等问题。AI 服务也不例外。如果无法访问嵌入模型时搜索系统离线，那么这可能不再是一个好的折衷方案。

此外，依赖外部 AI 始终会带来一些难以预见或管理的风险。由于政治事件、恶劣天气或船舶拖锚压住水下光纤电缆等原因，互联网访问和网络延迟可能会在毫无预警的情况下下降。政府可以且近期已经通过出口禁令突然封锁对 AI 模型的访问。AI 服务提供商有时会撤回模型，以促使您切换到较新的模型。必须在外部服务的灵活性和可控成本与依赖风险之间进行权衡。

满足 GDPR、HIPAA 和数据主权合规要求的本地部署 AI

收集个人数据的组织受到越来越严格的监管，这些监管在不同司法管辖区之间往往有所不同，并且可能存在相互矛盾的要求。值得注意的是，HIPAA 规则对美国医疗保健提供商施加了非常严格的数据保护要求，而加拿大、欧盟以及许多亚洲司法管辖区强大的通用数据保护法律则要求所有处理个人信息的企业都必须安全地进行操作，并限制将此类数据传输给其他方或其他司法管辖区。如果外国实体在这些司法管辖区内有任何客户，这些规则甚至可以对其施加义务。金融机构通常会受到更为严格的规则约束，并且对于信息安全承担着与防范其他形式犯罪活动相同的直接责任。

监管合规性可能与第三方 AI 服务不兼容，尤其是在使用这些服务涉及跨境数据传输的情况下。

此外，近期发生的事件表明，当国际云运营商面临外国政府压力时，限制数据存储物理位置的规定可能并非可靠的保护手段。不同司法管辖区之间的本地法律可能会发生冲突，这不仅要求在本地进行数据存储和处理，还可能导致无法使用第三方服务。在某些情况下，唯一的解决方案是将您流程的所有部分（包括您的 AI 系统）都转为内部自主运营。

来自第三方数据传输的 AI 责任风险

数据保护法和公认的对敏感数据的注意义务通常会产生法律责任，有时甚至会产生非常严重的责任。您可能需要对第三方服务提供商处理您数据的行为承担责任。虽然法院和法律程序可能对不安全的服务提供商提供一些追溯保护，但这些补救措施对国家安全机构、执法部门或犯罪黑客来说既不可用，也通常无效。

对于政府而言，已经出现过跨境云服务提供商向外国行为体泄露敏感国家信息的情况。

但即使你不担心外国政府或黑客，而且你的外部 AI 服务提供商本身也是安全的，仅仅是他们是外部人员这一事实就可能造成责任风险。

例如，在大多数司法管辖区，律师与客户之间的沟通享有特殊的法律保护，律师事务所在记录或存储此类信息时承担着严格的责任。在美国，这种“律师与客户交流保密特权”非常著名，甚至成为了电影和电视剧情节的核心。但失去特权的一种途径是与没有特权的人交流信息，而最近的发展表明，外部 AI 服务提供商可能符合失去特权的条件。

至少在美国，仅仅通过互联网 API 使用第三方 AI 服务（例如嵌入提供索引服务的模型）就可能违反关键的保密规则。即使没有发生安全漏洞，律师事务所也可能仅仅因为使用外部托管软件而被起诉、受到处分或被吊销执照。

适用于离线、边缘和物理隔离系统的本地部署 AI

计算机系统隔离不仅仅是出于安全原因。例如，行驶中的车辆不能在任何关键功能上依赖互联网连接。船舶和飞机都拥有非常庞大的机载计算机系统，这些系统必须在没有互联网连接的情况下运行，因此无法使用外部 AI 服务。海上平台、荒野地区的远程设施，以及北极、南极和小岛上缺乏与全球网络充分物理连接的计算机服务，都是受益于在本地托管其所需全部服务的安装实例。随着 AI 在企业计算中的作用日益增强，解决这些局限性变得更加重要。

AI 在物理系统中的新兴应用（机器人技术和其他空间受限或以外部世界为中心的用例，如物流管理系统甚至超市收银台）可能会连接到全球互联网，但它们无法容忍连接故障或延迟峰值。如果它们依赖 AI 系统来运行，该 AI 系统就需要尽可能做到本地化和可靠。

谁不需要本地部署 AI？

远程软件服务和场外 AI 确实具有优势。运行 AI 模型可能需要昂贵且支持大量电力、以寿命极短而闻名的处理器。由于市场因素和外部经济冲击，目前获取高质量硬件尤为困难。在这种情况下，使用外部 API 支付代币费用，而不是承担本地 AI 高昂的资本成本，可能是明智之举。

对于偶尔使用的用户来说，外部 API 是最合理的选择。如果您使用 AI 模型主要是为了批量处理数据以进行分析，而不是运行一个必须时刻在线的搜索系统，那么投资资本密集型硬件和本地安装就没有什么意义。

此外，如果您的数据处理已经基于云，例如，出于可靠性和可访问性的原因，电子商务网站托管在云端，那么使用位于同一云基础架构中的 AI 服务可能比引入您自己的授权 AI 模型部署更具性价比。您已经依赖于云服务提供商，因此依赖其 AI 服务并不会增加太多的风险。

如果您的用例符合此描述，您可以在 EIS、AWS Marketplace 和 Google Cloud Platform 上获取 Jina AI 模型，以专门满足您的需求。

下表总结了关键因素。您的答案取决于您的数据、基础架构以及使用模式。

因素

首选本地部署

首选云 API

使用模式

连续或高容量推理

间歇性处理或批量处理

数据敏感性

受监管、主权或机密

无跨境或第三方限制

网络环境

隔离、受防火墙保护或不可靠

稳定、始终在线的互联网

现有基础架构

拥有或能够采购 GPU 硬件

已在云端托管，并配备同地部署的 AI

成本模型

固定硬件 + 许可；规模化生产可预测

按代币定价；前期投入较低，长期收益可变

延迟容忍度

无（机器人技术、边缘、实时）

网络波动是可接受的

运营责任

您的团队负责管理硬件和可用性

提供商负责管理硬件和更新；您负责管理集成

您必须根据自身具体情况和用例来考虑成本和收益，同时考虑到前一节中强调的适用于您的问题。成本效益分析无疑会随时间而变化。我们甚至无法预测 AI 行业的未来或硬件价格的短期走势。

推出 Jina 本地部署

对于能够从本地 AI 服务中受益的用户，我们推出了 Jina 本地部署，这是一个完全独立的安装套件，用于 Jina AI 的高性能模型。

Jina AI 的模型准确度可与规模大得多的嵌入式模型相媲美，从而降低了计算成本、内存占用和硬件要求。这使得它们成为希望或需要保持 AI 本地部署的用户的理想选择。针对各种规模的用例提供商业许可以及按比例定价的可扩展解决方案。

Jina 本地部署支持哪些 API 模式？

可以作为完整的依赖集合进行本地安装，也可以作为 Docker 容器进行安装和运行，几分钟即可完成。
Jina 本地部署安装不会调用外部系统。
- 不会调用 Hugging Face Hub 或任何模型注册表（已内置 HF_HUB_OFFLINE=1 和 TRANSFORMERS_OFFLINE=1）。
- 没有许可证服务器。
- 没有遥测或日志记录终端。
支持 CPU 和 GPU 硬件，并支持 GPU 自动检测。
所有 28 个 Jina AI 模型均已提供，包括最新的 jina-embeddings-v5-omni 多模态嵌入模型和 jina-reranker-v3。
通过标准 AI API 模式访问：Jina API、OpenAI、Cohere、Voyage AI 和 Gemini。Jina 本地部署是一个即插即用的解决方案，适用于基于这些模式构建的应用程序。
可直接替代 EIS 提供的模型。Jina 本地部署可直接与隔离的 Elastic 部署集成。

Jina AI 本地部署模型的硬件要求

不同的 Jina 模型所需的硬件要求各有不同。下表展示了使用 GPU 设置的最新模型的推荐配置。您不需要比 NVIDIA L4 GPU 更强大的设备，不过对于 v5 嵌入模型，建议使用 A100。我们最新的嵌入模型目前至少需要 8 GB 的 VRAM。

模型

最小 VRAM

如何使用 Docker 安装 Jina 本地部署

最快的开始方法是安装 Docker（如果您尚未安装），并按照 Jina 本地部署快速入门页面上的说明进行操作。

所有 28 个 Jina 模型均提供预构的 Docker 容器。下载其中一个并将其传输至您的安装目标，即可在不到 5 分钟的时间内运行 Jina AI 模型。

对于多模态或自定义构建，或者要下载在容器外部安装所需的完整依赖集，请按照打包指南中概述的步骤进行操作。

您的 Jina 本地部署安装支持所有 Jina API 和 EIS 功能以及通过 OpenAI、Cohere、Voyage AI 和 Gemini API 生成嵌入，因此可以使用标准接口集成到已有应用程序中。有关更多信息，请参阅 API 文档。

Jina 模型（包括通过 Jina 本地部署安装的模型）按多种许可条款提供，其中最新的模型可在 CC BY-NC 4.0 许可证下免费用于非商业用途。如需获得 Jina 本地部署的商业许可，请联系 Elastic 销售。

一个索引，涵盖所有媒体：jina-embeddings-v5-omni 正式发布

Scott Martens — Mon, 11 May 2026 00:00:00 GMT

jina-embeddings-v5-omni 将文本、图像、视频和音频整合到单个 Elasticsearch 索引中。v5-omni 套件扩展了同类最佳的jina-embeddings-v5-text 模型，通过创新的架构增加了视觉和音频编码，使文本主干完全相同，在一个非常紧凑的嵌入模型中提供了前沿的性能。

您现在可以为文本、图像、视频和录音创建高性能语义嵌入，涵盖近 100 种语言，并将它们用于分类、聚类、语义相似度测量和检索索引。如果您的数据以 PDF、录音、视频和文本的形式存在，您不再需要为每种格式单独建立数据管道。

jina-embeddings-v5-omni 系列是目前市场上最紧凑的嵌入模型，支持图片、语音、文本和视频。它提供：

jina-embeddings-v5-text的前沿级文本嵌入，用于检索、分析和 AI 代理应用。
用于视觉语义相似性、视觉理解和图像检索的同类最佳嵌入 。在所有参数规模为 10 亿（10⁹）的模型中，jina-embeddings-v5-omni-small 在图像基准测试中表现最佳，且优于我们之前的 jina-clip-v2 。只有少数几个具有 3 到 30 倍参数的模型可以击败它。
用于多语种视觉理解和检索的最先进嵌入技术，可击败规模比它大 20 倍的模型。
同类最佳的音频嵌入，在标准基准测试中，只有参数量是其两倍或更多的模型才能表现得更好。
支持视频，特别擅长定位视频片段中的物体和事件。

这项技术可应用于信息检索、文档处理和数据分析等各个领域。jina-embeddings-v5-omni 可打破存储在不同媒体孤岛中的信息壁垒，使其能够被 AI 智能体进行检索、分析和利用。在您的数据生态系统中，音频和视频、PDF、打印页面的扫描件以及信息图表中的信息，都与数字化文本处于同等地位。

和 jina-embeddings-v5-text 一样，这些模型有两种尺寸：small 和 nano。这两个模型都在其对应的纯文本版本基础上，通过增加额外的模块，实现了对音频和视觉输入的支持用户可以在加载时选择模块。此外，针对语义相似度、分类、聚类和信息检索等特定任务的扩展功能通过紧凑的低秩适配器 (LoRAs) 实现；这些适配器均已预载，用户可以在推理时直接选择使用。

两个模型的尺寸都非常精简。jina-embeddings-v5-omni-small 可以在配备常规 GPU 的服务器上运行，而 jina-embeddings-v5-omni-nano 的体积很小，可以在通用硬件上运行。这意味着可以节省大量的计算成本，并使得获得许可的本地安装及边缘处理成为可能，从而降低延迟并增强对自身数据的控制。

v5-omni 套件采用创新的模型设计和机器技术，能够通过已有的预训练模型来组合成新的嵌入模型，无需对它们进行重新训练。我们使用来自预训练且经过语言对齐的嵌入模型的编码器作为音频和视频媒体的输入预处理器，用于我们现有的 jina-embeddings-v5-text 模型套件。生成的模型能够为图像和录音生成嵌入，这些嵌入在语义上与其为文本生成的嵌入是兼容的。

v5-omni 模型生成的文本嵌入与 jina-embeddings-v5-text 相同（即，jina-embeddings-v5-omni-small 与 jina-embeddings-v5-text-small；以及 jina-embeddings-v5-omni-nano 与 jina-embeddings-v5-text-nano），因此您可以将现有的文本检索存储库扩展到多媒体应用程序，而无需重建索引。

集成的编码器全部源自开源权重模型。对于图像和视频，我们使用来自 Qwen3.5 模型的编码器：

对于jina-embeddings-v5-omni-nano ，我们使用来自 Qwen3.5-0.8B 中经过微调的 SigLIP2 Base 编码器。
对于 jina-embeddings-v5-omni-small ，我们使用来自 Qwen3.5-2B 中经过微调的 SigLIP2 So400m 编码器。
为了实现音频支持，我们为 small 和 nano 版添加了从 Qwen2.5-Omni-7B 中提取的 Whisper-large-v3 编码器。

我们通过训练跨模态投影器，将这些媒体专用的编码器与文本处理主干网络连接了起来。这些投影器将其原生输出转换为与 jina-embeddings-v5-text 兼容的输入嵌入。jina-embeddings-v5-omni 模型中唯一新训练的部分是这些投影器中的权重。

这种架构意味着我们只需要为四个 LoRA 适配器中的每一个训练跨模态投影器，其参数量在 jina-embeddings-v5-omni-small 模型中约为 550 万，在 jina-embeddings-v5-omni-nano 模型中则低于 350 万。这种方法可最大限度地减少连接不同嵌入模型所需的额外训练，通过利用各模型原有的专业化训练成果，打造出了一套极其精简、高性能且模块化的嵌入套件。

选定的模型属性

输入/输出

型号名称

输入上下文窗口大小

嵌入大小

jina-embeddings-v5-omni-small

32,768 个词元*

1024 维（最小值：32）

jina-embeddings-v5-omni-nano

8,192 个标记*

768 个维度（最小值：32）

* 请参见下文的 使用 jina-embeddings-v5-omni 部分，了解非文本媒体如何进行切片化的更多信息。

大小

型号名称

总大小

jina-embeddings-v5-omni-small（纯文本基础模型 + 4 个 LoRA 适配器）

700M 参数

图像/视频支持（SigLIP2 So400m 编码器提取自 Qwen3.5-2B）

1.006B 参数

音频支持（Whisper-large-v3 编码器提取自 Qwen2.5-Omni-7B）

1.354B 参数

亦或是两种情况都有

1.660B 个参数

LoRA适配器（每个）

20M

jina-embeddings-v5-omni-nano（纯文本基础模型 + 4 个 LoRA 适配器）

266M 参数

图像/视频支持（SigLIP2 Base 编码器提取自 Qwen 3.5-0.8B）

354M 个参数

音频支持（Whisper-large-v3 编码器提取自 Qwen2.5-Omni-7B）

916M 参数

亦或是两种情况都有

1.004B 个参数

LoRA适配器（每个）

* 请参见下文的 使用 jina-embeddings-v5-omni 部分，了解非文本媒体如何进行切片化的更多信息。

特定任务训练

jina-embeddings-v5-omni 系列支持与 jina-embeddings-v5-text 相同的任务专用 LoRA 适配器：

任务

示例用法

检索

信息检索既可以独立使用，也可以结合其他检索和候选评估技术共同使用。借助 v5-omni 模型，您只需通过一个索引、一次查询，即可同时检索音频、视频和图像。

聚类

跨所有媒体的主题发现与自动主题组织。

分类

分类、情感分析和相关任务。

语义相似度

跨媒体数据去重、推荐系统、相关媒体、查找与语音匹配的文本、识别翻译以及类似任务。

输出嵌入取决于选定的任务类别。例如，您不应该将检索导向的嵌入用于聚类任务，也不应该将语义相似度的嵌入用于分类任务。

多媒体、多模态、多语言、多功能

为了展示 jina-embeddings-v5-omni 的功能，我们以两部小说的著名开篇为例，并测量它们的语义相似度：

《双城记》（查尔·狄更斯）

It was the best of times, it was the worst of times, it was the age of wisdom, it was the age of foolishness, it was the epoch of belief, it was the epoch of incredulity, it was the season of Light, it was the season of Darkness, it was the spring of hope, it was the winter of despair, we had everything before us, we had nothing before us, we were all going direct to Heaven, we were all going direct the other way—in short, the period was so far like the present period, that some of its noisiest authorities insisted on its being received, for good or for evil, in the superlative degree of comparison only.

《傲慢与偏见》（简·奥斯汀）

It is a truth universally acknowledged, that a single man in possession of a good fortune must be in want of a wife. However little known the feelings or views of such a man may be on his first entering a neighbourhood, this truth is so well fixed in the minds of the surrounding families, that he is considered as the rightful property of some one or other of their daughters.

使用 jina-embeddings-v5-omni-small及其语义相似度适配器，这些文本的相似度为 0.5329。

如果不进行对比，这个数值就没有太大意义。因此，让我们使用相同的模型和适配器，将这两段文本与它们的法语翻译版本进行对比：

跨语言文本的语义相似度分数

《双城记》（英语）

傲慢与偏见（英语）

《双城记》（法语）（《Paris et Londres en 1783》，翻译：H. Loreau）

0.9095

0.5074

《傲慢与偏见》（法语）（《Orgueil et Préjugés》，翻译：Leconte 和 Pressoir）

0.4826

0.8784

这两段文本与其对应的翻译版本之间表现出了极高的相似度，远高于它们与同语言或其他语言下的不同文本之间的相似度。这反映了 jina-embeddings-v5-text-small 极其出色的多语言语义嵌入性能，而这一性能已被原封不动地整合进了 jina-embeddings-v5-omni-small 中。

向 jina-embeddings-v5-omni 增加多媒体支持，意味着我们可以将这一实验扩展到完全不同类型的数据上。例如，我们从旧印刷版本中获取了两本小说的第一页扫描图：

图 2：《双城记》，19 世纪无日期版本；《傲慢与偏见》，1903 年麦克米伦版。

让我们再次使用语义相似度适配器，将文本与扫描件进行比较：

文本和图像之间的语义相似度评分

双城记》（扫描版）

《傲慢与偏见》（扫描版）

《双城记》（文本）

0.7336

0.4891

《傲慢与偏见》（文本）

0.4804

0.7213

您会发现，语义相似度分值明显更倾向于那些与图像内容相匹配的文本。

我们还可以将文本与引用这些文本的社交媒体帖子和模因的截图进行比较，并使用相同的设置：

图 3：Elon Musk 引用《双城记》的推文，以及引用《傲慢与偏见》著名开篇的表情包。

文本和图像之间的语义相似度评分

双城记

傲慢与偏见

马斯克推文（图片）

0.7156

0.4912

Keep Calm 梗图（图片）

0.4555

0.6244

我们也可以对语音执行相同的操作。我们获得了两种文本的英语和法语朗读录音：

跨语言的文本与音频之间的语义相似度分值

双城记（英语音频）

双城记 (法语有声)

傲慢与偏见（英语音频）

傲慢与偏见（法语配音）

《双城记》（英文文本）

0.3816

0.3106

0.1607

0.1774

《双城记》（法语文本）

0.3528

0.3253

0.1598

0.1721

《傲慢与偏见》（英语文本）

0.1910

0.1682

0.3511

0.3398

《傲慢与偏见》（法语文本）

0.1667

0.1474

0.3018

0.3702

这种多语言和多媒体能力也延伸到信息检索。

jina-embeddings-v5-omni 模型的检索适配器实现了非对称检索。这意味着它们嵌入查询的方式与嵌入检索目标文档的方式不同，因此跨模式查询总是具有“方向性”的，即查询在一种媒体中，文档在另一种媒体中，这导致如果您将两者调换（即反向查询），得到的分值也会有所不同。

下表显示了《双城记》和《傲慢与偏见》的文本、音频和页面扫描图像的检索得分，其中《双城记》的文本（英文）被编码为查询：

（文本搜文本）

文档

检索得分

《双城记》（法语文本节选）

0.7597

《傲慢与偏见》（英文文本节选）

0.1482

《傲慢与偏见》（法语文本节选）

0.0523

文本搜图像

文档

检索得分

《双城记》（英文页面扫描件）

0.5517

《双城记》（法文版扫描）

0.3576

《傲慢与偏见》（英文版扫描图）

0.1917

文本到音频

文档

检索得分

双城记（英语音频）

0.3277

双城记 (法语有声)

0.1980

傲慢与偏见（英语音频）

0.1419

傲慢与偏见（法语配音）

0.1759

用户还可以反向运行查询，进行音频搜文本和图像搜文本的检索。

以下是使用《双城记》的英语音频作为查询以及各种文本作为文档的分数：

图片搜文本

文档

检索得分

《双城记》（英文文本节选）

0.3352

《双城记》（法语文本节选）

0.2650

《傲慢与偏见》（英文文本节选）

0.1626

《傲慢与偏见》（法语文本节选）

0.1385

使用《双城记》（英文）第一页扫描页作为查询得出的分数：

音频转文本

文档

检索得分

《双城记》（英文文本节选）

0.5304

《双城记》（法语文本节选）

0.4845

《傲慢与偏见》（英文文本节选）

0.1467

《傲慢与偏见》（法语文本节选）

0.0761

视频搜索

jina-embeddings-v5-omni的视频索引与搜索功能为 Elasticsearch 数据库带来了新的能力，但它也受到许多与处理文本时相同的限制/警告约束。为一部长篇电影生成单一的嵌入就像为一部长篇小说生成单一的嵌入一样：详细的信息会被淹没，导致生成的嵌入可能会与许多风马牛不相及的查询产生虚假匹配。

如果您对《指环王》的全文（约 50 万字）进行嵌入，无论您搜什么，它可能都会显示“高度匹配”。同样，如果您为一部两小时的好莱坞电影编制索引，您会得到很多虚假的匹配并丢失所有细节。因此 jina-embeddings-v5-omni 是处理短视频剪辑的理想选择。

在这个示例中，我们下载了 1961 年电影《蒂凡尼的早餐》的预告片。这段预告片时长仅为 158 秒，且属于公共领域。您可以在互联网档案馆上观看这段预告片。

图 4：《蒂凡尼的早餐》剧场版海报。

我们使用 PySceneDetect 将预告片分割成 28 个独立场景，长度从 1.877 秒（45 帧）到 18.393 秒（441 帧）不等。场景检测虽然不完美，但它提供了一种足够的机制，可以将视频分割成易于检索的小片段。然后我们使用 jina-embeddings-v5-omni-small 为 28 个片段中的每个片段生成了文档嵌入，以便测试文本查询在寻找视频中特定元素的有效性。

例如，查询 “cat” 会返回以下片段作为前三个结果。包含猫的那一个场景位于顶部，得分为 0.1634：

观看片段一。

次高匹配的片段得分为 0.1237，要低得多：

观看片段二。

您还可以查询动作。如果使用字符串“kiss”进行查询，前四个匹配结果都包含亲吻动作：

观看片段三。其得分为0.2864。

分数：分别对应第二匹配项（0.2494）、第三匹配项（0.2099）和第四匹配项（0.2068）

而且您可以搜索视频中显示的文本，比如“Buddy Ebsen”，它只出现一次。jina-embeddings-v5-omni-small 能够轻松将其识别为最佳匹配项，得分为 0.3885，显著高于次佳匹配项：

巴迪·埃布森剪辑。

可视化文档检索

Jina AI 多模态嵌入模型在视觉文档处理方面表现优异，在多语言视觉文档处理方面处于最先进水平。这意味着要处理包含文本、图形和结构化信息的图像数据。重要数据通常以印刷扫描件、PDF文件、图表、技术图纸、截图、图片、信息图表等形式存在。这类图像通常是机械合成或计算机生成的。它们通常无法在不损失含义的情况下还原为文本，且不适合那些专为自然场景摄影设计的计算机视觉模型。

jina-embeddings-v5-omni的嵌入包括图像中的事物、印在图像上的文字以及两者之间的关系。视觉文档检索使得对包含物体和相关文本的丰富图像进行索引成为可能，并且可以跨语言进行索引。

我们使用来自不同电子商务网站的四张产品图片举例：

现在，让我们看看 jina-embeddings-v5-omni-small 对这四张图片在“拉面”这个查询词上的得分表现如何：

Campbell's Chunky 鸡肉面（加拿大包装）

Kraft Dinner (加拿大包装)

Maruchan 味噌口味新鲜拉面（日本包装）

Birkel 意面（德国包装）

0.0872

0.0711

0.1123

0.0886

它很快就找到了日本产品的匹配项。

现在，让我们尝试查询“マカロニチーズ”（日语的通心粉和奶酪）：

Campbell's Chunky 鸡肉面（加拿大包装）

Kraft Dinner (加拿大包装)

Maruchan 味噌口味新鲜拉面（日本包装）

Birkel 意面（德国包装）

0.2207

0.3487

0.2760

0.2674

它能像英语查询一样轻松地找到正确的匹配。

jina-embeddings-v5-omni 也擅长解读信息丰富的图像，例如图表。如需查看实际效果，请参阅以下两个柱状图：

两张图表，左边的图表 1 关于全球疾病负担，右边的图表 2 关于犬种寿命。

让我们看看使用 jina-embeddings-v5-omni-small 进行检索时，这两张图表与两个特定的文本问题（每个问题仅与其中一张图表相关）的匹配程度如何：

文本问题

图表 1

图表2

“老年人常见的健康问题有哪些？”

0.2787

0.1099

“狗能活多久？”

0.1350

0.3564

您还可以反向搜索，使用图像作为查询来查找文本。下表显示了从主题相关的科学论文摘要中提取的目标文档及其检索分数，使用图表图像作为查询：

文本 1

文本2

长期以来，生活在极端贫困中的人群健康一直是全球发展工作的重点，在可持续发展目标时代，这仍然是一个优先事项。然而，近二十年来，尚未有人系统地尝试量化这一特定人群中疾病负担的程度和原因。我们按病因估算了全球最贫困的十亿人口的患病率，并将其与高收入人群的相应患病率进行比较。

伴侣犬是表型多样性最为丰富的物种之一。品种间的差异不仅体现在形态和行为方面，还体现在寿命上。尽管如此，很少有研究致力于评估不同品种之间的寿命期望变化或评估长寿的系统发育特征的潜力。

图表 1

0.2377

0.1357

图表2

0.0673

0.3576

功能

可截断嵌入

我们利用 Matryoshka 表征学习技术训练了支撑 jina-embeddings-v5-omni 的骨干 jina-embeddings-v5-text 模型，因此您可以从这些模型中截断文本和多媒体嵌入。

默认情况下，jina-embeddings-v5-omni-small 生成 1024 维的嵌入，以 16 位精度存储时，每个嵌入占用 2KB 的存储空间。jina-embeddings-v5-omni-nano 的嵌入有 768 个维度，占用大约 1.5KB。您可以将这些嵌入的大小减少到 32 维（64 字节），在一定程度上牺牲了准确性，但大大提高了处理速度并降低了资源使用成本。通常情况下，将嵌入大小减半会使准确率下降约 2%，降至 128 维以下时，准确率下降速度会更快。

截断嵌入允许用户根据自身的用例，在准确性、速度和成本之间做出最佳权衡。

量化

jina-embeddings-v5-omni 系列还继承了其 jina-embeddings-v5-text骨干在量化处理下的强大性能。通过存储精度较低的数值，这能进一步提升速度，并降低计算和存储成本。我们已经训练他们使用 Elasticsearch 的 Better Binary Quantization (BBQ) ，以提供与未量化嵌入几乎相同的性能。在大规模文本嵌入基准测试 (MTEB) 检索基准套件中，二值化与完整的 16 位值相比，性能降低不到 3%，却节省了 93% 的空间，并显著提升了处理和检索速度。

跨语言性能

jina-embeddings-v5-text的广泛多语言训练延续到了 jina-embeddings-v5-omni 中，其中 jina-embeddings-v5-text-small 的预训练涵盖近 100 种语言，而 jina-embeddings-v5-text-nano 则涵盖了 15 种主要全球语言。对于音频媒体，Whisper-large-v3 模型在其训练中大约涵盖了 100 种语言，而集成在 jina-embeddings-v5-omni-small 和 -nano 中经过 Qwen 修改后的 SigLip2 视觉模型则使用来自 201 种不同语言和方言的数据进行训练。

基准性能

文本

jina-embeddings-v5-omni 模型在仅用于文本时与 jina-embeddings-v5-text 模型相同。在语义文本嵌入领域，它们在各自的参数规模类别中，均是 MMTEB 基准测试套件中的佼佼者。

图 5：与竞争模型相比，jina-embeddings-v5-omni 在文本基准测试中的大小和性能。所引用的大小未加载其他媒体的扩展。

视觉语义相似度

在标准的视觉语义相似度基准测试中，jina-embeddings-v5-omni 的得分在同等规模的模型中名列前茅。jina-embeddings-v5-omni 模型在同等规模的公开开放权重模型中表现出迄今为止最佳的性能。jina-embeddings-v5-omni-small 在视觉语义相似度任务中仅被三倍其大小的模型击败，而 jina-embeddings-v5-omni-nano 仅被 jina-embeddings-v5-omni-small 和比它大 10–25 倍的模型击败。

图 6：jina-embeddings-v5-omni-small 、jina-embeddings-v5-omni-nano 和可比模型的视觉语义相似度基准平均得分，以及它们的大小（包括视觉扩展）。

可视化文档检索

jina-embeddings-v5-omni-small 在参数量保持在 10 亿以下的同时，它的性能足以媲美参数量为 30 亿和 70 亿的模型。jina-embeddings-v5-omni-nano 在同类规模中同样表现出众，其性能甚至超越了规模比它大 10 到 60 倍的模型。

图 7：ViDoRe 视觉文档检索在六个基准测试中的平均得分：DocVQA、InfoVQA、ShiftProj、SynAI、Tabfquad 和 TatDQA。

音频检索

在标准 MAEB（大规模音频嵌入基准测）音频检索基准测试中，jina-embeddings-v5-omni-small 和 jina-embeddings-v5-omni-nano 均名列前茅。只有非常大的模型——比 jina-embeddings-v5-omni-small 大三倍以上——才能超过它的得分。

图 8：MAEB 音频检索基准测试中各种模型的平均分数。

虽然LAION的 larger_clap_general 模型在参数更少的情况下比jina-embeddings-v5-omni-nano的分数有所提升，但它是一个纯音频模型，没有v5-omni套件中额外的多模态功能。

视频

在视频方面，jina-embeddings-v5-omni-small 擅长找到视频中与文本查询匹配的位置。Charades-STA 和 MomentSeeker 测试是该任务的标准基准测试。从下方图表可以看出，尽管 jina-embeddings-v5-omni-small 的尺寸要小得多，但它在同类开放权重模型中得分最高。

图 9：不同模型的 Charades-STA 分数及大小。

图 10：不同模型的 MomentSeeker 分数及大小。

我们还将 jina-embeddings-v5-omni-small 与 ByteDance 的 Seed 1.6 进行比较，后者是一个参数规模未披露的封闭权重模型。在 Charades-STA 基准测试中，我们的模型大幅领先于 Seed 1.6；在 MomentSeeker 上我们的模型则几乎与其持平。

模型

Charades-STA 得分

MomentSeeker 分数

seed-1.6-embedding

29.30

59.30

jina-embeddings-v5-omni-small

55.57

58.93

优势与局限性

jina-embeddings-v5-omni 模型通过多种方式扩展用户对数字化信息的索引、搜索和分析能力，特别是：

从文本查询中进行多语言语音检索。
PDF、扫描和可视化文档搜索。
视频时序定位，即从视频中识别出与自然语言文本描述相匹配的部分。
音频类型分类，包括音乐类型。
基于场景信息与目标识别的图像分类。

在其他一些领域的表现则较为有限。也许可以使用 jina-embeddings-v5-omni 来完成这些任务，但我们尚未进行相关训练，结果可能不佳。

我们正在积极改进这些领域的技术：

根据自然语言描述查找特定视频。
图像到图像的语义相似度与检索。
语音中的意图分类，例如识别语音指令。
处理混合媒体输入，即图像和随附的文本，或音频、图像和文本的组合。

使用 jina-embeddings-v5-omni

此模型套件支持通过三个入口点输入：文本、音频以及图像和视频。jina-embeddings-v5-omni 运行于一个框架内，该框架可转换各种标准格式并进行其他预处理。

我们使用初始 SigLip2 版本中提供的相同 NaFlex 方法来处理图像：如果输入图像小于 262,144 像素（相当于 512x512 分辨率），则会将其放大，直到超过这个最小值；如果图像大于 3,072,000 像素，则会将其缩小，直到小于这个最大值。转换过程确保图像的高度和宽度均为 14 像素的倍数，并尽可能减少宽高比变形以实现这一目标。结果被分割成 28x28 像素的块，因此总块数是覆盖图像所需的 28x28 方块的数量。每一块在推理时被视为单个词元，并且每个图像输入都由特殊的开始和结束词元来划分单个图像。

jina-embeddings-v5-omni 模型修改视频分辨率的方式与修改图像的方式相同（见上文），我们从视频中最多提取 32 个帧。如果视频有超过 32 帧（这很可能，因为标准格式通常至少每秒 24 帧），我们会均匀分布我们提取的帧。然后，视频预处理器每两帧生成一组词元，这组词元的数量等同于覆盖视频画面所需的 28x28 像素方块的总数。

图11：jina-embeddings-v5-omni 从视频中提取 32 个等距帧。如果您的视频很长，这意味着会丢失很多内容。

有关视频预处理的更多详细信息，请参阅 Siglip 2 技术文档。

音频词元化遵循 Qwen-2.5-Omni 内置的方法：声音文件被切割成 30 秒的段落；如果长于 30 秒，则重新采样到 16kHz，转换为 128 通道的梅尔频谱图。每 40 毫秒被视为一个词元，因此每 30 秒的片段被处理为 750 个词元，每 40 毫秒音频一个词元，此外还带有专门的开始和结束标记，用以划分单个样本。

有关音频预处理的更多详细信息，请参阅 Qwen-2.5-Omni 技术报告。

可用性

jina-embeddings-v5-omni-small 和 jina-embeddings-v5-omni-nano 均可通过 Elastic Inference Service（EIS）、调用 Jina API 和下载进行本地安装（small 和 nano）进行使用。模型权重可免费分发，供用户在非商业许可下试用。如需商业用途，请联系 Elastic 销售。

开始使用

如要将 jina-embeddings-v5-omni 用于文本，您可以像使用 jina-embeddings-v5-text 一样，通过 semantic_text 字段进行集成。只需将 inference_id 设置为 .jina-embeddings-v5-omni-small 或 .jina-embeddings-v5-omni-nano 即可。请参阅参考指南以获取说明。

要使用 jina-embeddings-v5-omni 为其他媒体生成嵌入，您需要使用推理 API。例如：

POST _inference/embedding/.jina-embeddings-v5-omni-small { "input": [ { "content": { "type": "image", "format": "base64", "value": "data:image/jpeg;base64,..." } }, { "content": { "type": "text", "value": "Some text to create an embedding" } } ] }

对于 jina-embeddings-v5-omni-nano，请将 POST URI 更改为 _inference/embedding/.jina-embeddings-v5-omni-nano。

如要对其他媒体中的文档进行编码，或生成用于分类或集群的嵌入，您需要创建推理端点并使用 jinaai 服务。

对于查询，请使用如下示例中的查询构建器。将 inference_id 的值替换为 .jina-embeddings-v5-omni-nano，即可使用 nano 模型，而不是 small 模型。

POST my-index/_search { "knn": { "field": "dense-vector-field", "k": 10, "num_candidates": 100, "query_vector_builder": { "embedding": { "inference_id": ".jina-embeddings-v5-omni-small", "input": { "type": "image", "format": "base64", "value": "data:image/jpeg;base64,..." } } } } }

有关更多信息，请参阅查询生成器文档。

如要通过 jina-embeddings-v5-omni 使用 BBQ，请按照 BBQ 索引的说明操作。

jina-embeddings-v5-text：用于搜索和智能应用的紧凑且最先进的文本嵌入

Scott Martens,Sofia Vasileva — Mon, 23 Feb 2026 00:00:00 GMT

Jina AI 和 Elastic 正在发布 jina-embeddings-v5-text，这是一系列新的、高性能、紧凑的文本嵌入模型，在所有主要任务类型中，其性能在同等规模的模型中处于最先进水平。

该系列包括两个型号：

jina-embeddings-v5-text-small
jina-embeddings-v5-text-nano

这些模型是创新的嵌入模型新训练方法的成功结果。它们的性能优于规模是其数倍的模型，节省了内存和计算资源，并更快地响应请求。

jina-embeddings-v5-text-small 模型拥有 6.77 亿个参数，支持 32,768 个令牌的输入上下文窗口，并默认生成 1,024 维的嵌入。

jina-embeddings-v5-text-nano 其大小约为同类产品的三分之一，拥有 2.39 亿个参数和 8,192 个令牌的输入上下文窗口，并生成 768 维的嵌入。

型号名称

总大小

输入上下文窗口大小

嵌入大小

jina-v5-text-small

677M 参数

32,768 个令牌

1024 维度

jina-v5-text-nano

239M 参数

8,192 个令牌

768 维度

这两个模型在整体 MMTEB（多语言 MTEB）基准性能方面是同类中最好的。在参数量少于 5 亿的模型中，jina-embeddings-v5-text-nano 表现最佳，尽管其参数量不足 2.5 亿，而 jina-embeddings-v5-text-small 模型是参数量少于 7.5 亿的多语言嵌入模型中的领先者。

这些模型可通过 Elastic 推断服务 (EIS)、在线 API 获得，并支持本地托管。有关如何访问 jina-embeddings-v5-text 模型的说明，请参阅以下“入门”部分。

嵌入模型和语义索引显著提高了搜索算法的准确性，但在涉及语义相似性和意义提取的任务中也有各种其他用途，例如：

查找重复文本。
识别释义和翻译。
发现主题。
推荐引擎。
情感和意图分析。
垃圾邮件过滤。
还有更多。

功能

这个新型号系列具有多项旨在提高相关性和降低成本的功能。

任务优化

我们针对四种广泛的任务类型优化了 jina-embeddings-v5-text 模型：

任务

示例用例

检索

使用自然语言查询进行搜索，并从文档集合中检索出最相关的匹配项。

文本匹配

语义相似性、去重、释义与翻译对齐等。

聚类

发现主题，自动组织文件集合。

分类

文档分类、情感和意图检测、类似任务。

针对一项任务进行优化通常意味着必须在另一项任务上做出妥协，因此大多数嵌入模型仅在某一种任务上具有竞争力。但 jina-embeddings-v5-text 模型能够通过训练特定任务的低秩适配 (LoRA) 适配器在所有四个领域实现专业化，而不会相互影响。

LoRA 适配器是一种用于 AI 模型的插件，它可以显著改变模型的行为，同时仅略微增加模型的总体大小。与为每个任务都配备一个拥有数亿参数的完整模型不同，jina-embeddings-v5-text 模型系列允许您仅使用一个带有紧凑型 LoRa 适配器的模型来完成每项任务。这节省了内存、存储空间和推理成本。

截断嵌入

我们使用套娃式表征学习对 jina-embeddings-v5-text 模型进行了训练，这种方法能让您在几乎不影响嵌入质量的情况下将其压缩到更小的尺寸。

默认情况下，jina-embeddings-v5-text-small 会生成 1024 维嵌入向量，每个向量由 16 位数字表示，使每个嵌入大小为 2KB。对于大量文档集合而言，这可能需要存储大量数据，而在充满嵌入向量的向量数据库中进行搜索，其复杂度与数据库的大小以及每个存储向量的维度数都成正比。

但您可以将嵌入的大小减半（丢弃 1,024 维度中的 512 维），这样占用的空间减半，而搜索速度将翻倍。这会对性能产生影响。丢弃信息会降低精确度。但如下图所示，即使去掉一半的嵌入，性能也只是略有下降：

只要您的嵌入至少有 256 维，精确度损失就会相当小。然而，如果低于这一水平，相关性和准确性就会迅速下降。

通过这种截断嵌入方法，用户可以在准确性和计算成本之间自行权衡。它为您提供了从搜索 AI 中大幅提高效率和节约成本的工具。

稳健量化

量化是另一种缩小嵌入尺寸的方法。量化不是丢弃嵌入中的部分数据，而是降低嵌入中数字的精度。jina-embeddings-v5-text 模型以 16 位数字生成嵌入，但我们可以对这些数字进行四舍五入，从而降低其精度和存储所需的位数。在最极端的情况下，我们可以将每个数字缩减为一位（0 或 1），将 jina-embeddings-v5-text 的默认 1024 维嵌入从 2 千字节压缩到 128 字节，仅通过二进制量化就实现了 94% 的压缩率。这与截断一样，能大幅节省内存和计算成本。然而，和截断一样，量化也会使嵌入的准确性降低。

我们已训练了 jina-embeddings-v5-text 模型，通过将精度损失降至最低，使这些模型与 Elasticsearch 的更优的二进制量化一起工作。对这些模型的二值化嵌入进行的基准测试表明，其性能几乎与未二值化的等效模型相当。请参阅技术报告，以获取有关二值化性能的详细消融研究。

多语言性能

许多嵌入模型是多语言的，因为它们已在包含大量语言的材料上进行了训练。但这并不意味着它们在所有支持的语言中都有同样出色的表现。

我们在 MMTEB 多语言基准测试中确定了 211 种语言，并将它们区分开来，以便能够逐个语言地将我们的模型与类似模型进行比较。下图以热力图的形式总结了我们的结果。每个补丁都是一种语言（通过 ISO-639 编码识别），颜色越绿，表明该模型的表现与同类模型的平均表现相比越好：

虽然不同语言的准确性各不相同，但 jina-embeddings-v5-text 模型在世界大多数语言中都处于领先或接近领先地位。

有关多语言性能的详细信息，请参阅 jina-embeddings-v5-text 技术报告。

Elastic 中的 Jina：用于搜索的最先进的原生 AI

借助 EIS 上的 jina-embeddings-v5-text 模型，您可以在 Elasticsearch 中原生运行高性能多语言嵌入模型，并享受完全托管、GPU 加速的推理服务，而无需配置或扩展基础设施。jina-embeddings-v5-text 模型通过采用最新的 AI 技术，以紧凑的多语言模型扩展了不断增长的 EIS 模型目录。这些模型在信息检索和标准数据分析基准方面拥有最先进的性能，并提供了无与伦比的全球多语言支持。

两种模型的大小相差很大，用户可以根据自己的应用需求和预算来选择最合适的模型。此外，jina-embeddings-v5-text 模型拥有强大的嵌入功能，即使截断为较小尺寸或量化为较低精度时仍能保持性能，从而为进一步节省存储和计算成本以及处理延迟提供了机会。

借助 jina-embeddings-v5-text 系列、Jina Reranker 以及 Elastic 的快速向量和 BM25 搜索，用户现在可以使用 Elastic 提供的端到端、最先进的混合搜索功能。当您需要最相关的结果时，无论是用于检索增强生成 (RAG) 管道、搜索应用程序还是数据分析，Elastic 与 Jina 搜索 AI 模型都能提供可靠且经济高效的优质服务。

开始使用

jina-embeddings-v5-text 模型已完全集成到 EIS 中，您可以在创建索引时将 type字段设置为semantic_text，并在 inference_id 字段中指定模型（jina-embeddings-v5-text-small 或jina-embeddings-v5-text-nano），如本示例所示：

PUT multilingual-semantic-index { "mappings": { "properties": { "content": { "type": "semantic_text", "inference_id": ".jina-embeddings-v5-text-small" } } } } # Ingest data about France POST multilingual-semantic-index/_doc { "content": "The capital of France is Paris"} GET multilingual-semantic-index/_search { "query": { "semantic": { "field": "content", "query": "What is the French capital?" } } }

Elasticsearch 在索引和检索过程中会自动选择合适的 LoRA 适配器。嵌入维度（请参阅上文“截断嵌入”部分）可以在创建自定义推理端点时设置。

有关使用 jina-embeddings-v5-text模型的更多信息，请参阅 Elasticsearch 文档。