logo

将 AI 搜索体验构建到您的应用程序中

Elasticsearch Relevance Engine™ (ESRE) 旨在为基于人工智能的搜索应用程序提供强大支持。使用 ESRE，您可以应用具有卓越相关性的开箱即用型语义搜索（无需域适应），与外部大型语言模型 (LLM) 集成，实现混合搜索，并使用第三方或您自己的转换器模型。

开始免费试用
Video thumbnail

了解如何轻松开始设置 Elasticsearch Relevance Engine。

观看快速入门视频

使用 ESRE 构建基于 RAG 的高级应用程序。

注册参加培训

使用私有的内部数据作为上下文，通过生成式 AI 模型的功能，针对用户的查询提供最新的可靠响应。

观看视频

面向所有开发人员的 AI

借助 AI 提升搜索体验

无论您的专业水平如何，都可以通过 ESRE 为应用程序提供先进的 AI 相关性功能。ESRE 有一套功能，可以帮助您开始使用 AI，或在现有 AI 经验的基础上进一步深入。您可以灵活掌控，并按您认为合适的方式部署 Machine Learning 和生成式 AI 搜索应用。

  • 刚接触语义搜索？

    对您的应用程序运用语义搜索不需要深厚的专业知识。使用 Elastic Learned Sparse Encoder 模型，可以获得业内卓越的开箱即用型语义搜索体验。通过简化的部署过程，您可以快速开始运用语义搜索，无需进行繁重的训练，也无需维护 Machine Learning 模型。

  • 熟悉嵌入和搜索向量？

    将非结构化数据转换为向量嵌入，使用近似最近邻搜索对其进行高效搜索。在上下文窗口中结合您自己的特定域数据，以提高 LLM 的类人输出的相关性。

  • 使用您自己的转换器模型

    既可使用 Eland Python 库来引入您自己训练好的 Machine Learning 模型，也可使用公共存储库中的第三方模型，比如 HuggingFace。从各种受支持的架构中进行选择，以满足您的需求。

Elasticsearch Relevance Engine

Elasticsearch — 一体化向量搜索引擎

生成嵌入。存储、搜索和管理向量。使用 Elastic 自己的 Learned Sparse Encoder Machine Learning 模型进行语义搜索。采集所有类型的数据。与快速发展的大型语言模型集成。

  • RRF 混合排名

    RRF（倒数排序融合）是一种结合多个检索系统的文档排名的方法。在不久的将来，RRF 将支持对 BM25 等稀疏向量模型结果和 Elastic 检索模型的结果进行混合，从而提供同类最佳的零样本排序方法。通过使用 RRF 的混合排名，可让您毫不费力地调整来自多个检索器的搜索结果。

    了解如何使用 RRF 执行混合搜索

  • Elastic Learned Sparse Encoder

    我们的新模型提供了高度相关的开箱即用型语义搜索，无需进行域适应。在配置搜索应用程序时，只需单击一下即可使用。Elastic Learned Sparse Encoder 可使用相关的关键字和相关性分数来扩展查询，使扩展后的查询易于解读，并可立即使用。

    阅读博文

  • 检索增强生成

    使用您的私有数据（不仅仅是公开训练的数据）为大型语言模型 (LLM) 提供特定业务的信息。使用 Elasticsearch 提供基于您专有数据的高相关性上下文窗口，提升 LLM 输出和相关性。通过与您所选 LLM 集成的 API 和插件访问生成式 AI。

    详细了解检索增强生成

  • 矢量数据库

    获得大规模的完整向量搜索体验 — 不仅仅存储和搜索嵌入，而且还可以创建嵌入！ 通过嵌入实现密集检索，捕获包括文本和图像在内的非结构化数据的含义和上下文。在文档级别保护嵌入，以确保数据掌握在正确的人手中。

    了解向量数据库

  • 使用您自己的转换器模型

    您可以将自己的专有转换器模型引入 Elastic。也可以从第三方存储库（如 HuggingFace 模型中心）上传预先训练好的模型；Elastic 支持各种架构，例如 BERT、BART、ELECTRA 等。

    阅读 BYOM 博文

  • 数据集成和采集库

    您可以使用熟悉的工具（如 Elastic Agent 或 Logstash）对数据建立索引。集成列表（如 Confluence、S3 或 Google 云端硬盘）不断壮大。原生数据库连接器（如 MySQL、MongoDB）。适用于采集在线资源的网络爬虫。对于定制应用数据，既可使用 Kibana API，也可使用熟悉的框架构建您自己的连接器。

    观看采集网络研讨会

“我很高兴可以让客户享受我们在 RelativityOne 中投资利用 Elasticsearch 所带来的多种益处。我们目前正在试验 ESRE，并致力于为客户提供强大的、AI 增强的搜索结果；我们对 ESRE 在这方面的潜力感到兴奋不已。”

Chris BrownRelativity 首席产品官

代码样例

开始构建向量搜索

使用单个 API 就可导入嵌入模型，生成嵌入，并使用近似最近邻搜索大规模编写搜索查询。

docker run -it --rm elastic/eland \
eland_import_hub_model \
--cloud-id $CLOUD_ID \
-u <username> -p <password> \
--hub-model-id sentence-transformers/msmarco-MiniLM-L-12-v3 \
--task-type text_embedding \
--start

常见问题

什么是 Elasticsearch Relevance Engine？

Elasticsearch Relevance Engine 是一组可帮助开发人员构建 AI 搜索应用程序的功能，包括：

  • 行业领先的高级相关性排名功能，包括使用 BM25 算法（这是针对所有域进行相关度打分和实现混合搜索的基础）的传统关键字搜索。
  • 完整的向量数据库功能 — 除了存储和检索向量外，还能够创建嵌入。
  • Elastic Learned Sparse Encoder — 我们用于跨一系列域进行语义搜索的全新 Machine Learning 模型 混合排名 (RRF)，用于将向量搜索与文本搜索功能相结合，以跨各种域实现最佳的搜索相关性。
  • 支持通过 API 集成第三方转换器模型（如 OpenAI 的 GPT-3 和 GPT-4）
  • 全套的数据采集工具，如数据库连接器、第三方数据集成、网络爬虫，以及用于创建定制连接器的 API
  • 开发人员工具，可跨所有类型的数据（文本、图像、时序、地理位置、多媒体等）构建搜索应用程序。

我可以使用 Elasticsearch Relevance Engine 构建什么？

Elasticsearch 是一种领先的搜索技术，可用于网站搜索（如电子商务产品搜索和发现）和内部信息搜索（如客户成功知识库和企业搜索）。通过 ESRE，我们提供了一个工具包，用于构建 AI 驱动的搜索体验。让用户能够以自然语言表达查询，例如提出问题或描述他们所寻求的信息类型。将这种自然语言能力与生成式 AI 相结合，并利用您自己的私有数据或专有数据提供上下文，进一步增强这些模型的能力。

Elasticsearch 和 Elasticsearch Relevance Engine 是否一样？

是的，Elasticsearch Relevance Engine 中包含的功能是在 Elasticsearch 的 _search API 中设计和集成的。开发人员可以使用 Elastic API 或熟悉的工具（如 Kibana），与 Elasticsearch Relevance Engine 的各项功能及 Elasticsearch 进行交互，以获得无缝体验。

什么是 Elastic Learned Sparse Encoder？

Elastic Learned Sparse Encoder 是 Elastic 为跨各种域提供高相关性语义搜索而构建的模型。目前，作为一个仅支持英语的 Machine Learning 模型，它可捕捉含义和单词之间的关系，用于信息检索。对利用我们新检索模型进行的基准测试感兴趣？如需了解详情，请阅读这篇博客。

什么是转换器？Elastic Learned Sparse Encoder 是转换器模型吗？

转换器是一种深度神经网络架构，可用作大型语言模型 (LLM) 的基础。转换器包含各种组件，可以由编码器、解码器和许多具有数百万（甚至数十亿）个参数的“深度”神经网络层组成。它们通常是基于非常大的文本语料库（如互联网上的数据）训练而成，并且可以进行微调以执行各种自然语言处理 (NLP) 任务。我们的新检索模型使用了一个转换器架构，但只包含一个专门为跨各种域进行语义搜索而设计的编码器。

如何开始使用 Elasticsearch Relevance Engine？ 我需要单独购买 Elasticsearch Relevance Engine 吗？

作为 8.8 版本的一部分，Elasticsearch Relevance Engine 的所有功能会随 Elasticsearch 白金级和企业级套餐一起提供。您可以轻松地开始使用嵌入和向量搜索，并尝试检索模型。请查看 Elastic Learned Sparse Encoder 功能的 演示。如果您拥有 Elasticsearch 许可证，Elasticsearch Relevance Engine 就会包含在您购买的产品中。

进一步了解如何将 ChatGPT 和 Elasticsearch 搭配使用

深入了解如何将 Elasticsearch 的搜索相关性与 OpenAI 的 ChatGPT 问答功能结合使用，以查询您的私有数据。

阅读博文