将 AI 搜索体验构建到您的应用程序中

Elasticsearch Relevance Engine™ (ESRE) 旨在为基于人工智能的搜索应用程序提供强大支持。使用 ESRE，您可以应用具有卓越相关性的开箱即用型语义搜索（无需域适应），与外部大型语言模型 (LLM) 集成，实现混合搜索，并使用第三方或您自己的转换器模型。

一种面向开发人员量身定制的相关性引擎，助力他们轻松构建 AI 驱动的搜索应用程序。

阅读技术发布博文

了解有关 Elastic 全新检索模型的所有信息，即使在采用“零次”学习设置的特殊域中，该检索模型也可提供超高的相关性。

阅读技术博文

使用私有的内部数据作为上下文，通过生成式 AI 模型的功能，针对用户的查询提供最新的可靠响应。

观看视频

面向所有开发人员的 AI

借助 AI 提升搜索体验

无论您的专业水平如何，都可以通过 ESRE 为应用程序提供先进的 AI 相关性方面的功能。ESRE 有一套功能可以帮助您开始使用或打造 AI 体验。您能够灵活地控制，按您认为合适的方式部署 Machine Learning 和生成式 AI 搜索应用。

  • 刚接触语义搜索？

    对您的应用程序运用语义搜索不需要深厚的专业知识。使用 Elastic Learned Sparse Encoder 模型，可以获得业内卓越的开箱即用型语义搜索体验。通过简化的部署过程，您可以快速开始运用语义搜索，无需进行繁重的训练，也无需维护 Machine Learning 模型。

  • 熟悉嵌入和搜索矢量？

    将非结构化数据转换为矢量嵌入，使用近似最近邻搜索对其进行高效搜索。在上下文窗口中结合您自己的特定域数据，以提高 LLM 的类人输出的相关性。

  • 使用您自己的转换器模型

    既可使用 Eland Python 库来引入您自己训练好的 Machine Learning 模型，也可使用公共存储库中的第三方模型，比如 HuggingFace。从各种受支持的架构中进行选择，以满足您的需求。

Elasticsearch Relevance Engine

Elasticsearch — 一体化矢量搜索引擎

生成嵌入。存储、搜索和管理矢量。使用 Elastic 自己的 Learned Sparse Encoder Machine Learning 模型进行语义搜索。采集所有类型的数据。与快速发展的大型语言模型集成。 

  • RRF 混合排名

    RRF（倒数排序融合）是一种结合多个检索系统的文档排名的方法。在不久的将来，RRF 将支持对 BM25 等稀疏矢量模型结果和 Elastic 检索模型的结果进行混合，从而提供同类最佳的“零次”学习排序方法。通过使用 RRF 的混合排名，可让您毫不费力地调整来自多个检索器的搜索结果。

  • Elastic Learned Sparse Encoder

    我们的新模型提供了高度相关的开箱即用型语义搜索，无需进行域适应。在配置搜索应用程序时，只需单击一下即可使用。Elastic Learned Sparse Encoder 可使用相关的关键字和相关性分数来扩展查询，因此它们解读起来也很容易，并可立即使用。

  • 检索增强生成

    使用您的私有数据（不仅仅是公开训练的数据）为大型语言模型 (LLM) 提供特定业务的信息。使用 Elasticsearch 提供的可连接您专有数据的高相关性上下文窗口，提升 LLM 输出和相关性。通过与您所选 LLM 集成的 API 和插件访问生成式 AI。

  • 矢量数据库

    获得大规模的完整矢量搜索体验 — 不仅仅存储和搜索嵌入，而且还可以创建嵌入！通过嵌入实现密集检索，捕获包括文本和图像在内的非结构化数据的含义和上下文。在文档级别保护嵌入，以确保数据掌握在正确的人手中。

  • 使用您自己的转换器模型

    您可以将自己的专有转换器模型引入 Elastic。也可以从第三方存储库（如 HuggingFace 模型中心）上传预先训练好的模型；Elastic 支持各种受支持的架构，例如 BERT、BART、ELECTRA 等。

  • 数据集成和采集库

    您可以使用熟悉的工具（如 Elastic Agent 或 Logstash）对数据建立索引。集成列表（如 Confluence、S3 或 Google 云端硬盘）不断壮大。原生数据库连接器（如 MySQL、MongoDB）。适用于采集在线资源的网络爬虫。对于定制应用数据，既可使用 Kibana API，也可使用熟悉的框架构建您自己的连接器。

代码样例

开始构建矢量搜索

使用单个 API 就可导入嵌入模型，生成嵌入，并使用近似最近邻搜索大规模编写搜索查询。

docker run -it --rm elastic/eland \
eland_import_hub_model \
--cloud-id $CLOUD_ID \
-u <username> -p <password> \
--hub-model-id sentence-transformers/msmarco-MiniLM-L-12-v3 \
--task-type text_embedding \
--start

常见问题

什么是 Elasticsearch Relevance Engine？

Elasticsearch Relevance Engine 是一套可帮助开发人员构建 AI 搜索应用程序的工具，包括：

  • 行业领先的高级相关性排名功能，包括使用 BM25 算法（这是针对所有域进行相关度打分和实现混合搜索的基础）的传统关键字搜索。
  • 完整的矢量数据库功能 — 除了存储和检索矢量外，还能够创建嵌入。
  • Elastic Learned Sparse Encoder — 我们用于跨一系列域进行语义搜索的全新 Machine Learning 模型。
  • 混合排名 (RRF)，用于将矢量与文本型搜索功能相结合，以跨各种域实现最佳的搜索相关性。
  • 支持通过 API 集成第三方转换器模型（如 OpenAI 的 GPT-3 和 GPT-4）。
  • 全套的数据采集工具，如数据库连接器、第三方数据集成、网络爬虫，以及用于创建定制连接器的 API。
  • 开发人员工具，可跨所有类型的数据（文本、图像、时序、地理位置、多媒体等）构建搜索应用程序。

所有人都在关注 AI

订阅 AI 最新信息

随时了解与 AI 相关的所有信息。注册即可接收独家新闻、Elastic® 产品更新、AI 趋势、实操演示等。

icon-rocket-32-color.svg

探本溯源

LLM、NLP、ChatGPT、RRF、BM25、ESRE、矢量、转换器、嵌入 — 在 AI 的世界里，有很多信息都需要即时了解。听取 Elastic 产品和工程领导层以及开发团队对这一快速发展的 AI 领域的介绍，以便您构建更好的 AI 驱动型搜索应用程序。

注册

MarketoFEForm

进一步了解如何将 ChatGPT 和 Elasticsearch 搭配使用

深入了解如何将 Elasticsearch 的搜索相关性与 OpenAI 的 ChatGPT 问答功能结合使用，以查询您的私有数据。

阅读博文