访问 Elastic 中的 Machine Learning 模型

借助 Elastic®，您可以应用适合您的用例和 ML 专业知识水平的 Machine Learning (ML)。您有多种选择：

1. 利用内置的模型。在我们的可观测性和安全解决方案中，除了针对特定安全威胁和系统问题类型的模型外，您还可以使用专有的开箱即用型 Elastic Learned Sparse Encoder 模型以及语言识别；如果您处理的是非英语文本数据，语言识别就很有用。
2. 从任意位置访问第三方 PyTorch 模型，包括 HuggingFace 模型中心。
3. 加载您自行训练的模型，现在主要指的是 NLP 转换器。

使用内置模型可让您即时获得价值，而不需要您具备任何 ML 专业知识，而且您可以灵活地尝试不同的模型，并确定哪种模型对您的数据而言效果最好

我们的模型管理机制可跨集群中的多个节点进行扩展，同时还能确保为高吞吐量和低延迟工作负载提供良好的推理性能。之所以能够做到这一点，部分原因在于，赋予采集管道运行推理的能力，并在采集阶段以及数据分析和搜索期间使用专用节点进行计算要求高的模型推理。

请继续阅读本文，进一步了解 Eland 库，包括如何使用 Eland 库将模型加载到 Elastic 中，以及对于您在 Elasticsearch® 中可能使用的各种 Machine Learning（从最新的转换器和自然语言处理 (NLP) 模型到用于回归的增强树模型），Eland 库如何发挥作用。

下面我们将逐一介绍 eland_import_hub_model 的参数。您可以在 Docker 容器中发出相同的命令。

上传完成后，您可以在 Kibana 的 ML 模型管理用户界面中管理 Elasticsearch 集群上的模型，包括增加分配数量以提高吞吐量，以及在（重新）配置系统时停止/恢复模型。

1. 指定 Elastic Cloud 标识符。或者，使用 --url。
2. 提供用于访问集群的身份验证详细信息。您可以查找可用的身份验证方法。 
3. 在 Hugging Face 模型中心指定模型的标识符。
4. 指定 NLP 任务的类型。支持的值为 fill_mask、ner、text_classification、text_embedding 和 zero_shot_classification。

加载模型后，接下来需要部署模型。您可以在 Kibana 中“Machine Learning”选项卡的“Model Management”（模型管理）屏幕上完成部署操作。然后，通常会测试模型，确保它正常运行。

现在，您可以随时使用已部署的模型进行推理。例如，要提取命名实体，您可以在已加载的 NER 模型上调用 _infer 终端：

该模型识别到两个实体：人名“Josh”和地名“Berlin”。

有关其他步骤，例如在推理管道中使用此模型和调整部署等，请阅读这篇博文，其中介绍了这个示例。

想了解如何应用语义搜索（例如，如何为文本创建嵌入，然后应用矢量搜索来查找相关文档）？这篇博文对此进行了分步介绍，包括验证模型性能。

不知道哪类任务适合哪种模型？下面这张表应会有所帮助。

此外，Elastic 还支持以 text_similarity 任务类型来比较两段文本之间的相似度（在将文档文本与所提供的另一个文本输入进行比较以进行排名时，这非常有用），有时也称为交叉编码。 

查看以下资源，了解更多详细信息

• 支持 PyTorch 转换器，包括 Eland 的设计注意事项
• 将转换器加载到 Elastic 中并在推理中使用它们的步骤
• 介绍如何使用 ChatGPT 查询专有数据的博文
• 根据文本分类任务调整预先训练的转换器，并将定制模型加载到 Elastic 中
• 内置语言识别功能，可以在将非英语文本传入仅支持英语的模型之前进行语言识别

Elastic、Elasticsearch 及相关标志为 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其相应所有者的商标、徽标或注册商标。

本博文所描述的任何特性或功能的发布及上市时间均由 Elastic 自行决定。当前尚未发布的任何特性或功能可能无法按时提供或根本不会提供。