人工智能驱动的仪表盘：从设想到 Kibana

使用单一解决方案观察、保护和搜索数据。从应用程序监控到威胁检测，Kibana是您用于关键用例的多功能平台。立即开始 14 天免费试用。

Kibana Lens让仪表盘的拖放变得非常简单，但当你需要几十个面板时，点击次数就会增加。如果你能勾画出一个仪表盘，截图后让法律硕士为你完成整个过程，那会怎么样？

在本文中，我们将实现这一目标。我们将创建一个应用程序，它可以获取仪表盘的图像，分析映射，然后生成仪表盘，而无需接触 Kibana！

步骤：

后台& 应用程序工作流程

我首先想到的是让 LLM 生成整个 NDJSON 格式的 Kibana保存对象，然后将它们导入 Kibana。

我们尝试了几种型号：

至于提示语，我们从最简单的开始：

尽管我们看了一些简单的示例，并详细解释了如何建立每种可视化，但我们还是一无所获。如果您对这项实验感兴趣，请点击此处了解详情。

采用这种方法的结果是，在尝试将 LLM 生成的文件上传到 Kibana 时看到了这些信息：

这意味着生成的 JSON 无效或格式不当。最常见的问题是 LLM 生成不完整的 NDJSON、产生参数幻觉，或者返回普通 JSON 而非 NDJSON，无论我们如何努力去执行其他操作。

受这篇文章的启发--搜索模板比 LLM 自由式更有效--我们决定给 LLM 提供模板，而不是要求它生成完整的 NDJSON 文件，然后我们在代码中使用 LLM 给出的参数来创建适当的可视化。

申请工作流程如下：

为简单起见，我们将省略一些代码，但您可以在本笔记本上找到完整应用程序的工作代码。

在开始开发之前，您需要具备以下条件：

在数据方面，我们将保持简单，使用 Elastic 样本网络日志。您可以在此了解如何将这些数据导入群集。

每份文档都包含向应用程序发出请求的主机的详细信息，以及请求本身及其响应状态的信息。下面是一个文件示例：

现在，让我们抓取刚刚加载的索引的映射，kibana_sample_data_logs ：

我们将把映射与稍后加载的图像一起传递。

让我们对 LLM 进行配置，使其使用结构化输出来输入图像，并接收包含我们需要传递给函数的信息的 JSON，以生成 JSON 对象。

我们安装依赖项：

Elasticsearch 将帮助我们检索索引映射。Pydantic 允许我们在 Python 中定义模式，然后要求 LLM 遵循这些模式，而LangChain框架则有助于更轻松地调用 LLM 和人工智能工具。

我们将创建一个 Pydantic 模式，以定义我们希望从 LLM 得到的输出。我们需要从图片中了解图表类型、字段、可视化标题和仪表盘标题：

对于图像输入，我们将发送一个我刚刚画好的仪表盘：

现在我们声明 LLM 模型调用和图像加载。该函数将接收 Elasticsearch 索引的映射和我们要生成的仪表盘图像。

通过with_structured_output ，我们可以使用 PydanticDashboard 模式作为 LLM 生成的响应对象。通过Pydantic，我们可以定义带有验证功能的数据模型，从而确保 LLM 输出与预期结构相匹配。

要将图像转换为 base64 并作为输入发送，可以使用在线转换器或用代码完成。

LLM 已经掌握了 Kibana 面板的上下文，因此我们不需要在提示中解释所有内容，只需提供一些细节，确保它不会忘记自己正在使用 Elasticsearch 和 Kibana。

让我们来分析一下提示：

部门	原因
您是根据 Kibana 9.0.0 版本的图像分析 Kibana 仪表板的专家。	通过强化 Elasticsearch 和 Elasticsearch 版本，我们降低了 LLM 产生旧参数/无效参数的可能性。
您将获得一个仪表盘图像和一个 Elasticsearch 索引映射。	我们解释说，图片是关于仪表盘的，以避免法律硕士做出任何错误的解释。
下面是仪表盘所基于的索引的索引映射，使用它可以帮助你理解数据和可用字段。索引映射： {index_mappings}	提供映射至关重要，这样 LLM 才能动态选择有效字段。否则，我们就可能在这里硬编码映射，这太死板了，或者依靠图像包含正确的字段名，这也不可靠。
根据图像中可见的内容，只包含与每个可视化相关的字段。	我们必须添加这一增强功能，因为有时它会尝试添加与图像无关的字段。

这将返回一个包含要显示的可视化数组的对象：