如何通过 Airbyte 将数据导入 Elasticsearch

使用 Airbyte 将数据导入 Elasticsearch。我们将介绍前提条件、Airbyte 配置和逐步集成。

2025年3月14日

跳转到

Check out the different ways to ingest data into Elasticsearch and dive into practical examples to try something new.

Elasticsearch is packed with new features to help you build the best search solutions for your use case. Start a free cloud trial or try Elastic on your local machine now.

Airbyte 是一款数据集成工具，可让您以自动化和可扩展的方式将信息从不同来源转移到不同目的地。它使您能够从应用程序接口、数据库和其他系统中提取数据，并将其加载到 Elasticsearch 等平台中，从而提供高级搜索和高效分析。

在本文中，我们将介绍如何配置 Airbyte 以将数据摄取到 Elasticsearch，包括关键概念、前提条件和逐步集成。

Airbyte 基本概念

Airbyte 的使用有几个基本概念。下面，我们将重点介绍其中的主要内容：

来源：定义提取数据的来源。
目的地：定义数据的发送和存储位置。
连接：配置源和目标之间的关系，包括同步频率。

Airbyte 与 Elasticsearch 的集成

在本演示中，我们将执行一个集成，将存储在 S3 存储桶中的数据迁移到 Elasticsearch 索引中。我们将展示如何在 Airbyte 中配置源（S3）和目标（Elasticsearch）。

准备工作

要观看这一演示，必须满足以下前提条件：

在 AWS 中创建一个存储桶，用于存储包含数据的 JSON 文件。
使用 Docker在本地安装 Airbyte。
在 Elastic Cloud 中创建一个 Elasticsearch 集群来存储输入的数据。

下面，我们将详细介绍每个步骤。

安装 Airbyte

Airbyte 可以使用 Docker 在本地运行，也可以在云中运行，但使用时需要付费。在本演示中，我们将使用 Docker 本地版本。

安装可能需要几分钟时间。按照安装说明进行安装后，Airbyte 可在以下网址使用： http://localhost:8000。

登录后，我们就可以开始配置集成了。

创建水桶

在此步骤中，您需要一个 AWS 账户来创建一个 S3 存储桶。此外，还必须通过创建策略和 IAM 用户来设置正确的权限，以允许访问存储桶。

在该桶中，我们将上传包含不同日志记录的 JSON 文件，这些记录稍后将迁移到 Elasticsearch。文件日志的内容是这样的

{
   "timestamp": "2025-02-15T14:00:12Z",
   "level": "INFO",
   "service": "data_pipeline",
   "message": "Pipeline execution started",
   "details": {
       "pipeline_id": "abc123",
       "source": "MySQL",
       "destination": "Elasticsearch"
   }
}

以下是装入邮筒的文件：

弹性云配置

为了便于演示，我们将使用弹性云。如果您还没有账户，可在此处创建一个免费试用账户：弹性云注册。

在弹性云中配置部署后，您需要获得

Elasticsearch 服务器的 URL。
访问 Elasticsearch 的用户。

要获取 URL，请访问部署> 我的部署，在应用程序中找到 Elasticsearch 并点击 "复制端点"。

要创建用户，请按照以下步骤操作：

访问 Kibana> 堆栈管理> 用户。
创建一个具有超级用户角色的新用户。
填写字段以创建用户。

现在，我们已经设置好了一切，可以开始在 Airbyte 中配置连接器了。

配置信号源连接器

在这一步中，我们将为 S3 创建源连接器。为此，我们将进入 Airbyte 界面，在菜单中选择 "源 "选项。然后，我们将搜索 S3 连接器。下面，我们将详细介绍配置连接器所需的步骤：

访问 Airbyte 并进入 "来源 "菜单。
搜索并选择 S3 连接器。
配置以下参数：
1. 源名称：定义数据源名称。
2. 交付方法：选择复制记录（建议用于结构化数据）。
3. 数据格式：选择 JSON 格式。
4. 流名称：定义 Elasticsearch 中索引的名称。
5. 存储桶名称：输入 AWS 中桶的名称。
6. AWS 访问密钥和 AWS 密钥：输入访问凭证。

点击 "设置来源"，等待验证。