Airbyte経由でElasticsearchにデータを取り込む方法

Airbyte を使用して Elasticsearch にデータを取り込みます。前提条件、Airbyte の構成、段階的な統合について説明します。

2025年3月14日

ジャンプ

Elasticsearchにデータを取り込むさまざまな方法を確認し、実践的な例を試して新しいことに挑戦してみましょう。

Elasticsearchには、ユースケースに最適な検索ソリューションを構築するための新機能が豊富に備わっています。クラウドの無料トライアルを始めるか、ローカル端末でElasticをお試しください。

Airbyte は、さまざまなソースからさまざまな宛先に情報を自動的かつスケーラブルに移動できるデータ統合ツールです。API、データベース、その他のシステムからデータを抽出し、高度な検索と効率的な分析を提供する Elasticsearch などのプラットフォームにロードできるようになります。

この記事では、主要な概念、前提条件、段階的な統合について説明しながら、Airbyte を構成して Elasticsearch にデータを取り込む方法について説明します。

Airbyteの基本概念

Airbyte には、使用にあたっていくつかの重要な概念があります。以下に主なものを紹介します。

ソース: 抽出されるデータのソースを定義します。
送信先: データが送信され、保存される場所を定義します。
接続: 同期頻度など、ソースと宛先間の関係を構成します。

AirbyteとElasticsearchの統合

このデモでは、S3 バケットに保存されているデータを Elasticsearch インデックスに移行する統合を実行します。Airbyte でソース (S3) と宛先 (Elasticsearch) を設定する方法を説明します。

要件

このデモンストレーションを実行するには、次の前提条件を満たしている必要があります。

データを含む JSON ファイルが保存されるバケットを AWS に作成します。
Docker を使用してAirbyte をローカルにインストールします。
取り込んだデータを保存するには、Elastic Cloud に Elasticsearch クラスターを作成します。

以下では、これらの各ステップについて詳しく説明します。

Airbyteのインストール

Airbyte は Docker を使用してローカルで実行することも、使用状況に応じてコストがかかるクラウドで実行することもできます。このデモでは、Docker を使用したローカルバージョンを使用します。

インストールには数分かかる場合があります。インストール手順に従うと、Airbyte は http://localhost:8000 で利用できるようになります。

ログイン後、統合の設定を開始できます。

バケットの作成

このステップでは、S3 バケットを作成するために AWS アカウントが必要になります。さらに、バケットへのアクセスを許可するポリシーと IAM ユーザーを作成して、正しい権限を設定することが重要です。

バケットには、さまざまなログレコードを含む JSON ファイルをアップロードし、後で Elasticsearch に移行します。ファイルログの内容は次のとおりです。

{
   "timestamp": "2025-02-15T14:00:12Z",
   "level": "INFO",
   "service": "data_pipeline",
   "message": "Pipeline execution started",
   "details": {
       "pipeline_id": "abc123",
       "source": "MySQL",
       "destination": "Elasticsearch"
   }
}

以下はバケットにロードされたファイルです。

Elastic Cloud の構成

デモンストレーションを簡単にするために、Elastic Cloud を使用します。まだアカウントをお持ちでない場合は、 Elastic Cloud 登録から無料トライアルアカウントを作成できます。

Elastic Cloud でデプロイメントを構成した後、以下を取得する必要があります。

Elasticsearch サーバーの URL。
Elasticsearch にアクセスするユーザー。

URL を取得するには、「デプロイメント」>「マイデプロイメント」に移動し、アプリケーションで Elasticsearch を見つけて、「エンドポイントをコピー」をクリックします。

ユーザーを作成するには、次の手順に従います。

Kibana > スタック管理 > ユーザーにアクセスします。
スーパーユーザーの役割を持つ新しいユーザーを作成します。
フィールドに入力してユーザーを作成します。

すべての設定が完了したので、Airbyte でコネクタの構成を開始できます。

ソースコネクタの構成

このステップでは、S3 のソースコネクタを作成します。これを行うには、Airbyte インターフェイスにアクセスし、メニューの [ソース] オプションを選択します。次に、S3 コネクタを検索します。以下に、コネクタを構成するために必要な手順を詳しく説明します。

Airbyte にアクセスし、[ソース] メニューに移動します。
S3 コネクタを検索して選択します。
次のパラメータを設定します。
1. ソース名: データソースの名前を定義します。
2. 配信方法: 「レコードの複製」を選択します (構造化データに推奨)。
3. データ形式: JSON 形式を選択します。
4. ストリーム名: Elasticsearch のインデックスの名前を定義します。
5. バケット名: AWS のバケットの名前を入力します。
6. AWS アクセスキーと AWS シークレットキー: アクセス資格情報を入力します。

ソースの設定をクリックし、検証を待ちます。

構成宛先コネクタ

このステップでは、宛先コネクタとして Elasticsearch を設定します。これを行うには、メニューにアクセスして [宛先] オプションを選択します。次に、Elasticsearch を検索し、返された結果をクリックします。次に、この接続の構成に進みます。

Airbyte にアクセスし、[Destinations] メニューに移動します。
Elasticsearch コネクタを検索して選択します。
次のパラメータを設定します。
1. 認証方法: ユーザー名/パスワードを選択します。
2. ユーザー名とパスワード: Kibana で作成された資格情報を使用します。
3. サーバーエンドポイント: Elastic Cloud からコピーした URL を貼り付けます。

「宛先の設定」をクリックし、検証を待ちます。