AI搭載ダッシュボード：ビジョンからKibanaへ

単一のソリューションでデータを監視、保護、検索します。アプリケーション監視から検出まで、Kibanaはユースケースに対応する多機能なプラットフォームです。今すぐ14日間の無料トライアルを始めましょう。

Kibana Lens を使用するとダッシュボードのドラッグアンドドロップが非常に簡単になりますが、数十個のパネルが必要な場合はクリック回数が増えてしまいます。ダッシュボードをスケッチし、スクリーンショットを撮り、LLM にプロセス全体を任せることができたらどうでしょうか?

この記事では、それを実現します。ダッシュボードのイメージを取得し、マッピングを分析し、Kibana にまったく触れることなくダッシュボードを生成するアプリケーションを作成します。

手順:

背景とアプリケーションのワークフロー

最初に思いついたのは、LLM に NDJSON 形式の Kibana保存オブジェクト全体を生成させて、それを Kibana にインポートさせることでした。

私たちはいくつかのモデルを試しました:

ジェミニ 2.5 プロ
GPT o3 / o4-ミニハイ / 4.1
クロード 4つのソネット
グロク3
ディープシーク（ディープシンク R1）

プロンプトについては、次のように単純なものから始めました。

いくつかのショットの例と、各視覚化の構築方法に関する詳細な説明を確認したにもかかわらず、うまくいきませんでした。この実験に興味がある方は、こちらで詳細をご覧ください。

このアプローチの結果、LLM によって生成されたファイルを Kibana にアップロードしようとしたときに、次のメッセージが表示されました。

これは、生成された JSON が無効であるか、形式が間違っていることを意味します。最も一般的な問題は、LLM が不完全な NDJSON を生成したり、パラメータを幻覚させたり、あるいは、どれだけ強制しようとしても NDJSON ではなく通常の JSON を返したりすることでした。

この記事（検索テンプレートがLLM フリースタイルよりもうまく機能した）に触発され、完全な NDJSON ファイルを生成するように要求するのではなく、テンプレートを LLM に提供し、コード内で LLM によって提供されたパラメータを使用して適切な視覚化を作成することにしました。このアプローチは期待を裏切らず、予測可能で拡張可能です。LLM ではなくコードが重い処理を実行するようになったためです。

アプリケーションのワークフローは次のようになります。

簡潔にするために一部のコードは省略しますが、完全なアプリケーションの動作コードはこのノートブックに記載されています。

要件

開発を始める前に、次のものが必要です。

Python 3.8以上
Venv Python環境
実行中のElasticsearchインスタンス、そのエンドポイント、APIキー
環境変数名 OPENAI_API_KEY に保存された OpenAI API キー:

データを準備する

データについては、シンプルさを保ち、Elastic のサンプル Web ログを使用します。ここで、そのデータをクラスターにインポートする方法を学習できます。

各ドキュメントには、アプリケーションにリクエストを発行したホストの詳細と、リクエスト自体とその応答ステータスに関する情報が含まれています。以下にサンプル文書を示します。

ここで、先ほどロードしたインデックスkibana_sample_data_logsのマッピングを取得しましょう。

後で読み込むイメージと一緒にマッピングを渡します。

LLM構成

構造化出力を使用して画像を入力し、JSON オブジェクトを生成するために関数に渡す必要がある情報を含む JSON を受け取るように LLM を構成しましょう。

依存関係をインストールします。

Elasticsearch はインデックスマッピングの取得に役立ちます。Pydantic を使用すると、Python でスキーマを定義して LLM に従うように要求することができ、 LangChain はLLM と AI ツールの呼び出しを容易にするフレームワークです。

LLM から必要な出力を定義するために、Pydantic スキーマを作成します。画像からわかる必要があるのは、グラフの種類、フィールド、視覚化タイトル、ダッシュボードタイトルです。

画像入力には、先ほど描いたダッシュボードを送信します。

ここで、LLM モデルの呼び出しとイメージの読み込みを宣言します。この関数は、Elasticsearch インデックスのマッピングと、生成するダッシュボードの画像を受け取ります。

with_structured_outputを使用すると、Pydantic Dashboardスキーマを LLM が生成する応答オブジェクトとして使用できます。Pydanticを使用すると、検証付きのデータモデルを定義できるため、LLM 出力が期待される構造と一致することが保証されます。

画像を base64 に変換して入力として送信するには、オンラインコンバーターを使用するか、コードで実行します。

LLM にはすでに Kibana ダッシュボードに関するコンテキストがあるため、プロンプトですべてを説明する必要はなく、Elasticsearch と Kibana で動作していることを忘れないようにするための詳細のみを説明します。

プロンプトを分解してみましょう:

セクション	理由
あなたは、Kibana バージョン 9.0.0 の画像から Kibana ダッシュボードを分析するエキスパートです。	これを Elasticsearch と Elasticsearch バージョンで強化することで、LLM が古い/無効なパラメータを幻覚する可能性を減らします。
ダッシュボードイメージと Elasticsearch インデックスマッピングが提供されます。	LLM による誤った解釈を避けるために、この画像はダッシュボードに関するものであることを説明します。
以下は、ダッシュボードのベースとなるインデックスのインデックスマッピングです。これを使用すると、使用可能なデータとフィールドを理解するのに役立ちます。インデックスマッピング: {index_mappings}	LLM が有効なフィールドを動的に選択できるようにマッピングを提供することが重要です。そうしないと、ここでのマッピングをハードコードすることになり、厳しすぎることになります。あるいは、正しいフィールド名を含むイメージに依存することになりますが、これは信頼できません。
画像に表示されている内容に基づいて、各視覚化に関連するフィールドのみを含めます。	画像に関係のないフィールドを追加しようとすることがあるため、この強化を追加する必要がありました。

これにより、表示する視覚化の配列を含むオブジェクトが返されます。

LLM応答の処理

私たちはサンプルの 2x2 パネルダッシュボードを作成し、 Get a dashboard API を使用して JSON 形式でエクスポートしました。その後、パネルを視覚化テンプレート (円グラフ、棒グラフ、メトリック) として保存し、いくつかのパラメータを置き換えて、質問に応じて異なるフィールドを持つ新しい視覚化を作成できます。

テンプレート JSON ファイルはここで確認できます。後で置き換えたいオブジェクトの値を {variable_name} に変更したことに注意してください。