LLMオブザーバビリティでAIスタックを監視

Elastic Observabilityのエンドツーエンドの監視機能を使用して、リスクを検出し、問題を解決し、エージェント型および生成AIアプリケーションを本番環境に対応可能な状態に保ちましょう。

LLM ObservabilityモニタリングでVector、Azure OpenAI、OpenAI、Anthropic、Amazon Bedrockのロゴを表示

コア機能

エージェント型AIスタックのあらゆるレイヤーを観察

パフォーマンスを監視し、コストを管理し、ガードレールを追跡し、生成AIワークロードを確実に実行し続けます。

  • 主要LLMプラットフォーム向けに厳選されたダッシュボード

    Amazon BedrockAzure AI FoundryGemini Enterprise Agent PlatformOpenAI、およびAnthropic(Claude)向けに事前に構築されたダッシュボードは、呼び出し回数、エラー率、レイテンシ、使用率メトリック、トークンの使用状況を追跡します。これにより、SREはパフォーマンスのボトルネックを特定し、リソースを微調整して、システムの信頼性を維持できます。

  • LLMの処理をステップごとにトレース

    LLMの実行パス全体を可視化できます。LangChainのリクエスト、失敗したLLM呼び出し、エージェント型ワークフロー、外部サービスとのやり取りをトレースし、プロンプトの内容、呼び出されたツール、および対応内容などを確認できます。依存関係をマップして、ボトルネックを迅速に特定し、ピークパフォーマンスを回復させることができます。

  • 安全性とコンプライアンスのためのAIガードレール監視

    機密データの漏えい、有害なコンテンツ、倫理的な問題、エラー、ハルシネーションにを防ぐためにプロンプトと応答を監視し、Elastic AI Agentでプロンプトインジェクション攻撃を検出し、標準搭載のガードレールサポートでポリシーとLLMの応答評価を追跡します。

  • 予測可能なAIコスト追跡

    モデル別、クエリ別、トークン消費別に使用量を分類します。テキスト、画像、動画の各モデルで、費用のかかるプロンプトや非効率的なAPI呼び出しなどのコスト異常を特定して、支出を予測可能かつ最適にします。

ライブラリからモデルまであらゆるニーズに対応

ElasticはAIアプリのエンドツーエンドの可視性を提供し、一般的なトレースライブラリと統合し、GPT-4o、Mistral、LLaMA、Anthropic、Cohere、DALL·Eなど、すべての主要なLLMプロバイダーのモデルに対するすぐに使用できる洞察を提供します。

AIアプリとエージェント型ワークフローのためのエンドツーエンドの追跡とデバッグ

Elastic APMを使用してOpenTelemetryでAIアプリを分析およびデバッグします。これは、Python、Java、Node.js向けのElastic Distributions of OpenTelemetry(EDOT)および LangTrace、OpenLIT、OpenLLMetryなどのサードパーティのトレースライブラリでサポートされます。

ElasticチャットボットRAGアプリをぜひお試しください。

このサンプルアプリは、Elasticsearch、LangChain、さまざまなLLMを組み合わせて、ELSERとプライベートデータを使用してチャットボットを強化します。