LLMオブザーバビリティでAIスタックを監視

Elastic Observability のエンドツーエンドの監視機能を使用して、リスクを検出し、問題を解決し、エージェント型および生成AIアプリケーションを本番環境に対応可能な状態に保ちます。

LLM ObservabilityモニタリングでVector、Azure OpenAI、OpenAI、Anthropic、Amazon Bedrockのロゴを表示

コア機能

エージェント型AIスタックのあらゆるレイヤーを観察

パフォーマンスを監視し、コストを管理し、ガードレールを追跡し、生成AIワークロードを確実に実行し続けます。

  • 主要LLMプラットフォーム向けに厳選されたダッシュボード

    Azure AI Foundry、OpenAI、Amazon Bedrock、Google Vertex AI 向けに事前に構築されたダッシュボードは、呼び出し回数、エラー率、レイテンシ、使用率メトリック、トークンの使用状況を追跡するため、SREはパフォーマンスのボトルネックを特定し、リソースを微調整し、システムの信頼性を維持できます。

  • ステップで確認するLLMトレース

    LLMの実行パス全体を一目で把握できます。LangChainリクエスト、失敗したLLM呼び出し、エージェントワークフロー、外部サービスのやり取りをトレースします。依存関係をマップしてボトルネックを迅速に分離し、最高のパフォーマンスを回復します。

  • 安全性とコンプライアンスのためのAIガードレール監視

    機密データの漏洩、有害なコンテンツ、倫理的問題、エラー、ハルシネーションを防ぐためにプロンプトと応答を監視し、Elastic AI Assistantでプロンプトインジェクション攻撃を検出し、LLMの応答を評価し、組み込みガードレールサポートでポリシーを追跡します。

  • 予測可能なAIコスト追跡

    モデル別、クエリ別、トークン消費別に使用量を分類します。テキスト、画像、動画の各モデルで、費用のかかるプロンプトや非効率的なAPI呼び出しなどのコスト異常を特定して、支出を予測可能かつ最適化します。

ライブラリからモデルまであらゆるニーズに対応

ElasticはAIアプリのエンドツーエンドの可視性を提供し、一般的なトレースライブラリと統合し、GPT-4o、Mistral、LLaMA、Anthropic、Cohere、DALL·Eなど、すべての主要なLLMプロバイダーのモデルに対するすぐに使用できる洞察を提供します。

AIアプリとエージェントワークフローのエンドツーエンドのトレースとデバッグ

Elastic APMを使用してOpenTelemetryでAIアプリを分析およびデバッグします。これは、Python、Java、Node.js向けのElastic Distributions of OpenTelemetry(EDOT)および LangTrace、OpenLIT、OpenLLMetryなどのサードパーティのトレースライブラリでサポートされます。

ElasticチャットボットRAGアプリをぜひお試しください!

このサンプルアプリは、Elasticsearch、LangChain、さまざまなLLMを組み合わせて、ELSERとプライベートデータを使用してチャットボットを強化します。