logo

アプリケーションにAI検索を構築する

Elasticsearch Relevance Engine™(ESRE)は、人工知能ベースの検索アプリの原動力になることを目指して設計されています。ESREを使用すると、優れた関連性を備えたセマンティック検索を設定(業界領域の適合作業)なしで適用できます。また、外部の大規模言語モデル(LLM)との統合、ハイブリッド検索の実装、サードパーティ製または独自の変換器モデルの使用も可能です。

Video thumbnail

Elasticsearch Relevance Engineのセットアップを開始するのがどれほど簡単かご確認ください。

クイックスタートビデオを見る

ESREを使用する高度なRAGベースのアプリケーションを構築します。

トレーニングに登録する

生成AIモデルの能力を活用しながら、非公開の社内データをコンテキストとして使用し、ユーザーの照会に対して最新の信頼できる応答を提供します。

動画を視聴する

すべての開発者のためのAI

AIで検索をレベルアップ

専門知識のレベルを問わず、ESREを活用して、高度なAI関連性機能をアプリケーションに導入しましょう。ESREは初期の導入を支援する機能群であり、AIを活用してエクスペリエンスを構築します。機械学習や生成AI検索アプリのデプロイを柔軟に制御しながら、適合させることができます。

  • 初めてセマンティック検索を使用する場合

    アプリケーションにセマンティック検索を導入するために、深いレベルの専門知識は必要ありません。Elastic Learned Sparse Encoderでは、クラス最高のセマンティック検索を設定せずにすぐに使用できます。デプロイが簡素化されたことで、迅速にセマンティック検索を導入できます。負荷が大きいトレーニングや、機械学習モデルの管理は必要ありません。

  • 埋め込みと検索ベクトルに関する専門知識をお持ちの場合

    非構造化データをベクトル埋め込みに変換し、近似最近傍検索を使用してそれを効率よく検索できます。コンテキストウィンドウで独自のドメイン特化型データを組み合わせ、人間が作成したようなLLMのアウトプットの関連性をさらに高められます。

  • 独自の変換器モデルを使用可能

    Eland Pythonライブラリーを使用して独自の教育済み機械学習モデルを使用したり、HuggingFaceなどのパブリックリポジトリで入手したサードパーティ製モデルを使用したりできます。バラエティ豊かなサポート対象アーキテクチャからニーズに合うものを選べます。

Elasticsearch Relevance Engine

Elasticsearch - オールインワンの最強ベクトル検索

埋め込みの生成や、ベクトルの格納、検索、管理を行います。Elastic独自のLearned Sparse Encoder機械学習モデルでセマンティック検索を実現しましょう。あらゆるタイプのデータを取り込めます。急速に進化する大規模言語モデルとの統合も可能です。

  • RRFハイブリッドランキング

    RRF(逆順位融合)は、複数の検索システムから集められたドキュメントのランク付けを統合するための手法です。近い将来RRFは、BM25のような疎ベクターモデルの結果とElasticの検索モデルの結果の融合をサポートし、業界最高クラスのゼロショットランキング手法となるでしょう。RRFを使用したハイブリッドランキングにより、複数の検索サービスの検索結果を、より少ない労力で調整できます。

  • Elastic Learned Sparse Encoder

    すぐに使えてドメイン適応が不要な、高関連性セマンティック検索を可能にするElasticの新しいモデルです。検索アプリを設定する際にワンクリックで利用できます。Elastic Learned Sparse Encoderではクエリが拡張され、関連するキーワードと関連性スコアが含まれているため、解釈が容易で、すぐに使用できます。

  • 検索拡張生成

    (公開の教育用データだけでなく)プライベートデータを使用してビジネス固有の情報でLLMを教育できます。Elasticsearchを使用して専有データの高関連性コンテキストウィンドウを区切ることで、LLMの出力と関連性が改善されます。生成AIには、お好みのLLMと統合されたAPIやプラグインでアクセスできます。

  • ベクトルデータベース

    完全なベクトル検索エクスペリエンスを大規模に実現。埋め込みの格納と検索だけでなく、作成もできるので、思いどおりのベクトル検索環境を構築できます。高密度の取得に対応する埋め込みを利用して、テキストや画像といった非構造化データの意味とコンテキストを取得できます。ドキュメントレベルで埋め込みを保護し、適切なユーザーがデータを利用していることを保証します。

  • 独自の変換器モデルを使用可能

    独自の変換器モデルをElasticに持ち込むことができます。BERT、BART、ELECTRAなど多様なアーキテクチャをサポートしているため、HuggingFace Model Hubなどのサードパーティリポジトリで入手した教育済みモデルをアップロードすることもできます。

  • データ統合とインジェストライブラリー

    Elastic AgentやLogstashなどの使い慣れたツールでデータをインデックスできます。統合されるサービス(Confluence、S3、Google Driveなど)は今後も増え続けます。ネイティブデータベースコネクターがあります(MySQLやMongoDBなど)。オンラインソース用のWebクローラーもあります。カスタムアプリのデータには、Kibana APIや、使い慣れたフレームワークで開発した独自のコネクターを使用できます。

Chris Brown, Chief Product Officer, Relativity

「RelativityOneの中でElasticsearchを活用する施策によって、お客様に大きなメリットをもたらすことができます。現在ESREを試験中ですが、AIを利用した強力な検索機能をお客様にもたらすことができる可能性に、大きな期待を寄せています。」

クリス・ブラウン氏Relativity社、最高製品責任者

FAQ

Elasticsearch Relevance Engineについて教えてください。

Elasticsearch Relevance EngineはAI検索アプリの開発に役立つ機能セットで、以下のような機能があります。

  • 業界をリードする高度な関連性ランキング機能 - BM25を使用した従来型キーワード検索などに対応し、あらゆるドメインを対象にした関連性の高いハイブリッド検索の基盤となります。
  • フルベクトルデータベース機能 - ベクトルの保存と検索に加えて埋め込みの生成も可能です。
  • Elastic Learned Sparse Encoder – 複数のドメインを横断したセマンティック検索に対応する新しい機械学習モデルです。 ハイブリッドランキング機能(RRF) - ベクトル検索とテキスト検索を組み合わせ、幅広いドメインを横断する検索関連性を最適化できます。
  • OpenAI GPT-3/GPT-4などサードパーティ変換器モデルを、API経由で統合することをサポートします。
  • フルスイートのデータインジェストツール - データベースコネクター、サードパーティデータ統合、Webクローラー、カスタムコネクター作成用のAPIなどが揃っています。
  • 開発者向けツール - テキスト、画像、時系列、地理情報、マルチメディアなど、あらゆる種類のデータを網羅する検索アプリケーションを開発できます。