アプリケーションにAI検索を構築する

Elasticsearch Relevance Engine™(ESRE)は、人工知能ベースの検索アプリの原動力になることを目指して設計されています。ESREを使用すると、優れた関連性を備えたセマンティック検索を設定(業界領域の適合作業)なしで適用できます。また、外部の大規模言語モデル(LLM)との統合、ハイブリッド検索の実装、サードパーティ製または独自の変換器モデルの使用も可能です。

Elasticsearch Relevance Engineのセットアップを開始するのがどれほど簡単かご確認ください。

クイックスタートビデオを見る

ゼロショット設定の特殊なドメインでも高い関連性を実現する、Elasticの新しい検索モデルを詳しく解説しています。

テクノロジーに関するブログ記事を読む

生成AIモデルの能力を活用しながら、非公開の社内データをコンテキストとして使用し、ユーザーの照会に対して最新の信頼できる応答を提供します。

動画を視聴する

すべての開発者のためのAI

AIで検索をレベルアップ

専門知識のレベルを問わず、ESREを活用して、高度なAI関連性機能をアプリケーションに導入しましょう。ESREは初期の導入を支援する機能群であり、AIを活用してエクスペリエンスを構築します。機械学習や生成AI検索アプリのデプロイを柔軟に制御しながら、適合させることができます。

  • 初めてセマンティック検索を使用する場合

    アプリケーションにセマンティック検索を導入するために、深いレベルの専門知識は必要ありません。Elastic Learned Sparse Encoderでは、クラス最高のセマンティック検索を設定せずにすぐに使用できます。デプロイが簡素化されたことで、迅速にセマンティック検索を導入できます。負荷が大きいトレーニングや、機械学習モデルの管理は必要ありません。

  • 埋め込みと検索ベクトルに関する専門知識をお持ちの場合

    非構造化データをベクトル埋め込みに変換し、近似最近傍検索を使用してそれを効率よく検索できます。コンテキストウィンドウで独自のドメイン特化型データを組み合わせ、人間が作成したようなLLMのアウトプットの関連性をさらに高められます。

  • 独自の変換器モデルを使用可能

    Eland Pythonライブラリーを使用して独自の教育済み機械学習モデルを使用したり、HuggingFaceなどのパブリックリポジトリで入手したサードパーティ製モデルを使用したりできます。バラエティ豊かなサポート対象アーキテクチャからニーズに合うものを選べます。

Elasticsearch Relevance Engine

Elasticsearch - オールインワンの最強ベクトル検索

埋め込みの生成や、ベクトルの格納、検索、管理を行います。Elastic独自のLearned Sparse Encoder機械学習モデルでセマンティック検索を実現しましょう。あらゆるタイプのデータを取り込めます。急速に進化する大規模言語モデルとの統合も可能です。 

  • RRFハイブリッドランキング

    RRF(逆順位融合)は、複数の検索システムから集められたドキュメントのランク付けを統合するための手法です。近い将来RRFは、BM25のような疎ベクターモデルの結果とElasticの検索モデルの結果の融合をサポートし、業界最高クラスのゼロショットランキング手法となるでしょう。RRFを使用したハイブリッドランキングにより、複数の検索サービスの検索結果を、より少ない労力で調整できます。

  • Elastic Learned Sparse Encoder

    すぐに使えてドメイン適応が不要な、高関連性セマンティック検索を可能にするElasticの新しいモデルです。検索アプリを設定する際にワンクリックで利用できます。Elastic Learned Sparse Encoderではクエリが拡張され、関連するキーワードと関連性スコアが含まれているため、解釈が容易で、すぐに使用できます。

  • 検索拡張生成

    (公開の教育用データだけでなく)プライベートデータを使用してビジネス固有の情報でLLMを教育できます。Elasticsearchを使用して専有データの高関連性コンテキストウィンドウを区切ることで、LLMの出力と関連性が改善されます。生成AIには、お好みのLLMと統合されたAPIやプラグインでアクセスできます。

  • ベクトルデータベース

    完全なベクトル検索エクスペリエンスを大規模に実現。埋め込みの格納と検索だけでなく、作成もできるので、思いどおりのベクトル検索環境を構築できます。高密度の取得に対応する埋め込みを利用して、テキストや画像といった非構造化データの意味とコンテキストを取得できます。ドキュメントレベルで埋め込みを保護し、適切なユーザーがデータを利用していることを保証します。

  • 独自の変換器モデルを使用可能

    独自の変換器モデルをElasticに持ち込むことができます。BERT、BART、ELECTRAなど多様なアーキテクチャをサポートしているため、HuggingFace Model Hubなどのサードパーティリポジトリで入手した教育済みモデルをアップロードすることもできます。

  • データ統合とインジェストライブラリー

    Elastic AgentやLogstashなどの使い慣れたツールでデータをインデックスできます。統合されるサービス(Confluence、S3、Google Driveなど)は今後も増え続けます。ネイティブデータベースコネクターがあります(MySQLやMongoDBなど)。オンラインソース用のWebクローラーもあります。カスタムアプリのデータには、Kibana APIや、使い慣れたフレームワークで開発した独自のコネクターを使用できます。

FAQ

Elasticsearch Relevance Engineについて教えてください。

Elasticsearch Relevance EngineはAI検索アプリの開発に役立つツールセットで、以下のような機能があります。

  • 業界をリードする高度な関連性ランキング機能 - BM25を使用した従来型キーワード検索などに対応し、あらゆるドメインを対象にした関連性の高いハイブリッド検索の基盤となります。
  • フルベクトルデータベース機能 - ベクトルの保存と検索に加えて埋め込みの生成も可能です。
  • Elastic Learned Sparse Encoder – 複数のドメインを横断したセマンティック検索に対応する新しい機械学習モデルです。
  • ハイブリッドランキング機能(RRF) - ベクトル検索とテキスト検索を組み合わせ、幅広いドメインを横断する検索関連性を最適化できます。
  • OpenAI GPT-3/GPT-4などサードパーティ変換器モデルを、API経由で統合することをサポートします。
  • フルスイートのデータインジェストツール - データベースコネクター、サードパーティデータ統合、Webクローラー、カスタムコネクター作成用のAPIなどが揃っています。
  • 開発者向けツール - テキスト、画像、時系列、地理情報、マルチメディアなど、あらゆる種類のデータを網羅する検索アプリケーションを開発できます。

AIに大注目

AIの最新情報を受け取る

AIに関連するあらゆる情報をお届けします。登録すると、独自のニュース、Elastic®製品の最新情報、AIのトレンド、ハンズオンデモなどの情報をご利用いただけます。

icon-rocket-32-color.svg

開発元から直接

LLM、NLP、ChatGPT、RRF、BM25、ESRE、ベクトル、変換器、埋め込みなど、AIの世界には常に把握しておくべき情報がたくさんあります。より優れたAI駆動の検索アプリケーションを構築できるように、Elasticのプロダクトおよびエンジニアリング担当役員や開発チームから、この動きの激しいAI環境に関する情報をお届けします。

登録する

MarketoFEForm