Elasticsearch Vector Database:数分でシッピング、数百億規模へ手頃なコストでスケール

ハイブリッド検索の難しい部分はすでに完了しています。最適化されたデフォルト設定、サードパーティおよびネイティブのJina AIモデル、マネージドGPU推論をすべてすぐに利用できます。インフラの構築ではなく、高速でスケーラブルなAIアプリの構築に専念しましょう。

ベクトルデータベースはどのように活用できるでしょうか。

  • ベクトル検索:コンテキスト、意図、関係性

    セマンティック類似検索は、単語が完全に一致しない場合でも正しい結果を返すことができます。

  • ハイブリッド検索:精度 + 柔軟性

    キーワード検索の特徴は正確性です。ベクトル検索は微妙な違いで検索できます。ハイブリッド検索は、それら両方を兼ね備えています。

  • 低密度ベクトルと高密度ベクトル:高速かつ効率的

    疎なテキスト拡張と密な意味一致は、オープンエンドで現実に即した検索に最適です。

  • フィルター、ランキング、再ランキング:コンテキストとの関連性

    フィルターは範囲を狭め、ランキングはシグナルを見つけます。どちらも難しい問題ですが、正しく行えば有効に機能します。

Elasticsearch Vector Database:開発者が愛する、ベクトルを超えた検索

ギャップや妥協は一切ありません。最適化されたデフォルト。ハイブリッド検索。すべてが連携して機能するように構築されています。

  • すべてを理解するハイブリッド検索

    語彙検索、ネイティブのJina AIモデルまたはサードパーティ製モデルによるセマンティック検索、メタデータ、フィルターをハイブリッド検索で1回のAPI呼び出しで組み合わせます。意味、精度、コンテキストに基づいて結果をランク付けします。

  • すぐに使えるよう最適化

    vectordb_documentインデックスモードにより効率的なストレージとインデキシングを実現し、Better Binary Quantization(BBQ)により最大95%のメモリを節約できます。どちらもデフォルトで有効で、最初のクエリから本番環境で利用可能です。

  • Jina AIモデルによるネイティブGPU推論

    Elastic Inference Service(EIS)経由でJina AIモデルでの埋め込みとリランキングを実行し、semantic_textでチャンキングを自動的に処理します。推論APIを介して独自モデルを持ち込むことも可能です。

  • より多くのベクトル、より少ないメモリ、トレードオフはありません

    デフォルトでDiskBBQを使用することで、大規模でも低メモリでのデータ取得を実現し、自動キャリブレーションがデータに合わせて圧縮とオーバーサンプリングを自動的に調整します。データが増加しても調整状態を維持するベクトル検索により、高い再現率を維持できます。

  • ベクトル別の価格設定

    規模を拡張しても手頃で、最初から予測可能な価格設定。事前に請求額を予測できます。

  • 初日からエンタープライズ対応

    セキュリティ、RBAC、オブザーバビリティが組み込まれています。プロジェクト横断検索により、顧客は本格的なElasticsearchへと拡張できます。

Elasticsearchベクトルデータベースで構築

  • セマンティック検索と会話型AI

    意図を理解。自然に検索。正確な結果を取得。

  • Eコマースと小売

    ハイブリッド検索を使用して、ディスカバリー、ランキング、パーソナライゼーションを向上させます。

  • 知識の発見(医療と金融)

    ドキュメント、チケット、メールをまとめて、セマンティックな発見を実現します。

  • 調査ワークフロー(公共部門)

    データを横断して、パターンや洞察を安全に発見します。

  • 位置情報に基づいた検索

    正確でリアルタイムな周辺の検索結果を得るには、geo-distanceクエリを使用します。

  • インフラとデータベースのオフロード

    検索とストレージを分離して、より高速で拡張性の高いクエリ処理を実現します。

ベクトルDB、そして実際に必要なその他の要素

現実世界のベクトル検索には、ベクトル以上のものが必要です。セマンティック検索をフィルタ、セキュリティ、構造化フィールド、BM25ランキングと単一のクエリで組み合わせることができ、つなぎ合わせる必要はありません。

高品質な近傍法

プロンプトからプロダクトまで、チームがElasticsearch Vector Databaseを活用して構築する方法。

  • お客様事例

    FRAIMはElasticsearchを使ってAI時代のナレッジ検索プラットフォームを構築し、テキスト検索とベクトル検索をネイティブに統合することで、検索プラットフォーム全体のコストを50%以上削減し、RAGやAIエージェントの開発を大幅に加速させています。

  • お客様事例

    WP EngineはElasticsearchを使用してWordPressウェブサイトにAIイノベーションをもたらし、ネイティブなGoogle Cloud統合を活用することで、AI機能の開発時間を数週間から数時間に短縮し、ダウンタイムなしで5ミリ秒の検索応答時間を実現しています。

  • お客様事例

    AdobeはElasticを利用して、スケールアップ、複数のユースケースの管理、機械学習機能の活用を実現しています。

数字で見る結果

Elasticsearchベクトルデータベースのパフォーマンスベンチマークと結果。

  • 関連性

    • MMTEBランキングで1位
    • jina-embeddings-v5-text-smallは7億5000万パラメーター以下のすべての多言語モデルの中でトップの性能を発揮し、はるかに大規模な代替モデルを凌駕
    • jina-embeddings-v5-text-nanoは5億未満のすべてのモデルをリード
  • スピード

  • スケールと効率性

はじめに:構築のあらゆるステージに対応するリソース

取り込み、解析、インデックス作成
埋め込み
取得
開発ツール
埋め込みの格納(速度のためのHNSW、圧縮のためのBBQ、スケールのためのDiskBBQ)
埋め込みの検索(サードパーティまたはSOTAの多言語・マルチモーダルJinaモデルによるベクトル検索)
パイプ型クエリES|QL:データのフィルタリング、変換、分析を行うパイプ型クエリ言語
HNSW:大規模環境における高再現率と低レイテンシに最適化された高速な近似kNN検索
全文検索(BM25)
Kibanaを使ってElasticsearchに格納されたデータを探索し、可視化
構造化データと非構造化データの処理
BBQ:検索関連性を維持しながら、メモリと計算コストを大幅に削減する32倍のベクトル圧縮
数行のコードで検索インターフェースや設定可能なSearch UIコンポーネントを作成
取り込みツール(クライアント、ウェブクローラー、*コネクタ、*推論パイプライン*)
DiskBBQ:大規模でメモリ制約のある環境のRAM要件を削減するディスクベースのベクトル検索
Agent Builderを使用することで、Elasticsearchのデータと連携するエージェントの開発や対話を行うためのAIを活用した機能にアクセス
ドキュメントとメタデータのリアルタイム更新
vectordb_documentモード:ベストプラクティスに基づくベクトルのデフォルト設定(量子化手法、マージポリシー、キャッシュの読み込み)を自動的に適用し、導入後すぐに最適なセットアップを実現
semantic_text:埋め込みを自動生成してチャンキングを処理し、パイプラインの設定なしでセマンティック検索を追加
自動キャリブレーション:格納されたベクトルをサンプリングして最適な圧縮とオーバーサンプリングを選択し、データの変化に応じてその場で適応
複数のデータタイプ(テキスト、ベクトル、地理情報など)に合わせて最適化
取り込み、解析、インデックス作成
構造化データと非構造化データの処理
取り込みツール(クライアント、ウェブクローラー、*コネクタ、*推論パイプライン*)
ドキュメントとメタデータのリアルタイム更新
semantic_text:埋め込みを自動生成してチャンキングを処理し、パイプラインの設定なしでセマンティック検索を追加
埋め込み
取得
開発ツール
埋め込みの格納(速度のためのHNSW、圧縮のためのBBQ、スケールのためのDiskBBQ)
埋め込みの検索(サードパーティまたはSOTAの多言語・マルチモーダルJinaモデルによるベクトル検索)
パイプ型クエリES|QL:データのフィルタリング、変換、分析を行うパイプ型クエリ言語
HNSW:大規模環境における高再現率と低レイテンシに最適化された高速な近似kNN検索
全文検索(BM25)
Kibanaを使ってElasticsearchに格納されたデータを探索し、可視化
BBQ:検索関連性を維持しながら、メモリと計算コストを大幅に削減する32倍のベクトル圧縮
数行のコードで検索インターフェースや設定可能なSearch UIコンポーネントを作成
DiskBBQ:大規模でメモリ制約のある環境のRAM要件を削減するディスクベースのベクトル検索
Agent Builderを使用することで、Elasticsearchのデータと連携するエージェントの開発や対話を行うためのAIを活用した機能にアクセス
vectordb_documentモード:ベストプラクティスに基づくベクトルのデフォルト設定(量子化手法、マージポリシー、キャッシュの読み込み)を自動的に適用し、導入後すぐに最適なセットアップを実現
自動キャリブレーション:格納されたベクトルをサンプリングして最適な圧縮とオーバーサンプリングを選択し、データの変化に応じてその場で適応
複数のデータタイプ(テキスト、ベクトル、地理情報など)に合わせて最適化

よくあるご質問

ベクトル検索どのようなもので、どのように機能するのですか?

ベクトルデータベースは、情報をデータオブジェクトの数値表現(ベクトル埋め込みとしても知られている)であるベクトルとして保存します。画像、テキスト、動画、オーディオなどの構造化データ、非構造化データ、半構造化データの膨大なデータセットにわたるマルチモーダル検索のために、ベクトル埋め込みを使用しています。ベクトルデータベースは、ベクトル埋め込みを管理するために構築されているため、データ管理のための総合的なソリューションを提供します。

ベクトル埋め込みとは何ですか?

ベクトル埋め込みは、機械学習モデルを使用してテキストを数字に変換し、ベクトル検索を実行します。データをベクトルに変換することで、埋め込みによりこの空間内にあるアイテム間の類似点の比較、検索、分析が容易になります。

ベクトル検索の利点は何ですか?

ベクトルデータベースは、オンプレミス、エアギャップ、ソブリンクラウド環境間でのシームレスなデータ移行を可能にし、ベクトル埋め込み用のストレージを提供することで、大規模な効率化を実現します。

ベクトルデータベースは類似性検索に優れており、関連する項目を簡単に検索できます。これは、レコメンデーションシステム、画像検索、コンテンツディスカバリーにおいて不可欠です。セマンティック検索機能では、単なるキーワードマッチングを超えて、意味と文脈に基づいた結果を提供します。ベクトル埋め込みを格納することで、AIや機械学習アプリケーションをサポートし、自然言語処理(NLP)やレコメンデーションモデルを簡単に展開できます。

Elasticsearchはベクトル検索ですか?

はい、Elasticsearchは世界で最も広く導入されているオープンソースのベクトルデータベースであり、ベクトル埋め込みを大規模かつ効率的に作成、格納、検索できます。Elasticによるエンタープライズ向けベクトル検索を使用すると、急速に変化するデータでも、クエリ時間を短縮し、最適なパフォーマンスを実現できます。スケーリングに対応するよう構築されており、開発プロセスを簡素化しながら、関連性の高いパーソナライズされた検索結果を提供します。

ベクトル検索としてElasticを選ぶ理由は?

Elasticsearchは世界で最もダウンロードされているベクトルデータベースであり、開発者が高精度の検索とスケーラブルなAI体験をより迅速かつ低コストで提供できるように設計されています。Elasticsearch Vector Databaseは、最適化されたデフォルト設定、ネイティブのJina AIモデルやサードパーティモデル、マネージドGPU推論により、ハイブリッド検索の難しい部分を標準機能ですべて処理します。埋め込みパイプラインを構築・保守することなく、単一のインデックス上でテキスト、画像、マルチモーダルデータにわたるベクトル検索とキーワード検索を実行できます。ベクトルワークロード向けにあらかじめ調整された状態で提供され、高いパフォーマンスを発揮しながらトラフィックスパイクを自動的に吸収し、需要が低下した際にはスケールダウンします。期待通りのセキュリティ、RBAC、リカバリパスを利用できるため、インフラの構築ではなくアプリの開発に専念できます。

Elasticsearchをオンプレミスまたはエアギャップされたベクトルデータベースとして実行できますか?

はい。Elasticsearchは、ベアメタル、プライベートクラウド、または外部接続のない完全にエアギャップされたネットワーク上での、完全なオンプレミス展開が可能です。政府機関、防衛請負業者、規制対象企業は、Elastic Cloud Enterprise(ECE)を使用して、機密環境や切断された環境を含む大規模なスケールでオンプレミスのElasticsearchクラスターを管理しています。Elastic Cloudで利用可能なすべてのベクトル検索、ハイブリッド検索、RAG機能はオンプレミス導入でも同様に利用可能です。