Elasticsearch 2.0のインデキシングのパフォーマンスに関する考慮事項

1年とすこし前、私はElasticsearchで<a href="https://www.elastic.co/jp/blog/performance-considerations-elasticsearch-indexing">インデキシングのスループットを最大化する方法を説明</a>しました。あれから多くの変更がありました。そこで、Elasticsearch 2.0.0のインデキシングのパフォーマンスに影響を与える変更についてあらためて説明したいと思います。
<h2>制限の保存を自動化</h2>2.0.0より前のElasticsearchでは、進行中のマージを一定の割合（デフォルトで20 MB/秒）に制限していました。しかし、これは低すぎる場合も多く、マージが遅れ、それ以降のインデキシングが制限されることがよくありました。 
Elasticsearch 2.0.0では、<a href="https://github.com/elastic/elasticsearch/pull/9243">適応型のマージIO制限</a>を使用するようになりました。マージが遅れ始めると許容されるIO率が高くなり、マージが追いつくと低くなります。つまり、突発的に大きなマージがスループットの低いインデキシングで発生したとしてもノードで使用可能なすべてのIOが枯渇せず、進行中の検索やインデキシングに与える影響を最小限に抑えることができます。
ただし、大量のインデキシングが実行中の場合は、許容されるマージIOもそれに応じて高くなります。
これは良いことです。制限設定に手を加えることなく、ただデフォルトを使用すれば良いのですから。 
<h2>複数の<code>path.data</code></h2>複数のIOデバイスを使用（複数の<code>path.data</code>パスを指定）したノードでのシャードの保持は、ストレージの合計容量が増えた場合に便利であり、IOのパフォーマンスがボトルネックとなるようなElasticsearchの使い方をしている場合、IOのパフォーマンスが向上します。
Elasticsearchによる複数のパスでのIOの負荷分散には重要な変更があります。以前は、それぞれの低レベルのインデックスファイルを最適な（デフォルトでは、最も空いている）パスに送信していましたが、現在ではその基準がシャードごとになりました。シャードがノードに割り当てられると、ノードはどのパスがそのシャードのすべてのファイルを保持するかを選択します。
IOデバイスの障害に対する耐障害性の向上：IOデバイスのいずれかがクラッシュした場合、現在ではそのデバイス上のシャードが失われるだけですが、2.0.0より前は、影響を受けるデバイスに1つ以上のファイルがあるシャードがすべて失われていました（通常、これはそのノードのほぼすべてのシャードとなります）。
OSレベルのRAID 0デバイスも、いずれかのデバイスで障害が発生すると、そのノードのすべてのシャードが失われるため、あまり良い選択肢とは言えません。ですから、複数のpath.dataを使用することを推奨します。 
また、インデックスのレプリカを少なくとも1つ保持して、失われたシャードを復旧できるようにしてデータの消失を防ぐ必要があります。
<h2>自動ID最適化の廃止</h2>これまで、Elasticsearchは、自動的にIDを付与するケース（インデックスされる各ドキュメントに独自のIDを指定しなかった場合）において、内部で追記専用のLucene APIを使用することで最適化していましたが、この方法では問題が発生してエラーが起こることがわかり、<a href="https://github.com/elastic/elasticsearch/pull/9468">廃止しました</a>。
また、<a href="https://github.com/elastic/elasticsearch/issues/6212">IDルックアップのパフォーマンスも大幅に向上したため、</a>この最適化はそれほど重要ではなくなり、これによって完全に<a href="https://github.com/elastic/elasticsearch/issues/8571">ブルームフィルタを廃止</a>できました。ブルームフィルタは膨大なヒープを消費する割りには、IDルックアップのパフォーマンス向上につながらなかったためです。
また、1.4.0では、Elasticsearchは以前のUUIDに対してのルックアップのパフォーマンスを向上させるために、<a href="https://github.com/elasticsearch/elasticsearch/issues/5941">Flake IDを使用</a>してIDを生成するようになっています。
自動IDの処理が廃止されたことで、パフォーマンスを犠牲にすることなく、独自のIDフィールドを自由に使用できるようになりました。ただし、IDフィールド値の選択によって<a href="http://blog.mikemccandless.com/2014/05/choosing-fast-unique-identifier-uuid.html">インデキシングのパフォーマンスに影響する</a>ので注意が必要です。
<h2>その他のインデキシングに関する変更</h2>こうした変更以外にも、2.0のインデキシングでは以下のような大きな変更が多数あります。（検索時にCPUやヒープを大きく消費するfielddataを使用するのではなく）<a href="https://github.com/elastic/elasticsearch/pull/10209" target="_blank">デフォルトでのdoc valuesの有効化</a>、危険なdelete-by-query APIをコアAPIから<a href="https://github.com/elastic/elasticsearch/issues/7052" target="_blank">バルクインデキシングAPIを使用する</a>安全なプラグインへの移動、<a href="https://github.com/elastic/elasticsearch/pull/8863" target="_blank">インデキシング中のstoredフィールドの圧縮率の増加に対する</a>制御の実現、<a href="https://issues.apache.org/jira/browse/LUCENE-6668" target="_blank">少数のdoc values</a>および<a href="https://issues.apache.org/jira/browse/LUCENE-6030">norms</a>の圧縮の改善、マージ時に必要なヒープの削減、<a href="https://issues.apache.org/jira/browse/LUCENE-5969" target="_blank">マージ時に以前から存在していたインデックス破損の検出</a>などの耐障害性の大幅な向上。
インデキシング中の低レベルでのLuceneアクションに興味があるなら、code&gt;index.engine.lucene.iw: TRACEを<code>logging.yml</code>に追加してみてください。ただし、出力が膨大になるので注意してください。
Elasticsearchの<a href="http://benchmarks.elasticsearch.org/">毎晩のインデキシングパフォーマンスのチャート</a>を見れば、デフォルト設定が正しい改善であることが分かります。デフォルト（4GB）ヒープのdocs/秒とセグメント数は、高速なパフォーマンスラインに追いついています。

airbus-auto-throttle-levers-banner.jpg

airbus-auto-throttle-levers-thumb.jpg

Performance Considerations for Elasticsearch 2.0 Indexing

私たちは「標準的」なアプリケーションに合わせてElasticsearchのデフォルトを適切に設定するようにしていますが、これらのベストプラクティスを用いれば、簡単にパフォーマンスを向上させることができます。

performance-consideration.png

Performance Considerations for Elasticsearch Indexing

Elasticsearchインデックス作成におけるパフォーマンス考慮事項

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Michael McCandless

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、上記で提供された連絡先に<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">特定の通知</a>が送信されることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシーポリシー</a>をご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。このフォームを送信することにより、Elasticが私の連絡先情報をGoogle Cloudに共有することに同意します。また、Elasticが私に食材パッケージを発送する目的で私の情報をベンダーに提供することにも同意します。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

送信することにより、Elasticの<a href="/jp/legal/serverless-preview-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

送信することにより、<a href="/jp/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud利用規約</a>に同意したものとみなされます。個人情報は<a href="/jp/legal/privacy-statement">Elasticのプライバシーポリシー</a>に基づいて取り扱われます。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

送信することにより、Elasticの<a href="/jp/legal/terms-of-use" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

このページのコンテンツは、選択された言語ではご利用いただけません。Elasticでは現在、コンテンツをさまざまな言語でご利用いただけるよう取り組んでいます。お使いの言語が準備されるまでお待ちくださるようお願いいたします。

Author

Articles by

Watch now (no PT)

Watch now

See all top stories

すべてのトップストーリーを見る

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Search Integrations

All Solutions

Video for

See when this webinar starts in my time zone

現在のタイムゾーンでこのウェビナー開始時間を見る

Register to Watch

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

他の予定と重なってしまった…という場合も、問題ありません。参加登録されると、録画配信をご利用いただけます。関連コンテンツのご案内もメールでお届けします。

Author

Articles by Michael McCandless

Elasticsearch 2.0のインデキシングのパフォーマンスに関する考慮事項

Elasticsearchインデックス作成におけるパフォーマンス考慮事項

Sign up for Elastic Cloud free trial