<code>_reindex</code>と<code>_update_by_query</code>が、Elasticsearch 2.3.0と5.0.0-alpha1に登場しました!
<a href="https://www.elastic.co/guide/en/elasticsearch/reference/2.x/docs-reindex.html">_reindex</a>は、ドキュメントをひとつのindexから読み込み、他のindexに書き込みます。これにより、ドキュメントをあるindexから他のindexにコピーしたり、あらたな情報をfieldとして加えたり、index作成時に決められた設定を、indexの再作成により変更できます。
<a href="https://www.elastic.co/guide/en/elasticsearch/reference/2.x/docs-update-by-query.html">_update_by_query</a>は、ドキュメントをひとつのindexから読み取り、同じindexに書き戻します。これにより多くのドキュメントに含まれるfieldの更新や、mappingの変更をオンラインで行えます。
<h2 style="background-color: rgb(255, 255, 255);"><code style="font-size: 22px;">_reindex</code>&nbsp;はドキュメントをコピー</h2>この<code>_reindex</code>&nbsp;APIは、ドキュメントをあるindexから他にコピーするだけの便利な機能です。他にできることは全て副次的なものです。もし、あなたが全ドキュメントを、<code>src</code>&nbsp;indexから、<code>dest</code>&nbsp;indexにコピーするのであれば、<code>_reindex</code>を以下のとおり実行するだけです:
<pre class="prettyprint">curl -XPOST localhost:9200/_reindex?pretty -d'{
 "source": {
 "index": "src"
 },
 "dest": {
 "index": "dest"
 }
}'
</pre>もしある条件に一致するものだけをコピー、例えば、<code>bananas</code>とタグ付けされたドキュメントだけであれば、以下のように<code>_reindex</code>を呼び出します:
<pre class="prettyprint">curl -XPOST localhost:9200/_reindex?pretty -d'{
 "source": {
 "index": "src",
 "query": {
 "match": {
 "tags": "bananas"
 }
 }
 },
 "dest": {
 "index": "dest"
 }
}'
</pre><code>bananas</code>とタグ付けされたドキュメントをコピーし、さらに全てのドキュメントに<code>chocolate</code>タグを追加するには、以下のように<code>_reindex</code>を呼び出します:
<pre class="prettyprint">curl -XPOST localhost:9200/_reindex?pretty -d'{
 "source": {
 "index": "src",
 "query": {
 "match": {
 "tags": "bananas"
 }
 }
 },
 "dest": {
 "index": "dest"
 },
 "script": {
 "inline": "ctx._source.tags += \"chocolate\""
 }
}'
</pre>Dynamic scriptが有効になっている必要がありますが、同じことがnon-<code>inline</code>スクリプトでも可能です。&nbsp; index作成時に決めた設定を変更するためにindexを再作成する場合には、多少の作業が必要ですが、以前よりは簡単になりました。
<pre class="prettyprint"># このように古いindexを作成
curl -XPUT localhost:9200/test_1 -d'{
 "aliases": {
 "test": {}
 }
}'
for i in $(seq 1 1000); do
 curl -XPOST localhost:9200/test/test -d'{"tags": ["bananas"]}'
 echo
done
curl -XPOST localhost:9200/test/_refresh?pretty
# 初期値のshard数が気に入らなかったので
# 新しいshard数でコピーを作成
curl -XPUT localhost:9200/test_2 -d'{
 "settings": {
 "number_of_shards": 1
 }
}'
curl -XPOST 'localhost:9200/_reindex?pretty&refresh' -d'{
 "source": {
 "index": "test"
 },
 "dest": {
 "index": "test_2"
 }
}'
# aliasを新しいindexへ
curl -XPOST localhost:9200/_aliases?pretty -d'{
 "actions": [
 { "remove": { "index": "test_1", "alias": "index" } },
 { "add": { "index": "test_2", "alias": "index" } }
 ]
}'
# 最後に古いindexを削除
curl -XDELETE localhost:9200/test_1?pretty
</pre><h2 style="background-color: rgb(255, 255, 255);"><code style="font-size: 22px;">_update_by_query</code>はドキュメントを変更</h2>それほど便利というわけではありませんが、一番簡単な<code>_update_by_query</code>の使用法です。
<pre class="prettyprint">curl -XPOST localhost:9200/test/_update_by_query?pretty
</pre>これは、<code>test</code>&nbsp;indexのドキュメントのバージョン番号を増加させ、この処理中にドキュメントを更新しようとすると、失敗します。&nbsp; もう少し興味深い例は、<code>bananas</code>タグのあるドキュメント全てに、<code>chocolate</code>タグを追加する例です。
<pre class="prettyprint">curl -XPOST 'localhost:9200/test/_update_by_query?pretty&refresh' -d'{
 "query": {
 "bool": {
 "must": [ {"match": {"tags": "bananas"}} ],
 "must_not": [ {"match": {"tags": "chocolate"}} ]
 }
 },
 "script": {
 "inline": "ctx._source.tags += \"chocolate\""
 }
}'
</pre>先ほどと同じように、この処理中にドキュメントを更新しようとすると、失敗しますが、そのような場合には、失敗した場所からリトライするような機能もあります。もしあなたが、<code>bananas</code>タグがあった場合に<code>chocolate</code>タグを追加し、同時にアップデートするようなアプリケーションを作っている場合、<code>_update_by_query</code>でバージョンの矛盾を安全に無視できます。<code>conflicts=proceed</code>と設定します。これはバージョンの矛盾を数え、アップデートを継続します。このコマンドは以下のとおりです:
<pre class="prettyprint">curl -XPOST 'localhost:9200/test/_update_by_query?pretty&refresh&conflicts=proceed' -d'{
 "query": {
 "bool": {
 "must": [ {"match": {"tags": "bananas"}} ],
 "must_not": [ {"match": {"tags": "chocolate"}} ]
 }
 },
 "script": {
 "inline": "ctx._source.tags += \"chocolate\""
 }
}'
</pre>また、既存のfieldをもとに、異なるmappingのfieldを追加する場合にも、<code>_update_by_query</code>が使えます。
<pre class="prettyprint"># tagsはnot_analyzedに
curl -XPUT localhost:9200/test_3?pretty -d'{
 "mappings": {
 "test": {
 "properties": {
 "tags": {
 "type": "string",
 "index": "not_analyzed"
 }
 }
 }
 }
}'
for i in $(seq 1 1000); do
 curl -XPOST localhost:9200/test_3/test -d'{"tags": ["bananas"]}'
 echo
done
curl -XPOST localhost:9200/test_3/_refresh?pretty
# しかし、standard analyzerを使って、bananaとというキーワードを使ってbananasを見つけるために、tagsを検索したくなりました
curl -XPUT localhost:9200/test_3/_mapping/test?pretty -d'{
 "properties": {
 "tags": {
 "type": "string",
 "index": "not_analyzed",
 "fields": {
 "analyzed": {
 "type": "string",
 "analyzer": "standard"
 }
 }
 }
 }
}'
# これはすぐには有効になりません
curl 'localhost:9200/test_3/_search?pretty' -d'{
 "query": {
 "match": {
 "tags.analyzed": "bananas"
 }
 }
}'
# :(
# しかし、_update_by_query を使って、新しいmappingで全てのドキュメントを更新します
curl -XPOST 'localhost:9200/test_3/_update_by_query?pretty&conflicts=proceed&refresh'
# 新しいmappingがindexに適用されました!
curl 'localhost:9200/test_3/_search?pretty' -d'{
 "query": {
 "match": {
 "tags.analyzed": "bananas"
 }
 }
}'
</pre><h2 style="background-color: rgb(255, 255, 255);">ステータスの取得</h2><code>_reindex</code>と<code>_update_by_query</code>は、数百万ものドキュメントを触る可能性がありますので、時間がかかることがあります。以下の方法でステータスを取得できます:
<pre class="prettyprint">curl localhost:9200/_tasks?pretty&detailed&actions=*reindex,*byquery
</pre>これには、このようなfieldが含まれます:
<pre class="prettyprint">"BHgHr0cETkOehwqZ2N_-aQ:28295" : {
 "node" : "BHgHr0cETkOehwqZ2N_-aQ",
 "id" : 28295,
 "type" : "transport",
 "action" : "indices:data/write/reindex",
 "start_time_in_millis" : 1458767149108,
 "running_time_in_nanos" : 5475314,
 "status" : {
 "total" : 6154,
 "updated" : 3500,
 "created" : 0, 
 "deleted" : 0,
 "batches" : 36,
 "version_conflicts" : 0,
 "noops" : 0,
 "retries": 0,
 "throttled_millis": 0
 }
}
</pre>これにより、<code>_reindex</code>は、<code>total</code>の件数の実行を予定していて、<code>updated + created + deleted + noops</code>の件数の実行が終了しているということがわかります(詳細はを<a href="https://elastic.co/guide/en/elasticsearch/reference/2.x/docs-update-by-query.html#docs-update-by-query-task-api">ドキュメント</a>参照)。これらを割り算することにより、どの程度完了したか推測できます。
<h2 style="background-color: rgb(255, 255, 255);">タスクの中止</h2>Elasticsearchには、実行中のタスクを終了する機能がなかったので<code>_reindex</code>の提供には時間がかかりました。短い時間に実行が終わる<code>_search</code>やindexの作成タスクについては、問題ないでしょう。しかし、前述のように、<code>_reindex</code>や、<code>_update_by_query</code>は数百万件ものドキュメントを触る可能性があり、時間がかかります。タスクそのものは良いでしょうが、ユーザは困るでしょう。3時間もかかる<code>_update_by_query</code>において、10分後にスクリプトに誤りがあるのを見つけたとしたら、どうでしょうか。すでに再インデックスされた変更はロールバックできませんが、これ以上変更しないために、キャンセルはできます:
<pre class="prettyprint">curl -XPOST localhost:9200/_task/{taskId}/_cancel
</pre><code>taskId</code>はどこから取得できるでしょうか。これは、先ほどの<code>_task</code>が返すオブジェクトの名前です。この例では<code>BHgHr0cETkOehwqZ2N_-aQ:28295</code>がそれに当たります。
Elasticsearch内でのタスク停止は、それぞれのタスクが判断を行っています。Javaアプリケーションであれば仕方がないことでもあります。それでも<code>_reindex</code>と<code>_update_by_query</code>のタスクは、定期的に停止の必要があるか確認し、自身で停止します。ですので、タスクを停止した直後には、タスクのリストにまだ残っている可能性があります。それはそのうちなくなりますが、ノードを停止しない限り、明示的に停止できません。
<h2 style="background-color: rgb(255, 255, 255);">Elasticsearchがサーチエンジンであることをお忘れなく</h2>全てのドキュメントは削除とマークされてから、新しいドキュメントがインデックスされます。その後、削除とマークされたドキュメントは、マージ処理にてindexから削除されます。<code>_reindex</code>と<code>update_by_query</code>も同様の処理が行われます。これらは、scrollクエリーを実行し、全ての結果をインデックスするのと同じ動作です。。無数の<code>_reindex</code>や<code>_update_by_query</code>タスクを実行することは、コンピューターのリソースを有効に使うことにはなりません。Elasticsearchにデータを追加した後に変更するより、まずは、データを追加する段階で良いアプリケーションを作っていただくようお願いします。<code>_reindex</code>と<code>_update_by_query</code>は、すでにElasticsearchに入っているデータを変更する場合に、便利に使ってもらえることでしょう。

flower-166156.jpg

Reindex is coming!

Reindexが登場!

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Software Engineer

Nik Everett

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、上記で提供された連絡先に<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">特定の通知</a>が送信されることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシーポリシー</a>をご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。このフォームを送信することにより、Elasticが私の連絡先情報をGoogle Cloudに共有することに同意します。また、Elasticが私に食材パッケージを発送する目的で私の情報をベンダーに提供することにも同意します。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

送信することにより、Elasticの<a href="/jp/legal/serverless-preview-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

送信することにより、<a href="/jp/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud利用規約</a>に同意したものとみなされます。個人情報は<a href="/jp/legal/privacy-statement">Elasticのプライバシーポリシー</a>に基づいて取り扱われます。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

送信することにより、Elasticの<a href="/jp/legal/terms-of-use" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

このページのコンテンツは、選択された言語ではご利用いただけません。Elasticでは現在、コンテンツをさまざまな言語でご利用いただけるよう取り組んでいます。お使いの言語が準備されるまでお待ちくださるようお願いいたします。

Author

Articles by

Watch now (no PT)

Watch now

See all top stories

すべてのトップストーリーを見る

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Search Integrations

All Solutions

Video for

See when this webinar starts in my time zone

現在のタイムゾーンでこのウェビナー開始時間を見る

Register to Watch

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

他の予定と重なってしまった…という場合も、問題ありません。参加登録されると、録画配信をご利用いただけます。関連コンテンツのご案内もメールでお届けします。

Author

Articles by Nik Everett

Software Engineer, Elastic

Reindexが登場!