Depuis Elasticsearch 6.0, les index triés améliorent les performances. Mais saviez-vous qu'ils peuvent également vous permettre d'optimiser l'espace disque ?

<html><head></head><body><p>Elasticsearch&#xA0;6.0 inclut une nouvelle fonctionnalit&#xE9;&#xA0;: les <a href="/fr/blog/index-sorting-elasticsearch-6-0">index tri&#xE9;s</a>. Vous pouvez en apprendre davantage sur le blog, mais, pour faire court, au moment de l&apos;indexation,&#xA0;les documents sont tri&#xE9;s&#xA0;par une ou plusieurs&#xA0;cl&#xE9;s de tri dans l&apos;ordre de votre choix. Cela pr&#xE9;sente quelques avantages&#xA0;:
</p><ul>
	<li>Si vous demandez &#xE0; Elasticsearch d&apos;afficher et de trier un ensemble de r&#xE9;sultats en utilisant la cl&#xE9; utilis&#xE9;e pour trier l&apos;index, Elasticsearch n&apos;a plus rien &#xE0; classer pendant la recherche. Les r&#xE9;sultats sont tri&#xE9;s &#xE0; l&apos;avance&#xA0;!</li>
	<li>Si vous n&apos;avez pas besoin de tous les r&#xE9;sultats et que vous triez ces derniers selon la cl&#xE9; de tri, Elasticsearch interrompt la recherche d&#xE8;s qu&apos;il dispose de suffisamment de r&#xE9;sultats pour vous r&#xE9;pondre. Vous pouvez alors b&#xE9;n&#xE9;ficier d&apos;am&#xE9;liorations exceptionnelles en mati&#xE8;re de performances.</li>
	<li>Lorsque vos recherches utilisent des op&#xE9;rateurs AND pour relier diff&#xE9;rents champs, l&apos;index tri&#xE9; facilite les regroupements et permet &#xE0; Elasticsearch d&apos;ignorer de grands blocs de documents pour acc&#xE9;l&#xE9;rer les recherches.</li>
</ul><p> En bref, dans certains cas, cette fonctionnalit&#xE9; rend les recherches plus rapides, particuli&#xE8;rement lorsque de nombreux utilisateurs recherchent et trient vos documents de la m&#xEA;me mani&#xE8;re.  En revanche, on parle peu des bienfaits des index tri&#xE9;s en mati&#xE8;re d&apos;&#xE9;conomie d&apos;espace. Parlons-en sans plus attendre.
</p><h2>Attention&#xA0;: les index tri&#xE9;s ne conviennent pas &#xE0; tout le monde</h2><p>Avant de d&#xE9;crire le fonctionnement des index tri&#xE9;s, je me dois de rappeler que cette fonctionnalit&#xE9; ne convient pas &#xE0; toutes les situations. Elle a pour effet d&apos;ex&#xE9;cuter les actions de tri au moment de l&apos;indexation. Le tri est une op&#xE9;ration gourmande. Si la vitesse d&apos;indexation compte parmi vos principales pr&#xE9;occupations, r&#xE9;fl&#xE9;chissez-y &#xE0; deux fois avant d&apos;activer cette fonctionnalit&#xE9;. Elle peut r&#xE9;duire les performances d&apos;&#xE9;criture de 40 &#xE0; 50&#xA0;%. C&apos;est pourquoi, si vos applications requi&#xE8;rent un taux &#xE9;lev&#xE9; d&apos;indexation, ce qui est souvent le cas lorsque des volumes importants de logs, d&apos;indicateurs ou de donn&#xE9;es d&apos;analyse de s&#xE9;curit&#xE9; doivent &#xEA;tre trait&#xE9;s, les index tri&#xE9;s ne sont probablement pas faits pour vous.  En revanche, il peut se r&#xE9;v&#xE9;ler utile si votre taux d&apos;indexation est plus faible, si la vitesse de recherche constitue pour vous un facteur d&#xE9;terminant ou si vous b&#xE9;n&#xE9;ficiez d&apos;un processus r&#xE9;gulier de r&#xE9;indexation qui s&apos;ex&#xE9;cute hors des pics d&apos;indexation.
</p><h2>Examen d&apos;ordres de tri possibles&#xA0;: exemple</h2><p>Imaginons que j&apos;ex&#xE9;cute une instance Elasticsearch qui sert &#xE0; rechercher des produits. Supposons que je dispose d&apos;un ensemble de documents qui, au moment de l&apos;indexation, ressemble &#xE0; ce qui suit (je les r&#xE9;sume dans un tableau pour faciliter leur lecture)&#xA0;:
</p><table width="100%">
<tbody>
<tr>
<td><strong>ID produit</strong></td>
<td><strong>Cat&#xE9;gorie de produit</strong></td>
<td><strong>Couleur de produit</strong></td>
<td><strong>Prix</strong></td>
</tr>
<tr>
<td>206f467b-8cfe</td>
<td>Chaussures</td>
<td>Rouge</td>
<td>$97.00</td>
</tr>
<tr>
<td>4f89fbec-acc3</td>
<td>Vestes</td>
<td>Noir</td>
<td>$120.50</td>
</tr>
<tr>
<td>47771396-dfe3</td>
<td>Vestes</td>
<td>Gris</td>
<td>$170.10</td>
</tr>
<tr>
<td>c6c8fbdf-651b</td>
<td>Chapeaux</td>
<td>Jaune</td>
<td>$15.00</td>
</tr>
<tr>
<td>dc18c426-0eb3</td>
<td>Chaussures</td>
<td>Rouge</td>
<td>$107.20</td>
</tr>
<tr>
<td>ee304259-df57</td>
<td>Vestes</td>
<td>Noir</td>
<td>$88.00</td>
</tr>
<tr>
<td>9332c0ac-e55e</td>
<td>Chaussures</td>
<td>Noir</td>
<td>$49.00</td>
</tr>
<tr>
<td>30e96765-52a1</td>
<td>Chapeaux</td>
<td>Bleu</td>
<td>$11.00</td>
</tr>
<tr>
<td>811cc8ca-d6bb</td>
<td>Vestes</td>
<td>Bleu</td>
<td>$92.99</td>
</tr>
</tbody>
</table><p> Supposons maintenant que nous souhaitons utiliser les index tri&#xE9;s. Quelle cl&#xE9; de tri allons-nous utiliser&#xA0;? Plusieurs options s&apos;offrent &#xE0; nous&#xA0;: la cat&#xE9;gorie de produit, la couleur de produit ou le prix. Si les recherches effectu&#xE9;es par les utilisateurs sont presque toujours tri&#xE9;es par prix et qu&apos;aucun filtre de cat&#xE9;gorie ou de couleur n&apos;est disponible, il semble logique d&apos;utiliser le prix comme cl&#xE9; de tri. Cependant, il est probable que les utilisateurs s&#xE9;lectionnent au moins une cat&#xE9;gorie avant de rechercher l&apos;article le moins cher. Il se peut aussi qu&apos;ils expriment une pr&#xE9;f&#xE9;rence quant &#xE0; la couleur du produit.  Trions par cat&#xE9;gorie croissante (product_category), par couleur croissante (product_color), puis par prix croissant (price).</p><pre class="&#x201C;prettyprint&#x201D;">&quot;sort.field&quot; : [&quot;product_category&quot;, &quot;product_color&quot;, &quot;price&quot;], &quot;sort.order&quot; : [&quot;asc&quot;, &quot;asc&quot;, &quot;asc&quot;]
</pre><p>
	L&apos;index tri&#xE9; ressemble &#xE0; &#xE7;a&#xA0;:
</p><table width="100%">
<tbody>
<tr>
<td><strong>ID produit</strong></td>
<td><strong>Cat&#xE9;gorie de produit</strong></td>
<td><strong>Couleur de produit</strong></td>
<td><strong>Prix</strong></td>
</tr>
<tr>
<td>30e96765-52a1</td>
<td>Chapeaux</td>
<td>Bleu</td>
<td>$11.00</td>
</tr>
<tr>
<td>c6c8fbdf-651b</td>
<td>Chapeaux</td>
<td>Jaune</td>
<td>$15.00</td>
</tr>
<tr>
<td>ee304259-df57</td>
<td>Vestes</td>
<td>Noir</td>
<td>$88.00</td>
</tr>
<tr>
<td>4f89fbec-acc3</td>
<td>Vestes</td>
<td>Noir</td>
<td>$120.50</td>
</tr>
<tr>
<td>811cc8ca-d6bb</td>
<td>Vestes</td>
<td>Bleu</td>
<td>$92.99</td>
</tr>
<tr>
<td>47771396-dfe3</td>
<td>Vestes</td>
<td>Gris</td>
<td>$170.10</td>
</tr>
<tr>
<td>9332c0ac-e55e</td>
<td>Chaussures</td>
<td>Noir</td>
<td>$49.00</td>
</tr>
<tr>
<td>206f467b-8cfe</td>
<td>Chaussures</td>
<td>Rouge</td>
<td>$97.00</td>
</tr>
<tr>
<td>dc18c426-0eb3</td>
<td>Chaussures</td>
<td>Rouge</td>
<td>$107.20</td>
</tr>
</tbody>
</table><p> Des choses int&#xE9;ressantes se produisent. En voici un exemple&#xA0;:
</p><ul>
	<li>Demandons &#xE0; Elasticsearch de rechercher les deux paires de chaussures les moins ch&#xE8;res et de les trier par prix sans demander le nombre total de r&#xE9;sultats pour l&apos;ensemble des chaussures. Elasticsearch doit rechercher le bloc correspondant aux chaussures, ce qu&apos;il peut faire efficacement en ignorant toutes les autres cat&#xE9;gories. Une fois les deux r&#xE9;sultats trouv&#xE9;s, Elasticsearch les affiche apr&#xE8;s avoir interrompu la recherche. Pour que cela fonctionne, vous devez inclure chaque &#xE9;l&#xE9;ment de l&apos;ordre de tri dans l&apos;index, m&#xEA;me en cas de correspondance avec vos filtres.</li>
	<li>Si je demande <code>product_category:Vestes AND product_color:Noir</code> &#xE0; Elasticsearch, ce dernier peut ignorer l&apos;ensemble des chapeaux et des chaussures, se concentrer sur les produits &#xAB;&#xA0;Noir&#xA0;&#xBB;, puis ignorer toutes les autres couleurs.</li>
	<li>Elasticsearch compresse significativement les donn&#xE9;es en arri&#xE8;re-plan. La compression fonctionne lorsque des valeurs se r&#xE9;p&#xE8;tent. Elle est d&apos;autant plus efficace lorsque les valeurs r&#xE9;p&#xE9;t&#xE9;es sont proches les unes des autres dans l&apos;index. En regroupant tous les produits par cat&#xE9;gories ou par couleur, les donn&#xE9;es correspondantes peuvent &#xEA;tre efficacement compress&#xE9;es sur le disque. L&apos;espace occup&#xE9; sur le disque est ainsi r&#xE9;duit, et le syst&#xE8;me d&apos;exploitation dispose de plus d&apos;espace dans le cache du syst&#xE8;me de fichiers pour toujours plus de vitesse.</li>
</ul><p> En g&#xE9;n&#xE9;ral, il est recommand&#xE9; d&apos;utiliser des ordres de tri de cardinalit&#xE9; croissante pour b&#xE9;n&#xE9;ficier du maximum de valeurs r&#xE9;p&#xE9;t&#xE9;es cons&#xE9;cutives possibles.
</p><h2>Combien d&apos;espace disque puis-je &#xE9;conomiser&#xA0;?</h2><p>Combien d&apos;espace disque allez-vous &#xE9;conomiser en activant cette fonctionnalit&#xE9;&#xA0;?  Comme souvent dans la vie, &#xE7;a d&#xE9;pend. La cardinalit&#xE9; du champ choisi pour le tri est un facteur pr&#xE9;dominant. Toutefois, les &#xE9;conomies d&apos;espace disque peuvent &#xEA;tre substantielles.  Le weekend dernier, j&apos;ai d&#xE9;cid&#xE9; de d&#xE9;placer quelques donn&#xE9;es d&apos;automatisation de mes objets connect&#xE9;s d&apos;un vieil ordinateur &#xE0; une nouvelle machine. Il existe des fa&#xE7;ons plus rapides de migrer des donn&#xE9;es, en restaurant une sauvegarde&#xA0;par exemple, mais j&apos;ai pris le temps de faire une r&#xE9;indexation, car je voulais savoir combien d&apos;espace je pouvais &#xE9;conomiser en triant l&apos;index. J&apos;ai d&apos;abord r&#xE9;index&#xE9; les objets sans ordre de tri&#xA0;:
</p><pre class="&#x201C;prettyprint&#x201D;">status    index           pri    docs.count    docs.deleted    pri.store.size 
open      devices-2017    1      33310674      0               4.2gb
</pre><p>Il s&apos;agit d&apos;un peu plus de 30&#xA0;appareils. Chacun d&apos;eux transmet son &#xE9;tat toutes les 30&#xA0;secondes, ce qui fait&#xA0; environ un document par seconde au final. Il faudrait que j&apos;augmente massivement le taux d&apos;indexation ou le nombre d&apos;appareils pour observer des ralentissements lors de l&apos;indexation. Dans mon cas, les index tri&#xE9;s semblent une bonne solution.  Les donn&#xE9;es sont compos&#xE9;es d&apos;identifiants et de noms d&apos;appareils, ainsi que de plusieurs relev&#xE9;s de capteurs, tels que des temp&#xE9;ratures, des indicateurs de marche/arr&#xEA;t ou des informations d&apos;&#xE9;tat. J&apos;ai tri&#xE9; l&apos;index par identifiant d&apos;appareil, puis par heure. Je me suis dit qu&apos;il est tr&#xE8;s probable que, pour un appareil donn&#xE9;, les valeurs soient semblables ou identiques aux alentours d&apos;une m&#xEA;me heure, ce qui permettrait d&apos;am&#xE9;liorer la compression. Par exemple, si l&apos;&#xE9;tat d&apos;un interrupteur indique &#xAB;&#xA0;marche&#xA0;&#xBB; &#xE0; 7:00:00, la probabilit&#xE9; est &#xE9;lev&#xE9;e que l&apos;&#xE9;tat soit identique &#xE0; 7:00:30, &#xE0; 7:01:00, puis pendant encore quelques minutes. Le niveau de compression de ces donn&#xE9;es devrait &#xEA;tre int&#xE9;ressant.  Voici le r&#xE9;sultat apr&#xE8;s avoir tri&#xE9; l&apos;index&#xA0;:
</p><pre class="&#x201C;prettyprint&#x201D;">status    index           pri    docs.count     docs.deleted    pri.store.size
open      devices-2017    1      3310674        0               2.5gb
</pre><p>Environ 40&#xA0;% d&apos;&#xE9;conomie d&apos;espace&#xA0;!
</p><h2>Attention (encore)</h2><p>&#xC0; ce stade, je me sens &#xE0; nouveau oblig&#xE9; d&apos;avertir tout le monde, car qui n&apos;appr&#xE9;cierait pas que ses donn&#xE9;es occupent 40&#xA0;% moins d&apos;espace disque&#xA0;? R&#xE9;sumons &#xE7;a en deux phrases&#xA0;:
</p><ul>
	<li>Les &#xE9;conomies d&apos;espace obtenues varient. J&apos;ai obtenu 20&#xA0;% d&apos;&#xE9;conomie en triant l&apos;index d&apos;un autre ensemble de donn&#xE9;es. Choisissez avec soin vos champs de tri.</li>
	<li>Votre vitesse d&apos;indexation diminuera. Si la vitesse d&apos;indexation vous importe &#xE9;norm&#xE9;ment (par exemple, parce que vous traitez des volumes importants de logs ou d&apos;indicateurs), le nombre de documents pouvant &#xEA;tre index&#xE9;s en peu de temps est probablement d&#xE9;terminant &#xE0; vos yeux. Dans ce cas, il se peut que l&apos;utilisation des index tri&#xE9;s ne vous convienne pas.</li>
</ul><p>Si les &#xE9;conomies d&apos;espace disque vous importent beaucoup plus que la vitesse d&apos;indexation ou si le volume de votre index ne ralentit pas la vitesse d&apos;indexation, les index tri&#xE9;s pourraient valoir le coup.
</p></body></html>

save_space_banner.jpg

save_space_thumb.jpg

Space Savings: A Lesser Known Benefit of Index Sorting in Elasticsearch

Économie d'espace : un bénéfice méconnu des index triés dans Elasticsearch

tuning_tools.jpg

bm_25_tuning_pt2.jpg

Practical BM25 - Part 2: The BM25 Algorithm and its Variables

L'algorithme BM25 en pratique - 2<sup>e</sup> partie : l'algorithme BM25 et ses variables

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Principal Solutions Architect

Shane Connelly

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p><p>By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.</p>

GDPR Text + Google Cloud

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Shane Connelly

Principal Solutions Architect, Elastic

Économie d'espace : un bénéfice méconnu des index triés dans Elasticsearch

L'algorithme BM25 en pratique - 2^e partie : l'algorithme BM25 et ses variables

Author

Articles by Shane Connelly

Principal Solutions Architect, Elastic

Économie d'espace : un bénéfice méconnu des index triés dans Elasticsearch

L'algorithme BM25 en pratique - 2e partie : l'algorithme BM25 et ses variables

Sign up for Elastic Cloud free trial

L'algorithme BM25 en pratique - 2^e partie : l'algorithme BM25 et ses variables