<h2>Un peu de contexte pour commencer...</h2>Nous avons souvent recours aux architectures <a href="/fr/blog/hot-warm-architecture-in-elasticsearch-5-x">hot-warm</a> lorsque nous voulons tirer pleinement parti de notre matériel. Celles-ci sont particulièrement utiles lorsque nous disposons de données temporelles, comme les <a href="/fr/blog/observability-with-the-elastic-stack">logs, les indicateurs et les données APM</a>. Pour la plupart des configurations, les données sont en lecture seule (après l’ingestion) et les index sont basés sur une durée (ou une taille). Il est donc facile de les supprimer selon la durée pendant laquelle nous souhaitons les conserver. Dans ce type d’architecture, nous classons les nœuds Elasticsearch en deux catégories&nbsp;: «&nbsp;hot&nbsp;» et «&nbsp;warm&nbsp;».Les nœuds hot conservent les données les plus récentes. Ils gèrent donc toute la charge liée à l’indexation. Comme les données récentes sont celles qui sont les plus demandées, les nœuds hot sont les nœuds les plus puissants dans notre cluster&nbsp;: stockage rapide, mémoire élevée et CPU performant. Mais cette puissance supplémentaire devient coûteuse. Il ne sert donc à rien de stocker les données plus anciennes qui sont moins souvent consultées que les nœuds hot.En face, nous avons les nœuds warm, qui permettent un stockage à long terme plus économique. Les données se trouvant sur les nœuds warm ne sont pas aussi souvent consultées que celles des nœuds hot. Les données du cluster passent d’un nœud hot à un nœud warm en fonction de la durée de conservation que nous avons planifiée (à l’aide d’un <a href="/guide/en/elasticsearch/reference/6.6/shard-allocation-filtering.html">filtrage d’allocation des partitions</a>). Elles restent toutefois disponibles pour que nous puissions les consulter au besoin.À partir de la version&nbsp;6.3 de la Suite&nbsp;Elastic, nous avons ajouté de nouvelles fonctionnalités pour améliorer les architectures hot-warm et simplifier la manipulation des données temporelles.<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blte8ad3502d7fba4c1/5c98d0a5c9ab24634dcd6d86/hot-warm-features-frozen-indices-transp.png" data-sys-asset-uid="blte8ad3502d7fba4c1" alt="hot-warm-features-frozen-indices-transp.png" width="550" style="margin: auto;display: block;"/>Les <a href="/fr/blog/data-rollups-in-elasticsearch-you-know-for-saving-space">cumuls de données</a> ont fait leur apparition dans la version&nbsp;6.3, pour faire des économies de stockage. Plus concrètement, comment ça fonctionne&nbsp;? La plupart du temps, dans les séries temporelles, nous voulons obtenir des détails précis sur les données les plus récentes. Mais ce n’est pas souvent le cas pour les données historiques. Pour ces dernières, nous étudions en général l’ensemble de données dans son intégralité. C’est là qu’interviennent les cumuls. À partir de la version&nbsp;6.5, nous pouvons <a href="/fr/blog/how-to-create-manage-and-visualize-elasticsearch-rollup-data-in-kibana">créer, gérer et visualiser des données cumulées dans Kibana</a>.Peu de temps après, nous avons ajouté les <a href="/guide/en/elasticsearch/reference/6.6/modules-snapshots.html#_source_only_repository">instantanés de source uniquement</a>. Ce type d’instantané permet de réduire considérablement le volume de stockage d'instantanés. En revanche, il faut réindexer les données si nous voulons effectuer une restauration ou une recherche. Cette fonctionnalité est proposée depuis la version&nbsp;6.5.Dans la version&nbsp;6.6, nous avons lancé deux fonctionnalités puissantes&nbsp;: la gestion du cycle de vie et le gel des index.La <a href="/guide/en/elasticsearch/reference/6.6/index-lifecycle-management.html">gestion du cycle de vie</a> donne les moyens d’automatiser la gestion de vos index au fil du temps. Elle simplifie la transition des index depuis un nœud hot vers un nœud warm, permet de supprimer des index lorsqu’ils sont trop anciens, ou automatise la fusion forcée d’index en un segment.Dans le reste de cet article, nous allons nous pencher sur le gel des index.<h2>Pourquoi geler un index&nbsp;?</h2>L’un des plus gros inconvénients des données anciennes est que les index conservent un encombrement mémoire significatif, et ce, quelle que soit leur ancienneté. Même si nous les plaçons sur des nœuds cold, ils utilisent tout de même de la mémoire.L’une des solutions possibles serait de fermer l’index. Si nous fermons l’index, il n’utilisera pas de mémoire. Par contre, nous devrons le rouvrir si nous voulons effectuer une recherche. La réouverture d’un index implique un coût opérationnel, mais également de disposer du volume de mémoire que cet index utilisait avant d’être fermé.Chaque nœud dispose d’une certaine quantité de mémoire disponible qui limite le volume de stockage selon un ratio. Ce ratio peut aller de 1:8 (memory:data) pour les scénarios consommant beaucoup de mémoire, à 1:100, pour les cas d'utilisation moins gourmands.C’est là que le gel des index entre en jeu. Et si nous pouvions disposer d’index toujours ouverts (sur lesquels nous pouvons donc effectuer des recherches), mais qui n’utiliseraient pas de mémoire&nbsp;? Nous pourrions augmenter la capacité de stockage des nœuds de données conservant des index gelés et modifier le ratio 1:100. En contrepartie, les recherches seraient probablement plus lentes.Lorsque nous gelons un index, il passe en lecture seule et ses structures de données transitoires sont éliminées de la mémoire. Aussi, si nous effectuons une recherche sur des index gelés, nous devrons charger les structures de données dans la mémoire. Une recherche effectuée sur un index gelé n’est pas obligatoirement lente. Lucene dépend en majeure partie du cache du système de fichiers, qui doit avoir suffisamment de capacité pour conserver des parties importantes de votre index en mémoire. Dans un tel cas, les recherches sont comparables au niveau de la vitesse des partitions. Néanmoins, un index gelé est contraint de sorte qu’une seule partition gelée s’exécute par nœud à la fois. Cet aspect peut ralentir les recherches par rapport aux index non gelés.<h2>Fonctionnement du gel</h2>Les recherches sont effectuées sur les index gelés à l’aide d’un pool de threads dédié et <a href="/guide/en/elasticsearch/reference/6.6/modules-threadpool.html#search-throttled">contraint</a>. Par défaut, seul un thread est utilisé, pour garantir que les index gelés soient chargés un par un dans la mémoire. Si des recherches simultanées sont effectuées, elles se mettront en file d’attente pour renforcer la protection et éviter que les nœuds n’aient plus assez de mémoire.Dans une architecture hot-warm, nous pourrons désormais passer les index d’un nœud hot à un nœud warm, puis les geler avant de les archiver ou de les supprimer. Nos besoins au niveau du matériel s’en trouvent donc réduits.Avant que cette fonctionnalité ne soit proposée, lorsque nous voulions réduire le coût de l’infrastructure, nous devions créer un instantané de nos données, puis archiver celles-ci, ce qui ajoutait un coût opérationnel significatif. Si nous avions besoin d’effectuer à nouveau une recherche dans ces données, nous devions les restaurer. Cette époque est révolue&nbsp;! Désormais, nous pouvons conserver nos données historiques pour y effectuer des recherches sans surcharger la mémoire. Et si nous souhaitons intervenir à nouveau en écriture sur un index gelé, il nous suffit juste de <a href="/guide/en/elasticsearch/reference/6.6/unfreeze-index-api.html">le dégeler</a>.<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta19e364f7d3f763a/5c98d09ec9ab24634dcd6d80/index-states-transp.png" data-sys-asset-uid="blta19e364f7d3f763a" alt="index-states-transp.png" width="400" style="margin: auto;display: block;"/><h2>Procédure pour geler un index Elasticsearch</h2>Le gel des index est simple à mettre en place dans votre cluster. Aussi, commençons par étudier comment utiliser l’<a href="/guide/en/elasticsearch/reference/6.6/freeze-index-api.html">API Freeze Index</a> et <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/sql-index-frozen.html" target="_self">effectuer une recherche sur des index gelés</a>.Nous allons tout d’abord créer des données échantillon sur un index test.<pre class="prettyprint">POST /sampledata/_doc { "name": "Jane", "lastname": "Doe" } POST /sampledata/_doc { "name": "John", "lastname": "Doe" } </pre>Nous allons ensuite vérifier que nos données ont été ingérées. Nous devrions obtenir deux résultats&nbsp;:<pre class="prettyprint">GET /sampledata/_search </pre>Une bonne pratique consiste à effectuer une fusion forcée (<a href="/guide/en/elasticsearch/reference/current/indices-forcemerge.html">force_merge</a>) avant de geler un index. Cela permet de garantir que chaque partition dispose d’un seul segment sur le disque, tout en assurant une meilleure compression et en simplifiant les structures des données dont nous avons besoin lorsque nous procédons à une agrégation ou à une requête de recherche triée sur un index gelé. En effet, l’exécution d’une recherche sur un index gelé disposant de plusieurs segments peut avoir des répercussions significatives en termes de performances, dans une plus ou moins large mesure.<pre class="prettyprint">POST /sampledata/_forcemerge?max_num_segments=1 </pre>Ensuite, nous devons invoquer un gel sur notre index avec le point de terminaison de l’API Freeze Index.<pre class="prettyprint">POST /sampledata/_freeze </pre><h2>Effectuer une recherche sur des index gelés</h2>Comme vous pouvez le constater, les recherches normales ne renvoient rien pour les index gelés. C’est normal. Pour limiter l’utilisation de la mémoire par nœud, les index gelés sont <a href="/guide/en/elasticsearch/reference/6.6/_searching_a_frozen_index.html">contraints</a>. &nbsp;Étant donné que nous pourrions cibler un index gelé par erreur, nous ajouterons ignore_throttled=false à la requête pour éviter les ralentissements involontaires.<pre class="prettyprint">GET /sampledata/_search?ignore_throttled=false { "query": { "match": { "name": "jane" } } } </pre>À présent, nous pouvons vérifier le statut de notre nouvel index en exécutant la requête suivante&nbsp;:<pre class="prettyprint">GET _cat/indices/sampledata?v&amp;h=health,status,index,pri,rep,docs.count,store.size </pre>Vous obtiendrez un résultat similaire à celui-ci, avec un statut «&nbsp;open&nbsp;» pour l’index&nbsp;:<pre class="prettyprint">health status index pri rep docs.count store.size green open sampledata 5 1 2 17.8kb </pre>Comme indiqué précédemment, nous devons faire en sorte que le cluster ne soit pas à court de mémoire. De ce fait, nous sommes limités au niveau du nombre d’index gelés que nous pouvons charger sur un nœud pour y effectuer une recherche. Le nombre de threads dans le pool contraint pour la recherche est de 1 par défaut, avec une file d’attente par défaut de 100. Cela signifie donc que si nous effectuons plus d’une requête, celles-ci seront mises en file d’attente jusqu’à 100. Nous pouvons monitorer le <a href="/guide/en/elasticsearch/reference/6.6/cat-thread-pool.html#cat-thread-pool">statut du pool de threads</a> afin de vérifier les files d’attentes et les rejets à l’aide de la requête suivante&nbsp;:<pre class="prettyprint">GET _cat/thread_pool/search_throttled?v&amp;h=node_name,name,active,rejected,queue,completed&amp;s=node_name </pre>Vous devriez obtenir une réponse similaire à celle-ci&nbsp;:<pre class="prettyprint">node_name name active rejected queue completed instance-0000000000 search_throttled 0 0 0 25 instance-0000000001 search_throttled 0 0 0 22 instance-0000000002 search_throttled 0 0 0 0 </pre>Les index gelés peuvent être plus lents, néanmoins, ils peuvent être pré-filtrés de manière très efficace. Nous vous recommandons également de définir le paramètre de requête pre_filter_shard_size sur 1.<pre class="prettyprint">GET /sampledata/_search?ignore_throttled=false&amp;pre_filter_shard_size=1 { "query": { "match": { "name": "jane" } } } </pre>Cela n’ajoutera pas de surcharge significative à la requête et nous permettra de bénéficier du scénario habituel. Par exemple, si vous effectuez une recherche de plage de dates sur des index temporels, certaines partitions ne seront pas renvoyées.<h2>Écrire sur un index Elasticsearch gelé</h2>Que se passe-t-il si nous essayons d’écrire sur un index déjà gelé&nbsp;? C’est ce que nous allons voir.<pre class="prettyprint">POST /sampledata/_doc { "name": "Janie", "lastname": "Doe" } </pre>Que s’est-il passé&nbsp;? Les index gelés sont en lecture seule. De ce fait, il n’est pas possible d’écrire dedans. Nous pouvons le voir dans les paramètres des index&nbsp;:<pre class="prettyprint">GET /sampledata/_settings?flat_settings=true </pre>Ce qui renvoie&nbsp;:<pre class="prettyprint">{ "sampledata" : { "settings" : { "index.blocks.write" : "true", "index.frozen" : "true", .... } } } </pre>Nous devons nous servir de l’<a href="/guide/en/elasticsearch/reference/6.6/unfreeze-index-api.html">API Unfreeze Index</a>, pour invoquer le point de terminaison de dégel sur l’index.<pre class="prettyprint">POST /sampledata/_unfreeze </pre>À présent, nous allons créer un troisième document et le rechercher.<pre class="prettyprint">POST /sampledata/_doc { "name": "Janie", "lastname": "Doe" } GET /sampledata/_search { "query": { "match": { "name": "janie" } } } </pre>Nous vous conseillons de dégeler un index uniquement dans des circonstances exceptionnelles. Pensez aussi à effectuer systématiquement une fusion forcée (`force_merge`) avant de geler l’index à nouveau pour garantir des performances optimales.<h2>Utilisation d’index gelés dans Kibana</h2>Pour commencer, nous devons charger des données échantillon, par exemple les <a href="/guide/en/kibana/6.6/tutorial-sample-data.html">données de vol échantillon</a>.Cliquez sur le bouton «&nbsp;Add&nbsp;» pour les ajouter.<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt142abc81bf2e4ac0/5c98d104632578d5055bb49f/kibana-load-data.png" alt="kibana-load-data.png" width="700" style="margin: auto;display: block;" data-sys-asset-uid="blt142abc81bf2e4ac0"/>Cliquons sur le bouton «&nbsp;View data&nbsp;»&nbsp;: nous devrions voir désormais les données chargées. Le tableau de bord sera similaire à celui-ci.<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt70ea061b7b398da9/5c98d0ff026179ca592ee205/flight-dashboard.png" width="100%" data-sys-asset-uid="blt70ea061b7b398da9" alt="flight-dashboard.png" style="margin: auto;display: block;"/>Maintenant, testons le gel de l’index&nbsp;:<pre class="prettyprint">POST /kibana_sample_data_flights/_forcemerge?max_num_segments=1 POST /kibana_sample_data_flights/_freeze </pre>Si nous revenons sur notre tableau de bord, nous constatons que les données semblent avoir «&nbsp;disparu&nbsp;».<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt0a68db6e72e372e7/5c98d0f9acf2956c56cb1953/empty-flight-dashboard.png" data-sys-asset-uid="blt0a68db6e72e372e7" alt="empty-flight-dashboard.png" width="100%" style="margin: auto;display: block;"/>Nous devons indiquer à Kibana que les recherches sur les index gelés sont autorisées. Par défaut, ce paramètre est désactivé.Rendez-vous dans Kibana Management, puis choisissez Advanced Settings. Dans la section «&nbsp;Search&nbsp;», vous verrez que le paramètre «&nbsp;Search in frozen indices&nbsp;» est désactivé. Activez-le et enregistrez les modifications.<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf5f1d58c21e9ba65/5c98d0f249a201165fca1028/frozen-indices-kibana-settings.png" data-sys-asset-uid="bltf5f1d58c21e9ba65" alt="frozen-indices-kibana-settings.png" width="100%" style="margin: auto;display: block;"/>À présent, le tableau de bord affiche à nouveau les données.<h2>Pour conclure</h2>Le gel des index est une fonctionnalité très puissante dans les architectures hot-warm. Elle offre une solution économique pour améliorer le stockage tout en laissant la possibilité d’effectuer des recherches en ligne. Je vous recommande de tester la latence de vos recherches avec votre matériel et vos données, pour avoir le dimensionnement et la latence de recherche appropriés pour vos index gelés.Consultez la <a href="/guide/en/elasticsearch/reference/6.6/frozen-indices.html">documentation d’Elasticsearch</a> pour en savoir plus sur l’<a href="/guide/en/elasticsearch/reference/6.6/freeze-index-api.html">API Freeze Index</a>. Et comme toujours, si vous avez des questions, contactez-nous sur nos <a href="https://discuss.elastic.co/">forums de discussion</a>. Que la force du gel soit avec vous&nbsp;!

frozen-indices-freeze-index-api.jpg

frozen-indices-freeze-index-api-small.jpg

Creating frozen indices with the Elasticsearch Freeze index API

Création d’index gelés avec l’API Elasticsearch Freeze Index

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

headshot-imma-valls.jpg

Senior Support Engineer

Imma Valls

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Imma Valls

Senior Support Engineer, Elastic

Création d’index gelés avec l’API Elasticsearch Freeze Index