Améliorer les performances du plugin Redis input en suivant nos conseils.

Les files de messages sont utilisées dans les déploiements Logstash pour <a href="https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html#deploying-message-queueing" target="_blank">contrôler</a> l'augmentation des événements, ce qui pourrait ralentir Elasticsearch et ses processus annexes. Redis est l'une des technologies permettant de générer une file de messages. Grâce à sa rapidité, sa facilité d'utilisation et ses faibles besoins en ressources, c'est également l'une des solutions les plus populaires.
C'est peut-être la raison pour laquelle cette solution est utilisée depuis longtemps — depuis la version 1.0.4 de Logstash, sortie il y a plus de 5 ans !
En raison des changements récents visant à améliorer le pipeline de Logstash — sans oublier les améliorations du plugin Redis lui-même —, il est possible que vous ne profitiez pas des performances optimales du plugin Redis pour Logstash.
Logstash cherche à déterminer le nombre de cœurs dans votre système et adapte le nombre d'outils de pipelining. Les pipelines n'améliorent que les tâches des plugins de filtrage et de sortie. Ils n'ont aucun effet sur les plugins d'entrée. Si vous n'avez pas choisi l'option « threads » dans le plugin d'entrée Redis, vous ne profitez que d'une fraction des performances optimales.
L'environnement de test inclut la version stable la plus récente de Logstash (2.3.4) avec Redis 3.0.7 sur la même machine (pour référence, un MacBook Pro 2015). La configuration utilisée pour Logstash est la suivante :
<pre>input { 
 redis {
 host =&gt; "127.0.0.1"
 data_type =&gt; "list"
 key =&gt; "redis_test"
 # batch_count =&gt; 1
 # threads =&gt; 1
 }
}
output { stdout { codec =&gt; dots } }
</pre>Lancez ceci avec bin/logstash -f some_config_file.config | pv -Wart &gt; dev/null
Cet environnement de test n'est conçu que pour calculer le traitement maximal. Les performances réelles varient en fonction des autres plugins utilisés.
En essayant plusieurs options sur le paramètre threads et en laissant les autres paramètres à leur valeur par défaut, on obtient des résultats comme ceux-ci :
<ul>
	<li>threads =&gt; 1&nbsp;: 37.4K/sec</li>
	<li>threads =&gt; 2&nbsp;: 57K/sec</li>
	<li>threads =&gt; 4&nbsp;: 67K/sec</li>
	<li>threads =&gt; 8&nbsp;: 87.3K/sec</li>
</ul>Recommencons ces tests en modifiant la valeur batch_count =&gt; 250 et en ajoutant -b 250 à notre ligne de commande Logstash pour tirer parti de l'augmentation :
<ul>
	<li>threads =&gt; 1&nbsp;: 35.2K/sec</li>
	<li>threads =&gt; 2&nbsp;: 48.9K/sec</li>
	<li>threads =&gt; 4&nbsp;: 58.7K/sec</li>
	<li>threads =&gt; 8&nbsp;: 72.5K/sec</li>
</ul><img src="https://lh5.googleusercontent.com/JI31DULNFRJndhRWk5Ob3B68nHxsTM0hI4Ux6mD_mK7msIUNK4SyK1c1V0nxHwWJZqYMUKu3vgcjdi9b_mwyxtOs17_D3DRf5VJpkLbrjz3qVlIqBhXhcgBhVChXDwUvTxtHxa5L" title="Throughput: batch size vs threads" height="371" width="600">
Comme vous pouvez le voir, augmenter la valeur par défaut batch_count de 125 à 250 se traduit par une diminution de la performance.
Dans le passé, les utilisateurs travaillaient souvent avec une valeur élevée de batch_count avec Redis. Cette pratique n'est plus recommandée car elle réduit les performances. Le problème s'est aggravé avec les modifications de l'architecture de pipeline de Logstash. Une simple augmentation du batch_count à 250 résultats entraîne une baisse de performance de 89.5K/sec à 72.5K/sec quand threads =&gt; 8. La valeur optimale pour batch_count se situe autour de 125, qui est la valeur par défaut pipeline-batch-size (c'est pour une bonne raison !)
<h4>Détails des modifications</h4>Les modifications récentes apportés à l'input Redis portent, notamment, sur l'activation par défaut du mode batch et sur l'utilisation d'un <a href="https://github.com/logstash-plugins/logstash-input-redis/blob/df5bc905e41d36905363229038fbe263a34d17f6/lib/logstash/inputs/redis.rb#L141" target="_blank">script Lua</a> pour exécuter les commandes de récupération du batch sur le serveur Redis. Les scripts Lua agissent comme une transaction ; elles permettent de prendre en charge un batch et de raccourcir la file en une seule manipulation. Les autres connexions Redis sont mises en attente. Remarque : votre plugin de sortie Redis dans la configuration Logstash en amont est une connexion similaire.
Par ailleurs, n'oubliez pas que la façon dont les événements sont ajoutés à Redis par Logstash en amont peut affecter la performance de l'instance Logstash en aval. Par exemple, en préparant les résultats des tests, nous avons découvert qu'envoyer une requête sur la taille de la liste avec LLEN redis_test dans redis_cli affecte trop souvent les mesures. Essayez de comprendre ces facteurs dans votre instance Logstash en amont :
<ul>
	<li>Le taux de génération des événements</li>
	<li>La taille des événements : plus petits, plus importants et dans la moyenne</li>
	<li>La taille des batch_events utilisés avec Redis en sortie</li>
</ul>Vous souhaiterez peut-être envoyer un plus gros volume de batch_events 500, par exemple) en amont à Redis. Cela placera les événements en mémoire tampon avant l'intervention de Redis, et donnera peut-être aux threads d'entrée de Redis en aval le temps d'extraire l'information de Redis. Malheureusement, si le taux de génération des événements est élevé, la manœuvre ne sera peut-être pas aussi efficace : 50K/sec sur un batch de 500 signifie que la mémoire tampon du batch se remplit en 10 millisecondes.
Nous avons constaté que plus la taille des batchs est importante, moins le script Lua est performant. Concrètement, cela signifie que plus les batchs sont volumineux en entrée pour Redis, plus la performance des deux instances de Logstash de chaque côté de Redis sera faible.
En général, l'amélioration de la configuration du plugin d'entrée Redis, de la taille des batchs dans le pipeline et du nombre de threads permet de s'assurer que l'entrée est capable d'assurer un rythme correct pour l'étape de filtrage et de sortie. Renseignez-vous pour connaître la capacité de traitement moyenne de votre étape de filtrage et de sortie par défaut. Par exemple, si la capacité de traitement de votre étape de filtrage et de sortie est de 35K/sec, il n'est pas nécessaire de faire passer à 8 la valeur d'entrée vers Redis lorsqu'un ou deux threads actifs suffisent pour récupérer un nombre raisonnable d'événements par seconde.
Un autre variable est l'encodage JSON (1), le décodage (2) et l'encodage (3). Il y a trois étapes : la première dans la sortie Redis en amont, la deuxième dans l'entrée Redis en aval et la troisième dans l'envoi à Elasticsearch. Les événements volumineux en terme de taille de document JSON sont lents à décoder ; assurez-vous donc que votre environnement de test utilise des ensembles de données qui correspondent à votre volume et à la distribution d'un volume aussi proche que possible de votre production de données.
<h4>Mise à l'échelle des performances de traitement avec des instances Logstash multiples et un serveur Redis</h4>De nombreux utilisateurs souhaitent améliorer les performances de traitement en démarrant de multiples instances Logstash sur différents appareils connectés au même serveur et à la même liste Redis.
Cette astuce peut se révéler efficace à condition d'appliquer la même configuration à chaque instance. Il est inutile de disposer de plusieurs entrées Redis avec des configurations différentes, à moins qu'elles ne soient connectées à d'autres serveurs Redis ou sur une liste différente. Alignez simplement vos threads sur une entrée Redis. Par exemple, avec 3 instances Logstash connectées au même serveur Redis, les connexions clientes peuvent entrer en conflit. Dès lors, il est conseillé de commencer par aligner une instance avant de réaligner les trois instances après lancement.
<h4>Conclusion</h4>Notre but est d'améliorer l'entrée Redis en ajoutant un wrapper JRuby autour de la bibliothèque Java pour Redis, Jedis, un outil rapide et populaire. Cela permettra <a href="https://github.com/logstash-plugins/logstash-input-redis/issues/10" target="_blank">la prise en charge</a>&nbsp;du mode Cluster de Redis !
En attendant, pour améliorer la performance de votre entrée Redis, essayez d'augmenter le nombre de threads. Assurez-vous aussi d'effectuer des mesures et des alignements corrects si vous utilisez d'autres valeurs que le batch_count par défaut, ou si vous utilisez plusieurs instances de Logstash sur un seul serveur Redis.
Si vous avez des questions sur Redis ou Logstash, n'hésitez pas à ouvrir un fil de discussion sur notre <a href="https://discuss.elastic.co/c/logstash" target="_blank">forum</a>. Vous pouvez également nous retrouver sur IRC (#logstash) et sur <a href="https://github.com/elastic/logstash" target="_blank">GitHub</a>.
 
Amusez-vous bien avec Logstash !

queued_bottles.jpg

package_routing.jpg

Just Enough Redis for Logstash

Optimiser Redis pour Logstash

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Aaron Mildenstein

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Aaron Mildenstein

Optimiser Redis pour Logstash

Sign up for Elastic Cloud free trial