Verbessere die Performance des Redis-Input-Plugins mit diesen Tipps und Details.

<html><head></head><body>Message-Queues werden gemeinsam mit Logstash-Installationen genutzt, um einen akuten Anstieg von Events <a href="https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html#deploying-message-queueing" target="_blank">abzufedern</a>, was zu einer Verlangsamung von Elasticsearch oder anderen Downstream-Komponenten f&#xFC;hren kann. Redis ist eine der Technologien, die aufgrund ihrer Geschwindigkeit, Einfachheit und geringen Ressourcen-Verbrauchs h&#xE4;ufig als Message-Queue zum Einsatz kommt.
Das ist wahrscheinlich auch der Grund, warum es die Integration schon seit sehr, sehr langer Zeit gibt &#x2013; genauer gesagt bereits seit Logstash Version 1.0.4, die vor mehr als f&#xFC;nf Jahren ver&#xF6;ffentlicht wurde.
Mit all den neuen Verbesserung der Logstash-Pipeline und des Redis-Plugins selbst erreichst du vielleicht nicht die volle Leistung, die das Logstash-Plugin liefern k&#xF6;nnte.
Logstash versucht, die Anzahl der Cores in deinem System zu erkennen und die entsprechend passende Anzahl an Pipeline-Workern zu ermitteln und einzustellen. Jedoch spielen Pipeline-Worker nur bei Filter- und Output-Plugins eine Rolle. Sie haben keine Auswirkungen auf Input-Plugins. Falls du im Redis-Plugin nicht die Option &#x201E;Threads&#x201C; konfiguriert hast, konsumiert Redis nur mit einen Bruchteil dessen, wozu es tats&#xE4;chlich in der Lage w&#xE4;re.
Das Test-Setup umfasst die aktuellste stabile Logstash-Version (2.3.4) mit Redis (3.0.7), welche beide auf dem gleichen&#xA0;2015 MacBook Pro, laufen. Die verwendete Logstash-Konfiguration ist
<pre>input { 
 redis {
 host =&gt; &quot;127.0.0.1&quot;
 data_type =&gt; &quot;list&quot;
 key =&gt; &quot;redis_test&quot;
 # batch_count =&gt; 1
 # threads =&gt; 1
 }
}
output { stdout { codec =&gt; dots } }
</pre>Rufe Logstash folgenderma&#xDF;en auf: bin/logstash -f some_config_file.config | pv -Wart &gt; dev/null
Dieses Test-Setup wurde ausschlie&#xDF;lich f&#xFC;r ein Testen des maximalen Datendurchsatzes entwickelt. Die tats&#xE4;chliche Leistung wird je nach den verwendeten Plugins stark variieren.
Beim Testen einiger Optionen&#xA0;f&#xFC;r die Einstellung threads &#x2013; alle anderen Einstellungen verwenden die Standardwerte &#x2013; erhalten wir Ergebnisse wie diese:
<ul>
	<li>threads =&gt; 1&#xA0;: 37.4K/sec</li>
	<li>threads =&gt; 2&#xA0;: 57K/sec</li>
	<li>threads =&gt; 4&#xA0;: 67K/sec</li>
	<li>threads =&gt; 8&#xA0;: 87.3K/sec</li>
</ul>Machen wir die gleichen Tests erneut. Dieses Mal jedoch mit batch_count =&gt; 250 und dem Hinzuf&#xFC;gen von -b 250 zu unsererem Logstash-Aufruf, um in vollem Umfang von dieser Erh&#xF6;hung zu profitieren.
<ul>
	<li>threads =&gt; 1&#xA0;: 35.2K/sec</li>
	<li>threads =&gt; 2&#xA0;: 48.9K/sec</li>
	<li>threads =&gt; 4&#xA0;: 58.7K/sec</li>
	<li>threads =&gt; 8&#xA0;: 72.5K/sec</li>
</ul><img src="https://lh5.googleusercontent.com/JI31DULNFRJndhRWk5Ob3B68nHxsTM0hI4Ux6mD_mK7msIUNK4SyK1c1V0nxHwWJZqYMUKu3vgcjdi9b_mwyxtOs17_D3DRf5VJpkLbrjz3qVlIqBhXhcgBhVChXDwUvTxtHxa5L" title="Throughput: batch size vs threads" height="371" width="600">
Wie du sehen kannst, resultiert die Erh&#xF6;hung des standardm&#xE4;&#xDF;igen batch_count von 125 auf 250 in einer Leistungsminderung.
In der Vergangenheit war es f&#xFC;r User normal, bei der Arbeit mit Redis einen gr&#xF6;&#xDF;eren batch_count zu verwenden. Dies ist jedoch nicht l&#xE4;nger die optimale Vorgehensweise und reduziert sogar die Performance. Dies liegt haupts&#xE4;chlich an Ver&#xE4;nderungen innerhalb der Architektur der Logstash-Pipeline. Sogar eine Erh&#xF6;hung des batch_count auf 250 Ergebnisse resultiert bei einer Thread-Anzahl von threads =&gt; 8 in einem Abfall der Performance von 89,5 K/sec auf 72,5 K/sec. Der optimale Punkt f&#xFC;r den batch_count liegt genau um 125, welches auch die standardm&#xE4;&#xDF;ige pipeline-batch-size ist; und daf&#xFC;r gibt es einen Grund!
<h4>Tiefer einsteigen</h4>Aktuelle &#xC4;nderungen am Redis-Input umfassen das Aktivieren des Batch-Mode als Standard und die Nutzung eines <a href="https://github.com/logstash-plugins/logstash-input-redis/blob/df5bc905e41d36905363229038fbe263a34d17f6/lib/logstash/inputs/redis.rb#L141" target="_blank">Lua-script</a>, um die Batch-Retrieval-Befehle auf dem Redis-Server auszuf&#xFC;hren. Lua-Scripte fungieren auch als Transaktion, sodass wir einen Batch nehmen und die Queue in einem Schritt verk&#xFC;rzen k&#xF6;nnen. Dies zwingt andere Redis-Verbindungen zum Warten, wobei du beachten solltest, dass dein Redis-Output-Plugin in der Upstream-Logstash-Config eine solche Verbindung ist.
Du solltest auch wissen, dass die Art und Weise, mit der Events durch die Upstream-Logstash-Instanz zu Redis hinzugef&#xFC;gt werden, die Performance der Downstream-Logstash-Instanz beeinflussen kann. Zum Beispiel haben wir w&#xE4;hrend der Aufbereitung der Testergebnisse herausgefunden, dass ein Querying der Listengr&#xF6;&#xDF;e &#xFC;ber LLEN redis_test in redis_cli h&#xE4;ufig die Messwerte beeinflusst. Versuche die folgenden Faktoren im Zusammenhang mit deiner Upstream-Logstash-Instanz zu verstehen.
<ul>
	<li>Die Rate, mit der Events generiert werden</li>
	<li>Die Gr&#xF6;&#xDF;e von Events &#x2013; kleinste, gr&#xF6;&#xDF;te und durchschnittliche</li>
	<li>Die Gr&#xF6;&#xDF;e der batch_events beim Redis-Output</li>
</ul>Schaue dir einmal die Nutzung einer gr&#xF6;&#xDF;eren Einheit in Bezug auf die batch_events (z. B. 500) auf dem Upstream-Redis-Output an. Dies wird die Events vor dem Aufruf von Redis zwischenspeichern, was den Redis-Input-Threads im Downstream mehr Zeit gibt, aktiv zu werden und Informationen aus Redis zu konsumieren. Wenn die Rate der Event-Generierung jedoch hoch ist, kann sich dies als nicht sonderlich hilfreich herausstellen &#x2013; 50 K/sec in Batches von 500 bedeutet, dass ein Batch-Puffer innerhalb von 10 Millisekunden gef&#xFC;llt ist.
Wir haben beobachtet, dass die Leistung des Lua-Scripts proportional mit gr&#xF6;&#xDF;eren Batches abnimmt. Dies bedeutet, dass h&#xF6;here Batch-Gr&#xF6;&#xDF;en auf dem Redis-Input die Leistung beider Logstash-Instanzen auf beiden Seiten von Redis beeinflusst.
Generell ist das Ziel der Abstimmung der Redis-Input-Plugin-Config, der Pipeline-Batch-Gr&#xF6;&#xDF;e und der Worker-Threads sicherzustellen, dass der Input mit der Filter/Output-Instanz mithalten kann. Du solltest wissen, wie hoch der durchschnittliche Datendurchsatz deiner Filter/Output-Instanz bei Nutzung der Standardeinstellungen ist. Falls dein Datendurchsatz zum Beispiel 35 K/sec betr&#xE4;gt, dann gibt es kaum Bedarf, die Anzahl der Redis-Input-Worker auf 8 zu erh&#xF6;hen, wenn ein oder zwei Worker eine ausreichende Anzahl an Events abrufen k&#xF6;nnen.
Weitere Variationsquellen sind die JSON-Kodierung (1), Dekodierung (2) und eine weitere Kodierung (3) &#x2013; richtig gelesen, dreimal. 1 im Upstream-Redis-Output, 2 im Downstream-Redis-Input und 3 im Elasticsearch-Output. Events mit gro&#xDF;en String-Werten ben&#xF6;tigen einige Zeit f&#xFC;r die Dekodierung. Stelle daher sicher, dass du in deinen Testszenarien Datens&#xE4;tze nutzt, die mit Blick auf Gr&#xF6;&#xDF;e und Gr&#xF6;&#xDF;enverteilung so genau wie m&#xF6;glich deinen Produktionsdaten entsprechen.
<h4>Skalierung des Datendurchsatzes mit Hilfe von mehreren Logstash-Instanzen und einem Redis-Server</h4>Viele Nutzer versuchen, ihren Datendurchsatz durch die Inbetriebnahme mehrerer Logstash-Instanzen auf unterschiedlichen Hardware-Komponenten zu verbessern, wobei alle auf denselben Redis-Server und in die entsprechende Liste schreiben.
Dies funktioniert und kann auch gut funktionieren. Jedoch empfiehlt es sich, die gleichen Einstellungstipps bei jeder Instanz anzuwenden. Wahrscheinlich macht es nicht viel Sinn, mehrere Redis-Inputs in einer Konfiguration definiert zu haben, au&#xDF;er sie sind mit verschiedenen Redis-Servern oder einer anderen Liste verbunden. Tune einfach die Threads des einen Redis-Inputs. Offensichtlich wird das Setup mit drei Logstash-Instanzen, die alle auf denselben Redis-Server ausgerichtet sind, zu einem gewissen Grad an Konkurrenz im Rahmen der Client-Connection f&#xFC;hren. Dies bedeutet, dass du wahrscheinlich erst eine Instanz einrichtest und dann alle drei optimieren solltest, sobald diese zusammen in Betrieb sind.
<h4>Fazit</h4>In nicht allzu ferner Zukunft werden wir den Redis-Input mit einem JRuby-Wrapper um die beliebte und schnelle Jedis Java-Library verbessern. Dies wird au&#xDF;erdem f&#xFC;r den zus&#xE4;tzlichen Vorteil einer <a href="https://github.com/logstash-plugins/logstash-input-redis/issues/10" target="_blank">Unterst&#xFC;tzung</a>&#xA0;des Redis-Cluster-Modes sorgen.
Um deine&#xA0;Redis-Input-Performance in der Zwischenzeit zu verbessern, kannst du versuchen, die Anzahl der genutzten Threads zu erh&#xF6;hen. Und vergewissere dich, entsprechend zu messen und zu tunen, sofern du etwas anderes als den standardm&#xE4;&#xDF;igen batch_count oder mehrere Instanzen von Logstash nutzt, die mit einem&#xA0;einzigen Redis-Server arbeiten.
Falls du Fragen zu Redis oder Logstash hast, starte ein Diskussionsthema in unserem <a href="https://discuss.elastic.co/c/logstash" target="_blank">Forum</a>. Ebenso kannst du uns auf IRC (#logstash) und <a href="https://github.com/elastic/logstash" target="_blank">GitHub</a> finden.
Viel Spa&#xDF; beim Logstashen!
</body></html>

queued_bottles.jpg

package_routing.jpg

Just Enough Redis for Logstash

Gerade genug Redis für Logstash

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Guy Boertje

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by Guy Boertje

Gerade genug Redis für Logstash

Sign up for Elastic Cloud free trial