1&1 Internet SE erklärt, wie die Logfile Analyse mit dem Elastic Stack schneller und genauer funktioniert.

<html><head></head><body>Wir, ein Betriebsteam der <a href="http://www.1und1.de" target="_blank">1&amp;1 Internet SE</a> arbeiten mit ausf&#xFC;hrbaren und messbaren BPMN-Prozessen (Business Process Model and Notation), die Kundenauftr&#xE4;ge f&#xFC;r alle Hosting-Produkte entgegennehmen und verarbeiten. Ein Auftragsprozess beginnt, wenn ein Kunde seinen Auftrag mit einem Klick auf den &#x201E;Bestellen&#x201C;-Button im 1&amp;1-Shop best&#xE4;tigt. Im Rahmen des Prozesses werden z.B. Kundendaten gepr&#xFC;ft, der Vertrag erzeugt, alle technischen Leistungen bereitgestellt und die Kundenkommunikation &#xFC;bernommen.
In der Vergangenheit war die Logfile-Analyse sehr zeitintensiv und nur f&#xFC;r die Analyse einzelner Auftr&#xE4;gen m&#xF6;glich und sinnvoll. Aufgrund der interessanten Informationen in unseren Logfiles suchten wir nach einer L&#xF6;sung, um diese schneller, pr&#xE4;ziser und ohne grep-Anweisungen analysieren zu k&#xF6;nnen. Zu Beginn war die Verwendung von Elasticsearch, Logstash und Kibana ein Experiment, inzwischen nutzen wir unsere Dashboards nicht nur f&#xFC;r Monitoring Aspekte. Wir integrieren die Dashboards wie ein Tool in unseren Arbeitsalltag, was uns diesen enorm erleichtert.
<h2>Was den Betrieb so besch&#xE4;ftigt</h2>Was betreiben wir eigentlich? Wir betreiben aktuell 10 BPMN-Prozesse die sch&#xE4;tzungsweise 50.000 Prozessinstanzen pro Woche verarbeiten. Dabei kommen am Tag ca. 50 GB an Logs zusammen. Die Logfiles enthalten technische und kaufm&#xE4;nnische Daten. Mit dem Elastic Stack k&#xF6;nnen wir diese Logs in Echtzeit analysieren und erreichen so Transparenz &#xFC;ber unsere Kundenauftr&#xE4;gen.
Als Operations-Team liegt unser Hauptaugenmerk auf Fehlern und St&#xF6;rungen, die Kundenauftr&#xE4;ge beeintr&#xE4;chtigen. Unser Prim&#xE4;rziel ist die Kundenzufriedenheit, die wir durch die &#xDC;berwachung von Prozess-SLAs wie &#x201E;In-Time-Provisioning&#x201C; f&#xFC;r Kundenauftr&#xE4;ge erreichen. Um eine aussagekr&#xE4;ftige Einsch&#xE4;tzung &#xFC;ber den Gesundheitszustand unserer Prozesse geben zu k&#xF6;nnen brauchten wir nicht nur einen Fehler&#xFC;bersicht, sondern auch eine Kategorisierung der Fehlerbilder, um diese gezielt angehen zu k&#xF6;nnen. Folgende Fragen m&#xFC;ssen wir beantworten k&#xF6;nnen:
<ul>
	<li>Welche Fehler treten in unseren Prozessen auf?</li>
	<li>Ist ein Fehler prozessspezifisch oder ist es ein allgemeines Problem?</li>
	<li>Wie hoch ist die Gesamtzahl der Fehler und wie hat sich diese entwickelt?</li>
	<li>Sind diese Fehler bekannt und arbeitet jemand daran?</li>
	<li>Sind diese Fehler bekannt und gibt es einen bekannten &#x201E;work-around&#x201C; daf&#xFC;r?</li>
</ul><h2>Erweitern des Elastic Stack</h2>Nicht alle Informationen, die wir f&#xFC;r das effektive Bearbeiten von Fehlern ben&#xF6;tigen, stehen in den Logs. Zur vollst&#xE4;ndigen Beantwortung aller Fragen mussten wir unsere Logs mit Informationen aus anderen Quellen wie Bug-Tracking Software, Datenbanken etc. anreichern.
 Datenquellen:
<ul>
	<li>Konfiguration von Error Pattern (Wissensdatenbank, manuell hinzugef&#xFC;gt)</li>
	<li>Prozessinformationen (produktive Prozessinformationen aus verschiedenen Datenbanken)</li>
</ul>Zur Aufarbeitung dieser Informationen nutzen wir das ETL-Tool Pentaho Kettle.
<img src="https://api.contentstack.io/v2/assets/575e4d360342dfd738264eb4/download?uid=blta5e0c5c910beaaae?uid=blta5e0c5c910beaaae" data-sys-asset-uid="blt17470d1b47b0a047" alt="conditioning-and-loading-elasticsearch-schema-new.png" style="max-width:100%;">
Abbildung 1: Prozess zum Aufarbeiten und Hochladen der Daten in Elasticsearch
<h2>Das Dashboard als Tool</h2>Unser Kibana-Dashboard hilft uns bei der t&#xE4;glichen Arbeit mit den Prozessen
<img src="https://api.contentstack.io/v2/assets/575e4d360342dfd738264e9a/download?uid=blt678adcbebb6f705f?uid=blt678adcbebb6f705f" data-sys-asset-uid="bltdef55caa922df240" alt="kibana-dashboard-overview-11-internet.png" style="max-width:100%;">
Abbildung 2: Kibana-Dashboard &#x2013; &#xDC;bersicht
(1) Fehleranzahl nach Prozess (Kreisdiagramm und Tabelle)
	 (2) Fehleranzahl nach BugTracking-Ticket (Kreisdiagramm und Tabelle)
	 (3) Fehleranzahl nach Beschreibung (Kreisdiagramm und Tabelle)&#xA0; (4) Vollst&#xE4;ndige Fehlerliste
<img src="https://api.contentstack.io/v2/assets/575e4d3612798d8e381ff231/download?uid=blt9a12745a50241220?uid=blt9a12745a50241220" data-sys-asset-uid="blt2f8f314893c4109b" alt="kibana-dashboard-linking-11-internet.png" style="max-width:100%;">
Abbildung 3: Kibana-Dashboard &#x2013; Verkn&#xFC;pfung
Um die Betriebsabl&#xE4;ufe effizienter zu machen integriert das Dashboard andere Tools, zum Beispiel durch die Implementierung eines direkten Links auf entsprechende Tickets in der Bug-Tracking Software.
Weitere Funktionen, die das Dashboard bietet sind:
(1) Verkn&#xFC;pfung zum Bug-Tracker
	 (2) Verkn&#xFC;pfung zum zentralen Support-Tool, das detaillierte Informationen zu Vertrag und Kunde anzeigt
	 (3) Verkn&#xFC;pfung zum Kibana-Dashboard, das alle Log-Daten zum Auftrag (zwecks Drilldown) anzeigt (4) Verkn&#xFC;pfung zum Informations-Tool, das detaillierte Informationen zu Auftrag und Kunde zeigt
<h2>Ergebnis</h2>Wir nutzen diesen Tool-Stack jetzt seit 2 Monaten. Das Ergebnis ist beeindruckend.
Durch Die automatisierte Kategorisierung erkennen wir Fehlerbilder schneller und adressieren diese zielgerichteter. Die Quote ist hier von ca. 30 auf 90 Prozent gestiegen. Weitere Verbesserungen sind: 
<ol>
	<li>Schnellere Fehlererkennung</li>
	<li>&#xDC;ber 90 Prozent unserer Fehler werden bearbeitet (davor waren es etwa 60 Prozent)</li>
	<li>Keine manuell erstellten Berichte, das Dashboard ist f&#xFC;r alle verf&#xFC;gbar</li>
	<li>Ein zentrales &#x201E;Tool/Dashboard&#x201C;, das Betriebsabl&#xE4;ufe&#xA0;optimiert und verschiedene Tools miteinander verkn&#xFC;pft</li>
	<li>Die Fehler sind prozess&#xFC;bergreifend sichtbar (nicht nur prozessspezifisch)</li>
	<li>Der Elastic Stack wird auch von&#xA0;Kollegen verwendet, die fachlich orientiert sind</li>
</ol><h2>In Zukunft ...</h2>... werden wir bei der Nutzung des Elastic Stack unseren Fokus auf &#x201E;Real-Time-Monitoring&#x201C; unserer Prozesse richten. Beispielsweise k&#xF6;nnte uns die zeitnahe Visualisierung von Auftragsinhalten eine Sicht erm&#xF6;glichen die es erlaubt, den Erfolg bzw. die Entwicklung von produktiv geschalteten Kampagnen zeitnah zu beurteilen (z. B. neues Produkt-Release). Hierf&#xFC;r werden wir uns mit Apache Spark besch&#xE4;ftigen, das uns bei der Datenverarbeitung und Berechnung unterst&#xFC;tzen soll. Beispielweise sollen verschiedene KPIs (Leistungskennzahlen) wie z. B. die Laufzeit von Prozesse, berechnet werden.
<hr><img src="https://api.contentstack.io/v2/assets/575e4d3658208ba076e29cf7/download?uid=blt5c228c2bc29175c3?uid=blt5c228c2bc29175c3" data-sys-asset-uid="blt412e368a169984d2" alt="BenjaminSpeckmann.jpg" style="line-height: 1.6em; float: left; margin: 0px;">
Benjamin Speckmann ist Business Process Manager bei 1&amp;1 Internet SE. Zuvor arbeitete er als Berater f&#xFC;r NTT DATA Deutschland GmbH.
Seit Beginn seiner Karriere besch&#xE4;ftigt sich Benjamin mit ausf&#xFC;hrbaren BPMN-Prozessen (Business Process Model and Notation). &#xDC;berwachung, Datenanalyse und KPI-Berichte sind schon immer Teil seiner Arbeit gewesen.
Er hat einen M.S. in Informatik von der Eastern Michigan University und war zuvor an der Hochschule Karlsruhe.
 
<img src="https://api.contentstack.io/v2/assets/575e4d3612798d8e381ff23a/download?uid=blta4c46fc629c3c9cb?uid=blta4c46fc629c3c9cb" data-sys-asset-uid="blt312da0dd4b38d769" alt="ChristianHatz.jpg" width="137" height="137" style="line-height: 1.6em; width: 137px; height: 137px; float: left; margin: 0px;">
Christian Hatz Zuvor arbeitete Christian als Requirements Engineer und lieferte Gesch&#xE4;ftskonzepte f&#xFC;r extern entwickelte Gesch&#xE4;ftsprozess-&#xDC;berwachungsl&#xF6;sungen.
Er hat Erfahrung mit JBoss EAP und BPM-lastiger Infrastruktur. 2015 f&#xFC;hrte Christian den Elastic Stack f&#xFC;r die effiziente &#xDC;berwachung und Analyse technischer und gesch&#xE4;ftlicher Daten im Auftragsmanagement ein.
	 
</body></html>

kibana-dashboard-linking-11-fuul-bleed copy.jpg

11-logo.png

Process transparency and error categorization at 1&1 by using the Elastic Stack and ETL

Transparenz und Fehlerkategorisierung bei 1&1 mit dem Elastic Stack und ETL

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Benjamin Speckmann

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by Benjamin Speckmann

Transparenz und Fehlerkategorisierung bei 1&1 mit dem Elastic Stack und ETL

Sign up for Elastic Cloud free trial