Dieser ausführliche Artikel behandelt die Details der Migration zum Elastic Common Schema (ECS) in einer Beats-Umgebung, inklusive einer Beispielmigration.

migrating-ecs-fullbleed.jpg

migrating-ecs-thumbnail.jpg

Migrating to Elastic Common Schema in Beats environments

Migration zum Elastic Common Schema (ECS) in Beats-Umgebungen

<p>In diesem Blog-Post stellen wir Ihnen das Elastic Common Schema (ECS) vor – eine neue Spezifikation für die konsistente und individuell anpassbare Strukturierung Ihrer Daten in Elasticsearch, die die Analyse von Daten aus unterschiedlichen Quellen möglich macht. ECS hilft dabei, die Anwendungsbreite von Analytics-Inhalten, wie Dashboards und Machine-Learning-Jobs, zu erweitern, Suchen enger einzugrenzen und sich die Namen von Feldern einfacher zu merken.
</p>
<h2>Was bringt ein gemeinsames Schema?</h2>
<p>Gleich, ob Sie Methoden zur interaktiven Analyse (mittels Suchen, Drill-downs und Pivot-Analysen, Visualisierungen und so weiter) oder zur automatischen Analyse (wie Alerting oder Machine-Learning-gestützte Anomalieerkennung) anwenden – Sie brauchen eine Möglichkeit, Ihre Daten auf eine gemeinsame Basis zu stellen, damit Sie sie untersuchen können. Sobald Sie aber Daten aus verschiedenen Quellen haben, stoßen Sie auf das Problem unterschiedlicher Formatierungen. Dafür gibt es verschiedene Gründe:
</p>
<ul>
	<li>Unterschiede bei den Datentypen (z.&nbsp;B. Log-Einträge, Metriken, APM, Datenströme, Kontextdaten)</li>
	<li>heterogene Umgebungen mit anbieterspezifischen Standards</li>
	<li>ähnliche Datenquellen, die sich aber dennoch unterscheiden (z.&nbsp;B. mehrere Quellen für Endpunktdaten, wie <a href="/de/beats/auditbeat">Auditbeat</a>, Cylance und Tanium)</li>
</ul>
<p>Stellen Sie sich vor, Sie müssten in Daten aus verschiedenen Quellen einen konkreten Nutzer finden. Allein für die Suche nach diesem einen Feld wäre es nötig, zumindest die folgenden Feldnamen in Betracht zu ziehen: <code>user</code>, <code>username</code>, <code>nginx.access.user_name</code> und <code>login</code>. Drill-downs und Pivot-Analysen anhand dieser Daten wären noch schwieriger zu bewerkstelligen. Stellen Sie sich jetzt vor, Sie müssten Analytics-Inhalte, wie Visualisierungen, Alerts oder Machine-Learning-Jobs, entwickeln – jede neue Datenquelle würde zusätzliche Komplexität oder Doppelungen mit sich bringen.
</p>
<h3>Was hat es mit dem ECS auf sich?</h3>
<p>Das Elastic Common Schema (ECS) ist eine Open-Source-Spezifikation, die einen gemeinsamen Satz von Dokumentfeldern für Daten definiert, die in Elasticsearch ingestiert werden. Das Schema unterstützt die einheitliche Datenmodellierung und ermöglicht so die zentrale Analyse von Daten aus unterschiedlichen Quellen mit interaktiven und automatisierten Methoden.
</p>
<p>Es bietet sowohl die Vorhersehbarkeit einer zweckgebundenen Taxonomie als auch die Vielseitigkeit einer inklusiven Spezifikation, die sich an individuelle Anwendungsfälle anpasst. Die Taxonomie des ECS verteilt Datenelemente über Felder, die sich in die folgenden drei Kategorien einteilen lassen:
</p>
<table>
<tbody>
<tr>
	<td style="background-color: rgb(223, 223, 223);"><strong>Kategorie</strong>
	</td>
	<td style="background-color: rgb(223, 223, 223);"><strong>Beschreibung</strong>
	</td>
	<td style="background-color: rgb(223, 223, 223);"><strong>Empfehlung</strong>
	</td>
</tr>
<tr>
	<td><strong>Kernfelder (ECS)</strong>
	</td>
	<td>Vollständig definierte Gruppe von Feldnamen unter einem definierten Satz von ECS-Objekten auf oberster Ebene
	</td>
	<td>Diese Felder sind den meisten Anwendungsfällen gemeinsam, sodass an dieser Stelle angesetzt werden sollte.
	</td>
</tr>
<tr>
	<td><strong>Erweiterte Felder (ECS)</strong>
	</td>
	<td>Teilweise definierte Gruppe von Feldnamen unter demselben Satz von ECS-Objekten auf oberster Ebene
	</td>
	<td>Erweiterte Felder können auf enger gefasste Anwendungsfälle zutreffen oder, je nach Anwendungsfall, stärker interpretierbar sein.
	</td>
</tr>
<tr>
	<td><strong>Nutzerdefinierte Felder</strong>
	</td>
	<td>Nicht definierte Gruppe von Feldern ohne gemeinsamen Namen unter einem vom Nutzer bereitgestellten Satz von Nicht-ECS-Objekten auf oberster Ebene, die nicht mit ECS-Feldern oder -Objekten in Konflikt geraten dürfen
	</td>
	<td>Hier können Sie Felder hinzufügen, für die es im ECS keine Feldentsprechung gibt. Sie können hier auch eine Kopie der originalen Ereignisfelder aufbewahren, z.&nbsp;B., wenn Sie Ihre Daten in das ECS überführen.
	</td>
</tr>
</tbody>
</table>
<h2>Was hat es mit dem Elastic Common Schema (ECS) auf sich?</h2>
<h3>Beispiel 1: Parsing-Analyse</h3>
<p>Wir wenden das ECS als Erstes auf den folgenden Apache-Log-Eintrag an:
</p>
<pre class="prettyprint">10.42.42.42 - - [07/Dec/2018:11:05:07 +0100] "GET /blog HTTP/1.1" 200 2571 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"
</pre>
<p>Bei der Zuordnung dieser Nachricht zum ECS werden die Felder des Log-Eintrags wie folgt organisiert:
</p>
<table>
<tbody>
<tr>
	<td width="25%" style="background-color: rgb(223, 223, 223);"><strong>Feldname</strong>
	</td>
	<td width="38%" style="background-color: rgb(223, 223, 223);"><strong>Wert</strong>
	</td>
	<td width="37%" style="background-color: rgb(223, 223, 223);"><strong>Anmerkungen</strong>
	</td>
</tr>
<tr>
	<td>@timestamp
	</td>
	<td><code>2018-12-07T11:05:07.000Z</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>ecs.version
	</td>
	<td><code>1.0.0</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>event.dataset
	</td>
	<td><code>apache.access</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>event.original
	</td>
	<td><code>10.42.42.42 - - [07/Dec ...</code>
	</td>
	<td>Vollständiger, unveränderter Log-Eintrag für Audit-Zwecke&nbsp;
	</td>
</tr>
<tr>
	<td>http.request.method
	</td>
	<td><code>get</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>http.response.body.bytes
	</td>
	<td><code>2571</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>http.response.status_code
	</td>
	<td><code>200</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>http.version
	</td>
	<td><code>1.1</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>host.hostname
	</td>
	<td><code>webserver-blog-prod</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>message
	</td>
	<td><code>"GET /blog HTTP/1.1" 200 2571</code>
	</td>
	<td>Textdarstellung der wesentlichen Informationen aus dem Ereignis für die Kurzdarstellung in einem Log-Viewer
	</td>
</tr>
<tr>
	<td>service.name
	</td>
	<td><code>Company blog</code>
	</td>
	<td>Von Ihnen festgelegter Name für diesen Dienst
	</td>
</tr>
<tr>
	<td>service.type
	</td>
	<td><code>apache</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>source.geo.*
	</td>
	<td>
	</td>
	<td>Felder für Geolocation-Zwecke
	</td>
</tr>
<tr>
	<td>source.ip
	</td>
	<td><code>10.42.42.42</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>url.original
	</td>
	<td><code>/blog</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>user.name
	</td>
	<td><code>-</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>user_agent.*
	</td>
	<td>
	</td>
	<td>Felder zur Beschreibung des Nutzer-Agents
	</td>
</tr>
</tbody>
</table>
<p>Wie oben dargestellt, bleibt der original Log-Eintrag im ECS-Feld <code>event.original</code> erhalten, um für Audit-Anwendungsfälle zur Verfügung zu stehen. Bitte beachten Sie auch, dass für eine bessere Übersichtlichkeit in diesem Beispiel Einzelheiten zum Monitoring-Agent (unter <code>agent.*</code>), einige Einzelheiten zum Host (unter <code>host.*</code>) und ein paar weitere Felder weggelassen wurden. Eine ausführlichere Darstellung finden Sie in <a href="https://gist.github.com/webmat/fc4902a61abf1cacbd5b717f1a3a6935">diesem Beispielereignis in JSON</a>.
</p>
<h3>Beispiel 2: Suche</h3>
<p>In diesem Beispiel geht es um die Untersuchung der Aktivitäten einer konkreten IP-Adresse in einem kompletten Web-Stack: Palo Alto Networks-Firewall, HAProxy (nach Verarbeitung durch Logstash), Apache (unter Verwendung des Beats-Moduls), Elastic APM und zu guter Letzt das Suricata-IDS (individuell angepasst, unter Verwendung des Suricata-eigenen JSON-Format EVE).
</p>
<p>Ohne ECS hätte die Suchanfrage für diese IP-Adresse z.&nbsp;B. wie folgt ausgesehen:
</p>
<pre class="prettyprint">src:10.42.42.42 OR client_ip:10.42.42.42 OR apache2.access.remote_ip:10.42.42.42 OR context.user.ip:10.42.42.42 OR src_ip:10.42.42.42
</pre>
<p>Aber nach Zuordnung aller Quellen zu ECS reicht die folgende einfache Suchanfrage:
</p>
<pre class="prettyprint">source.ip:10.42.42.42
</pre>
<h3>Beispiel 3: Visualisierung:</h3>
<p>Die Leistungsfähigkeit des ECS wird noch deutlicher ersichtlich, wenn man sich anschaut, wie es auf einheitlich normalisierte Daten aus mehreren unterschiedlichen Datenquellen angewendet werden kann. Nehmen wir an, Sie nutzen zum Web-Stack-Monitoring verschiedene Netzwerkdatenquellen: eine Palo Alto-Next-Generation-Firewall am Perimeter und das Suricata IDS, das Ereignisse und Alerts generiert. Wie lassen sich nun die Felder <code>source.ip</code> und <code>network.direction</code> so aus den Nachrichten extrahieren, dass eine zentralisierte Visualisierung in Kibana und anbieterübergreifende Drill-downs und Pivot-Analysen vorgenommen werden können? Natürlich mit dem ECS – das ECS macht es wesentlich einfacher als bisher, zentralisierte Monitoring-Aufgaben zu erledigen.
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt71256f06dc672546/5c98d595975fd58f4d12646d/ecs-intro-dashboard-1360.jpg" data-sys-asset-uid="blt71256f06dc672546" alt="Suche nach IP-Adressen in Kibana mit dem Elastic Common Schema (ECS)" "="">
</p><figcaption>Suche nach der IP-Adresse 10.42.42.42</figcaption>
<h2>Vorteile des ECS</h2>
<p>Wenn Sie das ECS implementieren, bringen Sie alle im Elastic Stack verfügbaren Analysemodi – Suche, Drill-down- und Pivot-Analysen, Datenvisualisierung, Machine-Learning gestützte Anomalieerkennung und Alerting – in einer Lösung zusammen. In Deployments mit kompletter ECS-Implementierung können Nutzer für ihre Suchen sowohl unstrukturierte als auch strukturierte Abfrageparameter verwenden. Das ECS hilft Ihnen auch beim automatischen Korrelieren von Daten aus unterschiedlichen Datenquellen, wobei es keine Rolle spielt, ob es sich einfach nur um verschiedene Geräte desselben Anbieters oder komplett unterschiedliche Datenquellentypen handelt.
</p>
<p>Außerdem trägt das ECS dazu bei, die Entwicklung von Analytics-Inhalten zu beschleunigen. Statt für jede neu hinzukommende Datenquelle neue Suchen und Dashboards erstellen zu müssen, können Sie ganz einfach weiter die bestehenden Suchen und Dashboards verwenden. In Umgebungen, in denen das ECS im Einsatz ist, lassen sich wesentlich einfacher Analytics-Inhalte von anderen Parteien, die ebenfalls das ECS nutzen, direkt übernehmen, ob nun von Elastic, einem Partner oder einem Open-Source-Projekt.
</p>
<p>Die Tatsache, dass der Nutzer sich nur einen Satz von Feldnamen merken muss, statt verschiedener Sätze für jede Datenquelle, erleichtert die Durchführung interaktiver Analysen. Auch das Herleiten von Feldnamen ist mit dem ECS einfacher, denn die Spezifikation folgt, von einigen wenigen Ausnahmen abgesehen, einer einfachen und standardisierten Benennungskonvention.
</p>
<p>Sie sind noch nicht ganz bereit, auf das ECS umzusteigen? Kein Problem – das ECS ist da, wenn Sie es brauchen, aber Sie müssen es nicht nutzen.
</p>
<h2>Wie steht es um die Verfügbarkeit des Elastic Common Schema?</h2>
<p>Das ECS steht zur Einsichtnahme in einem <a href="https://github.com/elastic/ecs">öffentlichen GitHub-Repo</a> bereit. Die Spezifikation befindet sich derzeit in Beta2 und wird in Kürze allgemein verfügbar gemacht werden. Ihre Veröffentlichung erfolgt unter der Apache 2.0-Open-Source-Lizenz, sodass das ECS durch die Elastic-Community universell eingesetzt werden kann.
</p>
<p><strong></strong>
</p>
<p>Klingt doch alles recht „automagisch“, oder? Nun, das ECS ist ein Schema, und das Implementieren von Schemas ist nicht ohne Tücken. Aber wenn Sie schon einmal eine Elasticsearch-Indexvorlage konfiguriert und ein paar Transformationsfunktionen mit Logstash- oder Elasticsearch-Ingest-Knoten geschrieben haben, wissen Sie ungefähr, was sie erwartet. Künftige Versionen der Elastic Beats-Module werden standardmäßig ECS-formatierte Ereignisse ausgeben und so diesen Teil des Umstiegs einfacher gestalten. Das neue <a href="/de/blog/introducing-auditbeat-system-module">Systemmodul für Auditbeat</a> macht den Anfang, weitere werden folgen.
</p>
<p>Wenn Sie mehr über das ECS erfahren möchten, sehen Sie sich unser <a href="/de/webinars/introducing-the-elastic-common-schema">Webinar zu Elastic Common Schema (ECS)</a> an. Wir werden uns in diesem Blog demnächst mit dem Mapping Ihrer Daten zum ECS (einschließlich dem Mapping von Daten, die im Schema nicht definiert sind) sowie mit Strategien zur Migration zum ECS beschäftigen.
</p>
<h2>Weitere Informationen</h2>
<ul>
	<li><a href="/de/blog/migrating-to-elastic-common-schema-in-beats-environments">Migration zum Elastic Common Schema (ECS) in Beats-Umgebungen</a></li>
</ul>

elastic-stack-blog-banner.png

elastic-stack-blog-thumb.png

Introducing the Elastic Common Schema

Wir stellen vor: das Elastic Common Schema (ECS)

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Senior Software Engineer

Mathieu Martin

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by Mathieu Martin

Senior Software Engineer, Elastic

Migration zum Elastic Common Schema (ECS) in Beats-Umgebungen

Wir stellen vor: das Elastic Common Schema (ECS)