Der File Data Visualizer macht das Importieren von CSV- und NDJSON-Daten sowie semistrukturiertem Text (wie Logdateien) in Elasticsearch so einfach wie nie.

Zu den neuen Features im Elastic Stack 6.5 gehört der <a href="/guide/en/kibana/6.5/release-highlights-6.5.0.html#_visualize_data_from_a_log_file">File Data Visualizer</a>. Mit ihm können Nutzer Dateien mit trennzeichengetrennten Daten (wie CSV-Dateien), NDJSON-Dateien oder semistrukturierten Text (wie Logdateien) hochladen und vom neuen Elastic-Machine-Learning-Endpunkt <code>find_file_structure</code> analysieren lassen. Als Ergebnis der Analyse werden unter anderem Vorschläge zur Ingestieren-Pipeline und zu Mappings unterbreitet, die genutzt werden können, um die Datei aus der Benutzeroberfläche in Elasticsearch zu importieren.
Auf diese Weise können Nutzer, die ihre Daten mit Kibana oder Machine Learning erkunden möchten, schnell und einfach kleine Datenmengen in Elasticsearch importieren, ohne sich eingehender mit dem Ingestieren-Prozess beschäftigen zu müssen.
In <a href="/de/blog/aftershock-therapy-with-elasticsearch-and-csv-data-import">diesem Blogpost</a> hat jemand vom Elastic-Marketingteam, der selbst keinen Programmierhintergrund hat, vor Kurzem anschaulich beschrieben, wie einfach das ist. Mit dem File Data Visualizer konnte er ohne Weiteres Erdbebendaten in Elasticsearch importieren und mithilfe von geo_point-Visualisierungen in Kibana visualisieren, um die geografische Verbreitung von Erdbeben zu erkunden und zu analysieren.
<h2>Beispiel: Importieren einer CSV-Datei in Elasticsearch</h2>Am besten lässt sich diese Funktionalität erklären, wenn wir uns ein Beispiel ansehen. Wir nehmen dazu Daten aus einer CSV-Datei, die imaginäre Daten von einer Flugbuchungswebsite enthält. Im Folgenden werden nur die ersten fünf Zeilen präsentiert, damit Sie eine Vorstellung davon erhalten, wie diese Daten aussehen:
<pre class="prettyprint">time,airline,responsetime
2014-06-23 00:00:00Z,AAL,132.2046
2014-06-23 00:00:00Z,JZA,990.4628
2014-06-23 00:00:00Z,JBU,877.5927
2014-06-23 00:00:00Z,KLM,1355.4812
</pre><h3>Konfigurieren des CSV-Imports im File Data Visualizer</h3>Der File Data Visualizer ist in Kibana im Abschnitt Machine Learning &gt; Data Visualizer zu finden. Der Nutzer sieht eine Seite, auf der er eine Datei auswählen oder per Drag & Drop ablegen kann. Zumindest in Version 6.5 darf die Datei nicht größer als 100&nbsp;MB sein.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd50fef49286218fc/5c57d5cfa669c2e50b763c39/fdv-1.png" data-sys-asset-uid="bltd50fef49286218fc" alt="" "="">
Wenn wir die CSV-Datei auswählen, sendet die Seite die ersten 1000 Zeilen aus der Datei an den Endpunkt find_file_structure, der die Datei analysiert und dann die Ergebnisse zurückgibt.&nbsp;Ein Blick auf den Abschnitt Summary zeigt, dass der Endpunkt korrekt erkannt hat, dass die Daten in einem trennzeichengetrennten Format vorliegen und dass als Trennzeichen Kommas verwendet werden.&nbsp;
Auch dass es einen Header gibt, wurde richtig erkannt, und die dort vorgegebenen Feldnamen wurden genutzt, um die Daten in den einzelnen Spalten zu beschriften. Für die erste Spalte wurde eine Übereinstimmung mit einem bekannten Datumsformat festgestellt, sodass sie als Feld time zurückgegeben wird.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2ed94e14e164d698/5c57d5c922d96be10bcca321/fdv-2.jpg" data-sys-asset-uid="blt2ed94e14e164d698" alt="" "="">
Unterhalb des Abschnitts Summary befindet sich der Abschnitt mit den Feldern, der allen, die schon einmal mit dem originalen <a href="/de/blog/machine-learning-data-visualizer-and-modules">Data Visualizer</a> gearbeitet haben, bekannt vorkommen dürfte.&nbsp;
Wie wir sehen, wurden die Feldtypen bei allen drei Feldern richtig identifiziert, und für jedes Feld sind ein paar allgemeine statistische Informationen zu sehen.&nbsp;Für jedes Feld werden die 10 am häufigsten vorkommenden Werte aufgeführt. Bei <code>responsetime</code>, das als numerisches Feld erkannt wurde, werden zudem die Werte min, median und max angezeigt.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt791921c57e27c94a/5c57d5c3773ad9030c5c2bd8/fdv-3.jpg" data-sys-asset-uid="blt791921c57e27c94a" alt="" "="">
Für eine CSV-Datei mit Header ist das ja alles schön und gut, aber was, wenn es keine Header-Zeile gibt?
In diesem Fall verwendet der Endpunkt <code>find_file_structure</code> temporäre Feldnamen. Wir können dies demonstrieren, indem wir die erste Zeile aus der Beispieldatei entfernen und die Datei erneut hochladen. Jetzt tragen die Felder die allgemeinen Namen „column1“, „column2“ und „column3“.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt424c33d1830378df/5c57d5bd713ebdec0ba06f3f/fdv-4.jpg" data-sys-asset-uid="blt424c33d1830378df" alt="" "="">
Wem diese Feldnamen zu allgemein sind, sodass er sie umbenennen möchte, kann die vorgegebenen Einstellungen über die Schaltfläche Override settings außer Kraft setzen. 
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt418f0473759afb9d/5c57d5b716a7de000c2b328e/fdv-5.png" data-sys-asset-uid="blt418f0473759afb9d" alt="" "="">
Der Nutzer kann nicht nur diese Felder umbenennen, sondern auch andere Einstellungen, wie das Datenformat, das Trennzeichen und das zu verwendende Anführungszeichen, ändern. Diese Einstellungen können also gewissermaßen zur Feinjustierung der Ergebnisse der <code>find_file_structure</code>-Datenanalyse verwendet werden. So können Sie beispielsweise festlegen, dass ein anderes als das vom Endpunkt gewählte erste Datumsfeld verwendet werden soll, oder die aus der Header-Zeile der Datei übernommenen Feldnamen ändern.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltcad02e0adb3f02e4/5c57d5b1c0eac4f70b57aceb/fdv-6.jpg" data-sys-asset-uid="bltcad02e0adb3f02e4" alt="" "="">
Wenn wir mit diesen Einstellungen zufrieden sind, klicken wir auf die Schaltfläche Import unten links auf der Seite.
<h3>Importieren der CSV-Daten in Elasticsearch</h3>Wir sind jetzt auf der Seite „Import“, auf der wir die Daten in Elasticsearch importieren können. Dabei ist zu beachten, dass dieses Feature nicht dazu gedacht ist, Teil eines wiederholten Produktionsprozesses zu sein, sondern nur zur Ersterkundung der Daten dienen soll. Dies liegt hauptsächlich an fehlenden Automatisierungsoptionen, aber auch daran, dass es sich derzeit noch im Experimentierstadium befindet.
Für das Importieren gibt es zwei Modi: Der erste heißt Simple und der Nutzer muss hier nur einen neuen eindeutigen Indexnamen angeben und festlegen, ob auch ein Indexmuster erstellt werden soll.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf39bb1c623b62f7f/5c57d5aa4651cff70b650d5a/fdv-7.png" data-sys-asset-uid="bltf39bb1c623b62f7f" alt="" "="">
Beim zweiten Modus, Advanced, hat der Nutzer weitergehende Möglichkeiten, die Einstellungen zur Indexerstellung zu justieren.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltdb726f5a6a6c7ad8/5c57d5a585820dce0bcc2bef/fdv-8.png" data-sys-asset-uid="bltdb726f5a6a6c7ad8" alt="" "="">
<ul>
	<li>Index settings – Standardmäßig sind für die Indexerstellung und das Importieren keine zusätzlichen Einstellungen erforderlich, aber es besteht die Möglichkeit, die Indexeinstellungen anzupassen.</li>
	<li>Mappings – Der Endpunkt <code>find_file_structure</code> stellt ein „Mappings“-Objekt auf der Basis der von ihm identifizierten Felder und Typen bereit. Eine Liste der möglichen Mappings finden Sie in unserer <a href="/guide/en/elasticsearch/reference/6.5/mapping.html">Elasticsearch-Mapping-Dokumentation</a>.</li>
	<li>Ingest pipeline – Der Endpunkt <code>find_file_structure</code> stellt ein Standard-„Ingest pipeline“-Objekt bereit. Dieses wird beim Ingestieren der Daten verwendet und kann für das Hochladen zusätzlicher Daten eingesetzt werden.</li>
</ul>In Version 6.5 wird nur das Erstellen neuer Indizes unterstützt; bestehenden Indizes können keine Daten hinzugefügt werden, um sie vor Beschädigung zu schützen.
Über die Schaltfläche „Import“ kann der Importprozess gestartet werden. Er besteht aus den folgenden Schritten:
<ol>
	<li>Verarbeiten der Datei – Die Daten werden in NDJSON-Dokumente umgewandelt, damit sie mit der Bulk-API ingestiert werden können.</li>
	<li>Erstellen des Index – Anhand der Einstellungen und der „Mappings“-Objekte wird der Index erstellt.</li>
	<li>Erstellen der Ingestieren-Pipeline – Anhand des „Ingest pipeline“-Objekts wird die Ingestieren-Pipeline erstellt.</li>
	<li>Hochladen der Daten – Daten werden in den neuen Elasticsearch-Index hochgeladen.</li>
	<li>Erstellen eines Indexmusters – Es wird ein Kibana-Indexmuster erstellt (wenn vom Nutzer gewünscht).</li>
</ol><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt56ea4e841563efc8/5c57d59e122247d10be8ea87/fdv-9.png" data-sys-asset-uid="blt56ea4e841563efc8" alt="" "="">
Nach dem Import wird eine Zusammenfassung präsentiert, die die erstellten Indexnamen, das Indexmuster und die Ingestieren-Pipeline enthält und Aufschluss über die Zahl der ingestierten Dokumente gibt.
Außerdem werden Kibana-Links zum Erkunden der neu importierten Daten angezeigt. Nutzer mit <a href="/de/subscriptions">Platinum- und Test-Abonnement</a> erhalten zudem einen Link, über den sie einen Machine-Learning-Job erstellen können, der auf den Daten basiert.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt998a2b6a64471ce2/5c57d5998c741b010cbf6abb/fdv-10.png" data-sys-asset-uid="blt998a2b6a64471ce2" alt="" "="">
<h2>Beispiel: Importieren von Logdateien und anderem semistrukturiertem Text in Elasticsearch
</h2>Bisher ging es nur um CSV-Daten – und NDJSON ist noch einfacher und erfordert sehr wenig Verarbeitungsaufwand. Was ist aber mit semistrukturiertem Text? Sehen wir uns dazu an, wie sich die Analyse von CSV-Daten von der Analyse typischer Logdateidaten –&nbsp;also von semistrukturiertem Text&nbsp;– unterscheidet.
Das folgende Beispiel zeigt drei Zeilen aus einer von einem Router generierten Logdatei.
<pre class="prettyprint">&lt;190&gt;38377: GOW45-AR002: Apr 18 08:44:02.434 GMT: %JHG_MS-6-ROUTE_EVENT_INFO: Route changed Prefix 10.156.26.0/23, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
&lt;190&gt;38378: GOW45-AR002: Apr 18 08:44:07.538 GMT: %JHG_MS-6-ROUTE_EVENT_INFO: Route changed Prefix 10.156.72.0/23, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
&lt;190&gt;38379: GOW45-AR002: Apr 18 08:44:08.818 GMT: %JHG_MS-6-ROUTE_EVENT_INFO: Route changed Prefix 10.156.55.0/24, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
</pre>Der Endpunkt <code>find_file_structure</code> erkennt bei der Analyse korrekt, dass es sich um semistrukturierten Text handelt, und erstellt ein Grok-Muster, mit dessen Hilfe die Felder und deren Typen extrahiert werden. Dabei wird auch erkannt, welches Feld das „time“-Feld ist und welches Format verwendet wird.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt4cb4bbbb81e8c8d6/5c57d595bfa899f60ba15adf/fdv-11.png" data-sys-asset-uid="blt4cb4bbbb81e8c8d6" alt="" "="">
Im Gegensatz zu CSV-Dateien mit Header oder zu NDJSON-Dateien gibt es keine Möglichkeit, die korrekten Namen dieser Felder festzustellen. Der Endpunkt behilft sich damit, ihnen anhand ihres Typs allgemeine Namen zuzuweisen.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt78b6030f16ff1520/5c57d5950da9acd10bcc8e40/fdv-12.jpg" data-sys-asset-uid="blt78b6030f16ff1520" alt="" "="">
Dieses Grok-Muster kann jedoch über das Menü Override settings bearbeitet werden, sodass wir die Namen und Typen der Felder korrigieren können.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1af21edb205ca35a/5c57d589dfaabbd40b9c290c/fdv-13.png" data-sys-asset-uid="blt1af21edb205ca35a" width="400">
Im Abschnitt mit den statistischen Informationen zur Datei werden daraufhin die korrigierten Feldnamen angezeigt. Zu beachten ist, dass die Felder alphabetisch geordnet werden, sodass sich nach der Umbenennung die Reihenfolge ändern kann, wie hier zu sehen.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3d3afbfb7553f1b2/5c57d58c893c9ee20b66f4f8/fdv-14.jpg" data-sys-asset-uid="blt3d3afbfb7553f1b2">
Nach dem Importieren werden dem „Mappings“-Objekt die neuen Feldnamen hinzugefügt, und die Liste der Prozessoren in der Ingestieren-Pipeline wird um das Grok-Muster erweitert.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5d0a503b43623163/5c57d589f967c7fc0b4c66fb/fdv-15.png" data-sys-asset-uid="blt5d0a503b43623163" alt="" "="">
<h2>Fazit</h2>Wir hoffen, dass wir Ihnen ein wenig Appetit auf den neuen File Data Visualizer in 6.5 machen konnten. Es handelt sich dabei in 6.5 um ein Feature im Experimentierstadium, sodass wir nicht garantieren können, dass jedes Dateiformat korrekt identifiziert wird. Dennoch würden wir uns freuen, wenn Sie es einmal ausprobieren – und vielleicht <a href="https://discuss.elastic.co/">uns anschließend wissen lassen, was Sie davon halten</a>. Ihr Feedback hilft uns, das Feature schneller allgemein verfügbar zu machen.

fdv-banner.png

fdv-thumb.png

Importing CSV and Log Data into Elasticsearch with File Data Visualizer

Importieren von CSV- und Logdaten in Elasticsearch mit File Data Visualizer

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

James Gowdy

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by James Gowdy

Importieren von CSV- und Logdaten in Elasticsearch mit File Data Visualizer

Sign up for Elastic Cloud free trial