Avec File Data Visualizer, l'importation dans Elasticsearch de fichiers CSV, NDJSON, et de texte semi-structuré comme les fichiers logs, n'a jamais été aussi

La nouvelle fonctionnalité <a href="/guide/en/kibana/6.5/release-highlights-6.5.0.html#_visualize_data_from_a_log_file">File Data&nbsp;Visualizer</a> a fait son entrée avec la Suite&nbsp;Elastic&nbsp;6.5. Avec elle, l'utilisateur peut importer un fichier comportant du texte délimité (par exemple au format CSV), NDJSON ou semi-structuré (comme les fichiers logs). Une fois le fichier importé vers le nouveau point de terminaison <code>find_file_structure</code> d'Elastic Machine&nbsp;Learning, celui-ci l'analyse et génère un rapport sur ces données. Cette fonctionnalité propose aussi un pipeline d'ingestion et des mappings que l'utilisateur peut exploiter pour importer son fichier dans Elasticsearch depuis l'interface utilisateur.
L'objectif de cette fonctionnalité&nbsp;? Permettre aux utilisateurs désireux d'explorer leurs données via Kibana ou Machine&nbsp;Learning d'importer de petits volumes de données vers Elasticsearch, sans pour autant devoir maîtriser toutes les subtilités du processus d'ingestion.
<a href="/fr/blog/aftershock-therapy-with-elasticsearch-and-csv-data-import">Cet article de blog</a> rédigé par un membre de l'équipe marketing d'Elastic illustre à merveille tout l'intérêt de cette fonctionnalité, même pour les non-développeurs. On y découvre la facilité déconcertante avec laquelle notre spécialiste du marketing a pu importer des données sismiques dans Elasticsearch grâce à File Data&nbsp;Visualizer, ce qui lui a ensuite permis d'analyser les zones sismiques via les visualisations geo_point de Kibana.
<h2>Exemple&nbsp;: importer un fichier CSV vers Elasticsearch</h2>Rien de tel qu'un exemple concret pour mieux comprendre cette fonctionnalité. Dans cet exemple, nous allons utiliser les données factices d'un fichier CSV provenant d'un site&nbsp;web dédié à la réservation de vols. Voici les cinq premières lignes du fichier, afin de vous donner un petit aperçu des données&nbsp;:
<pre class="prettyprint">time,airline,responsetime
2014-06-23 00:00:00Z,AAL,132.2046
2014-06-23 00:00:00Z,JZA,990.4628
2014-06-23 00:00:00Z,JBU,877.5927
2014-06-23 00:00:00Z,KLM,1355.4812
</pre><h3>Configurer l'importation du fichier CSV dans File Data&nbsp;Visualizer</h3>La fonctionnalité File Data&nbsp;Visualizer est accessible dans Kibana, sous la section Machine&nbsp;Learning&nbsp;&gt; Data&nbsp;Visualizer. Une page s'affiche, qui vous permet de sélectionner un fichier ou de l'ajouter par glisser-déposer. Depuis la version&nbsp;6.5, la taille maximale de fichier est limitée à 100&nbsp;Mo.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd50fef49286218fc/5c57d5cfa669c2e50b763c39/fdv-1.png" data-sys-asset-uid="bltd50fef49286218fc" alt="" "="">
Une fois le fichier CSV sélectionné, la page envoie les 1&nbsp;000&nbsp;premières lignes du fichier vers le point de terminaison find_file_structure, qui les analyse et retourne ses résultats.&nbsp;Si on examine la section Summary (Synthèse) de l'interface utilisateur, on constate que le système a bien détecté que le format des données est délimité et que le séparateur est une virgule.&nbsp;
Il a aussi détecté la présence d'une ligne d'en-tête et a utilisé ces noms de champs pour libeller les données de chaque colonne. La première colonne correspond à un format de date connu&nbsp;: elle est donc associée au champ Time field (Date/Heure).
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2ed94e14e164d698/5c57d5c922d96be10bcca321/fdv-2.jpg" data-sys-asset-uid="blt2ed94e14e164d698" alt="" "="">
Sous cette section Summary (Synthèse), se trouve la section "Fields" (Champs). Celle-ci ne devrait avoir aucun secret pour vous si vous avez déjà utilisé la fonctionnalité <a href="/fr/blog/machine-learning-data-visualizer-and-modules">Data&nbsp;Visualizer</a> initiale.&nbsp;
Nous voyons que les trois types de champs sont correctement identifiés, et que des statistiques détaillées sont associées à chacun d'entre eux.&nbsp;La liste des 10&nbsp;valeurs les plus fréquentes s'affiche pour chaque champ. Le champ <code>responsetime</code> a été identifié comme un champ numérique et affiche aussi les valeurs min, median et max (valeurs minimales, médianes et maximales).
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt791921c57e27c94a/5c57d5c3773ad9030c5c2bd8/fdv-3.jpg" data-sys-asset-uid="blt791921c57e27c94a" alt="" "="">
Tout cela est très bien quand le fichier CSV comporte un en-tête. Mais que se passe-t-il quand ce n'est pas le cas&nbsp;?
Dans ce cas, le point de terminaison <code>find_file_structure</code> utilise des noms de champs temporaires. À des fins d'illustration, supprimons la première ligne du fichier d'exemple et réimportons-le. Nous voyons ci-dessous que les champs portent maintenant des noms génériques&nbsp;: column1, column2 et column3.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt424c33d1830378df/5c57d5bd713ebdec0ba06f3f/fdv-4.jpg" data-sys-asset-uid="blt424c33d1830378df" alt="" "="">
En général, l'utilisateur s'y connaît un peu et renommera ces champs pour leur donner un nom plus adapté. Pour ce faire, il suffit de cliquer sur le bouton Override settings (Remplacer les paramètres). 
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt418f0473759afb9d/5c57d5b716a7de000c2b328e/fdv-5.png" data-sys-asset-uid="blt418f0473759afb9d" alt="" "="">
De même qu'il peut renommer ces champs, l'utilisateur peut aussi modifier d'autres paramètres, comme Data format (Format des données), Delimiter (Séparateur) et Quote character (Guillemet). Globalement, cette section vous permet de rectifier les hypothèses du point de terminaison <code>find_file_structure</code> au sujet des données. Par exemple, il est possible que votre fichier contienne plusieurs champs de date et que seul le premier ait été retenu. Il peut aussi arriver de vouloir complètement modifier les noms des champs, même si le fichier contient une ligne d'en-tête.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltcad02e0adb3f02e4/5c57d5b1c0eac4f70b57aceb/fdv-6.jpg" data-sys-asset-uid="bltcad02e0adb3f02e4" alt="" "="">
Une fois satisfait de vos paramètres, vous pouvez cliquer sur le bouton Import (Importer) situé en bas à gauche de la page.
<h3>Importer&nbsp;les données CSV vers Elasticsearch</h3>Nous voici donc sur la page d'importation, qui nous permet d'importer les données vers Elasticsearch. Remarque&nbsp;: Cette fonctionnalité n'est pas destinée à être utilisée dans le cadre d'un processus de production répétitif. Elle sert seulement à l'exploration initiale des données. Pourquoi&nbsp;? D'abord parce qu'elle ne propose pas d'options d'automatisation, mais aussi parce qu'il s'agit pour le moment d'une fonctionnalité expérimentale.
Vous avez le choix entre deux modes d'importation. En mode Simple, le seul élément à fournir est un nouveau nom unique pour l'index. Vous devrez aussi indiquer si vous voulez créer un modèle d'indexation.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf39bb1c623b62f7f/5c57d5aa4651cff70b650d5a/fdv-7.png" data-sys-asset-uid="bltf39bb1c623b62f7f" alt="" "="">
Le mode Advanced (Avancé) vous donne quant à lui un plus grand contrôle sur les paramètres à utiliser pour créer votre index.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltdb726f5a6a6c7ad8/5c57d5a585820dce0bcc2bef/fdv-8.png" data-sys-asset-uid="bltdb726f5a6a6c7ad8" alt="" "="">
<ul>
	<li>Index settings (Paramètres d'indexation)&nbsp;: par défaut, la création de l'index et l'importation ne nécessitent aucun autre paramètre, mais nous vous laissons la possibilité de les personnaliser.</li>
	<li>Mappings&nbsp;: le point de terminaison <code>find_file_structure</code> fournit un objet mappings en fonction des champs et des types de champs qu'il a identifiés. Pour en savoir plus, la <a href="/guide/en/elasticsearch/reference/6.5/mapping.html">documentation Elasticsearch consacrée au mapping</a> vous propose une liste des mappings possibles.</li>
	<li>Ingest pipeline (Pipeline d'ingestion)&nbsp;: le point de terminaison <code>find_file_structure</code> fournit un objet pipeline d'ingestion par défaut. Il sert à l'ingestion des données et vous permet d'importer des données supplémentaires, le cas échéant.</li>
</ul>La version&nbsp;6.5 ne permet que la création de nouveaux index. En effet, il n'est plus possible d'ajouter des données à un index existant, afin d'éviter de l'endommager.
Pour lancer l'importation, il suffit de cliquer sur le bouton "Import" (Importer). Celle-ci se fait en plusieurs étapes, numérotées de 1&nbsp;à&nbsp;5&nbsp;:
<ol>
	<li>Processing file (Traitement du fichier)&nbsp;: conversion des données en documents NDJSON en vue de leur ingestion via l'API&nbsp;Bulk.</li>
	<li>Creating index (Création de l'index)&nbsp;: création de l'index grâce aux paramètres et aux objets mappings.</li>
	<li>Creating ingest pipeline (Création du pipeline d'ingestion)&nbsp;: création du pipeline d'ingestion grâce à l'objet pipeline d'ingestion.</li>
	<li>Uploading the data (Importation des données)&nbsp;: chargement des données dans le nouvel index Elasticsearch.</li>
	<li>Creating index pattern (Création du modèle d'indexation)&nbsp;: création d'un modèle d'indexation Kibana (si l'utilisateur a choisi cette option).</li>
</ol><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt56ea4e841563efc8/5c57d59e122247d10be8ea87/fdv-9.png" data-sys-asset-uid="blt56ea4e841563efc8" alt="" "="">
Une fois l'importation terminée, une synthèse s'affiche et répertorie les noms de l'index, du modèle d'indexation et du pipeline d'ingestion créés, ainsi que le nombre de documents ingérés.
Elle propose aussi des liens Kibana vous permettant d'explorer les données que vous venez d'importer. Si vous avez opté pour un <a href="/fr/subscriptions">abonnement Platinum ou une version d'essai</a>, un lien vous permet de créer rapidement une tâche de machine&nbsp;learning à partir de ces données.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt998a2b6a64471ce2/5c57d5998c741b010cbf6abb/fdv-10.png" data-sys-asset-uid="blt998a2b6a64471ce2" alt="" "="">
<h2>Exemple&nbsp;: importer des fichiers logs et autres textes semi-structurés vers Elasticsearch
</h2>Nous venons de voir l'importation de données au format CSV. Celle des données NDJSON est encore plus simple et nécessite très peu de traitement. Mais quid des textes semi-structurés&nbsp;? Voyons en quoi l'analyse de données CSV diffère de celle des données de fichiers logs habituels, autrement dit, de celle du texte semi-structuré.
Voici trois lignes d'un fichier log généré par un routeur.
<pre class="prettyprint">&lt;190&gt;38377: GOW45-AR002: Apr 18 08:44:02.434 GMT: %JHG_MS-6-ROUTE_EVENT_INFO: Route changed Prefix 10.156.26.0/23, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
&lt;190&gt;38378: GOW45-AR002: Apr 18 08:44:07.538 GMT: %JHG_MS-6-ROUTE_EVENT_INFO: Route changed Prefix 10.156.72.0/23, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
&lt;190&gt;38379: GOW45-AR002: Apr 18 08:44:08.818 GMT: %JHG_MS-6-ROUTE_EVENT_INFO: Route changed Prefix 10.156.55.0/24, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
</pre>Lorsque le point de terminaison <code>find_file_structure</code> analyse ces données, il reconnaît que le format correspond à du texte semi-structuré et créer un modèle grok permettant d'extraire les champs et les types de champs de chaque ligne. Parmi ces champs, il reconnaît aussi le champ de date et son format.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt4cb4bbbb81e8c8d6/5c57d595bfa899f60ba15adf/fdv-11.png" data-sys-asset-uid="blt4cb4bbbb81e8c8d6" alt="" "="">
Contrairement à un fichier CSV avec en-tête ou à un fichier NDJSON, il n'existe aucun moyen de connaître les noms exacts de ces champs. Le point de terminaison leur donne donc des noms génériques en fonction de leur type.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt78b6030f16ff1520/5c57d5950da9acd10bcc8e40/fdv-12.jpg" data-sys-asset-uid="blt78b6030f16ff1520" alt="" "="">
Toutefois, le modèle grok étant modifiable via le menu Override settings (Remplacer les paramètres), nous avons la possibilité de rectifier les noms et les types de champs.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1af21edb205ca35a/5c57d589dfaabbd40b9c290c/fdv-13.png" data-sys-asset-uid="blt1af21edb205ca35a" width="400">
Une fois rectifiés, ces noms de champs s'affichent dans la section File stats (Statistiques du fichier). Remarque&nbsp;: Étant classés dans l'ordre alphabétique, ils apparaissent dans un ordre légèrement différent.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3d3afbfb7553f1b2/5c57d58c893c9ee20b66f4f8/fdv-14.jpg" data-sys-asset-uid="blt3d3afbfb7553f1b2">
Une fois importés, ces nouveaux noms de champs sont ajoutés à l'objet mappings, et le modèle grok est ajouté à la liste des processeurs du pipeline d'ingestion.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5d0a503b43623163/5c57d589f967c7fc0b4c66fb/fdv-15.png" data-sys-asset-uid="blt5d0a503b43623163" alt="" "="">
<h2>Pour conclure</h2>J'espère que ce petit aperçu vous a donné envie d'essayer la nouvelle fonctionnalité File Data&nbsp;Visualizer de la version&nbsp;6.5. Pour le moment, il s'agit encore d'une fonctionnalité expérimentale. Il est donc possible que tous les formats de fichiers ne donnent pas les résultats escomptés, mais n'hésitez pas à l'essayer et à <a href="https://discuss.elastic.co/">nous parler de votre expérience</a>. Vos commentaires nous aideront à accélérer la disponibilité générale de cette nouvelle fonctionnalité.

fdv-banner.png

fdv-thumb.png

Importing CSV and Log Data into Elasticsearch with File Data Visualizer

Importer des données CSV et de log dans Elasticsearch avec File Data Visualizer

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

James Gowdy

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by James Gowdy

Importer des données CSV et de log dans Elasticsearch avec File Data Visualizer

Sign up for Elastic Cloud free trial