Dans cet article, nous étudierons de manière approfondie la migration vers Elastic Common Schema (ECS) dans un environnement Beats, que nous illustrerons à l’ai

migrating-ecs-fullbleed.jpg

migrating-ecs-thumbnail.jpg

Migrating to Elastic Common Schema in Beats environments

Migration vers Elastic Common Schema (ECS) dans les environnements Beats

<p>Nous lançons Elastic Common&nbsp;Schema (ECS), une nouvelle spécification permettant de structurer vos données Elasticsearch de manière cohérente et personnalisée, tout en facilitant l'analyse des données provenant de différentes sources. Avec ECS, vous pouvez étendre le champ d'application des contenus analytiques tels que les tableaux de bord et les tâches de machine&nbsp;learning, affiner le ciblage de vos recherches et utiliser des noms de champs bien plus simples à mémoriser.
</p>
<h2>Pourquoi un schéma commun&nbsp;?</h2>
<p>Que vos analyses soient interactives (recherche, visualisation, opérations de granularité et de restructuration comme "drill-down" et "pivot") ou qu'elles soient automatisées (alerting, détection des anomalies via Machine&nbsp;Learning), vous devez pouvoir examiner vos données de manière homogène. Mais à moins que vos données ne proviennent toutes d'une seule et même source, vous êtes confronté à des incohérences de formats, et ce, pour les raisons suivantes&nbsp;:
</p>
<ul>
	<li>Types de données disparates (logs, indicateurs, APM, flux, données contextuelles...)</li>
	<li>Environnements hétérogènes répondant à différentes normes selon les fournisseurs</li>
	<li>Sources de données comparables, mais néanmoins différentes (données de point de terminaison provenant de différentes sources, comme <a href="/fr/beats/auditbeat">Auditbeat</a>, Cylance et Tanium)</li>
</ul>
<p>Imaginez que vous recherchiez un utilisateur parmi des données provenant de différentes sources. La recherche de ce seul champ vous oblige probablement à tenir compte des noms de plusieurs champs, comme <code>user</code>, <code>username</code>, <code>nginx.access.user_name</code> et <code>login</code>. Que dire des opérations de granularité et de restructuration des données comme "drill-down" et "pivot" dans de telles conditions&nbsp;? Imaginez maintenant que vous ayez à développer un contenu analytique (visualisation, alerting ou tâche de machine&nbsp;learning, par exemple). Chaque nouvelle source de données devient synonyme de complexité ou de duplication.
</p>
<h3>Qu'est-ce que Elastic Common&nbsp;Schema&nbsp;?</h3>
<p>ECS est une spécification open&nbsp;source qui définit un ensemble commun de champs de documents pour les données ingérées dans Elasticsearch. Conçu pour prendre en charge une modélisation uniforme des données, ECS vous permet de centraliser l'analyse des données provenant de différentes sources, que la méthode employée soit interactive ou automatisée.
</p>
<p>ECS vous offre à la fois la prévisibilité d'une taxonomie conçue à cette fin et la polyvalence d'une spécification inclusive, qui s'adapte aux cas d'utilisation personnalisés. La taxonomie d'ECS répartit les éléments de données entre différents champs organisés en trois niveaux&nbsp;:
</p>
<table>
<tbody>
<tr>
	<td style="background-color: rgb(223, 223, 223);"><strong>Niveau</strong>
	</td>
	<td style="background-color: rgb(223, 223, 223);"><strong>Description</strong>
	</td>
	<td style="background-color: rgb(223, 223, 223);"><strong>Recommendation</strong>
	</td>
</tr>
<tr>
	<td><strong>Champs ECS principaux</strong>
	</td>
	<td>Ensemble de noms de champs entièrement défini, qui se trouve sous un ensemble défini d'objets ECS de premier niveau.
	</td>
	<td>On rencontre ces champs dans la plupart des cas d'utilisation. C'est donc à ce niveau qu'il faut commencer.
	</td>
</tr>
<tr>
	<td><strong>Champs ECS étendus</strong>
	</td>
	<td>Ensemble de noms de champs partiellement défini, qui se trouve sous le même ensemble d'objets ECS de premier niveau.
	</td>
	<td>Les champs étendus peuvent s'appliquer aux cas d'utilisation restreints. Ils autorisent aussi une plus grande souplesse selon les cas d'utilisation.
	</td>
</tr>
<tr>
	<td><strong>Champs personnalisés</strong>
	</td>
	<td>Ensemble de champs non&nbsp;défini et non&nbsp;nommé, qui se trouve sous un ensemble d'objets de premier niveau n'appartenant pas à ECS, fourni par l'utilisateur, et ne devant pas entrer en conflit avec les champs et objets ECS.
	</td>
	<td>C'est à ce niveau que vous pouvez ajouter des champs pour lesquels ECS ne propose pas de champ correspondant. Vous pouvez aussi conserver ici une copie des champs d'événement d'origine (au moment de faire migrer vos données vers ECS, par exemple).
	</td>
</tr>
</tbody>
</table>
<h2>Elastic Common&nbsp;Schema en action</h2>
<h3>1<sup>er&nbsp;</sup>exemple&nbsp;: Analyse</h3>
<p>Voyons ce que peut faire ECS sur le log Apache ci-dessous&nbsp;:
</p>
<pre class="prettyprint">10.42.42.42 - - [07/Dec/2018:11:05:07 +0100] "GET /blog HTTP/1.1" 200 2571 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"
</pre>
<p>Lorsqu'on mappe ce message à ECS, les champs du log s'organisent comme suit&nbsp;:
</p>
<table>
<tbody>
<tr>
	<td width="25%" style="background-color: rgb(223, 223, 223);"><strong>Nom du champ</strong>
	</td>
	<td width="38%" style="background-color: rgb(223, 223, 223);"><strong>Valeur</strong>
	</td>
	<td width="37%" style="background-color: rgb(223, 223, 223);"><strong>Remarques</strong>
	</td>
</tr>
<tr>
	<td>@timestamp
	</td>
	<td><code>2018-12-07T11:05:07.000Z</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>ecs.version
	</td>
	<td><code>1.0.0</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>event.dataset
	</td>
	<td><code>apache.access</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>event.original
	</td>
	<td><code>10.42.42.42 - - [07/Dec ...</code>
	</td>
	<td>Log complet et non&nbsp;modifié, à utiliser pour les audits&nbsp;
	</td>
</tr>
<tr>
	<td>http.request.method
	</td>
	<td><code>get</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>http.response.body.bytes
	</td>
	<td><code>2571</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>http.response.status_code
	</td>
	<td><code>200</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>http.version
	</td>
	<td><code>1.1</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>host.hostname
	</td>
	<td><code>webserver-blog-prod</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>message
	</td>
	<td><code>"GET /blog HTTP/1.1" 200 2571</code>
	</td>
	<td>Représentation textuelle des informations importantes de l'événement, qui s'affichent sous forme de résumé succinct via une visionneuse de log.
	</td>
</tr>
<tr>
	<td>service.name
	</td>
	<td><code>Company blog</code>
	</td>
	<td>Le nom que vous avez choisi pour ce service.
	</td>
</tr>
<tr>
	<td>service.type
	</td>
	<td><code>apache</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>source.geo.*
	</td>
	<td>
	</td>
	<td>Champs servant à la géolocalisation.
	</td>
</tr>
<tr>
	<td>source.ip
	</td>
	<td><code>10.42.42.42</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>url.original
	</td>
	<td><code>/blog</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>user.name
	</td>
	<td><code>-</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>user_agent.*
	</td>
	<td>
	</td>
	<td>Champs décrivant l'agent utilisateur.
	</td>
</tr>
</tbody>
</table>
<p>Comme illustré ci-dessus, le log brut est conservé dans le champ <code>event.original</code> d'ECS à des fins d'audit. Remarque&nbsp;: Pour simplifier, cet exemple ne tient pas compte des informations relatives à l'agent Monitoring (qui apparaissent sous <code>agent.*</code>), ni de celles relatives à l'hôte (qui apparaissent sous <code>host.*</code>) et n'affiche pas tous les champs. Pour consulter une représentation plus complète, vous pouvez examiner cet <a href="https://gist.github.com/webmat/fc4902a61abf1cacbd5b717f1a3a6935">exemple d'événement dans JSON</a>.
</p>
<h3>2<sup>e&nbsp;</sup>exemple&nbsp;: Recherche</h3>
<p>Imaginons que vous ayez besoin d'étudier l'activité d'une adresse&nbsp;IP dans toute une pile&nbsp;Web&nbsp;: pare-feu Palo&nbsp;Alto Networks, HAProxy (traité par Logstash), Apache (avec le module Beats), Elastic&nbsp;APM, et pour faire bonne mesure, système de détection d'intrusion Suricata (personnalisé et associé au format EVE JSON de Suricata).
</p>
<p>Avant ECS, la recherche de cette adresse&nbsp;IP ressemblait plus ou moins à ceci&nbsp;:
</p>
<pre class="prettyprint">src:10.42.42.42 OR client_ip:10.42.42.42 OR apache2.access.remote_ip:10.42.42.42 OR context.user.ip:10.42.42.42 OR src_ip:10.42.42.42
</pre>
<p>Mais maintenant que vous pouvez mapper toutes vos sources à ECS, votre recherche devient beaucoup plus simple&nbsp;:
</p>
<pre class="prettyprint">source.ip:10.42.42.42
</pre>
<h3>3<sup>e&nbsp;</sup>exemple&nbsp;: Visualisation</h3>
<p>On voit immédiatement la puissance d'ECS lorsqu'on découvre comment elle peut être appliquée à des données normalisées de façon homogène, bien que provenant de différentes sources de données. Pour détecter les menaces, peut-être monitorez-vous votre pile&nbsp;Web via plusieurs sources de données réseau&nbsp;: un pare-feu Palo&nbsp;Alto nouvelle génération sur le réseau de périmètre, associé au système de détection d'intrusion Suricata, qui génère des événements et des alertes. Comment extraire les champs <code>source.ip</code> et <code>network.direction</code> de chaque message, de manière à permettre une visualisation centralisée dans Kibana et des opérations "drill-down" et "pivot" compatibles avec tous les fournisseurs&nbsp;? Avec ECS, bien sûr. Le monitoring centralisé gagne vraiment en simplicité.
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt71256f06dc672546/5c98d595975fd58f4d12646d/ecs-intro-dashboard-1360.jpg" data-sys-asset-uid="blt71256f06dc672546" alt="Recherche d'adresses&nbsp;IP dans Kibana avec Elastic Common&nbsp;Schema" "="">
</p><figcaption>Recherche de l'adresse&nbsp;IP&nbsp;10.42.42.42</figcaption>
<h2>Avantages d'Elastic Common&nbsp;Schema</h2>
<p>L'implémentation d'ECS permet d'unifier tous les modes d'analyse disponibles dans la Suite&nbsp;Elastic&nbsp;: recherche, opérations "drill-down" et "pivot", visualisation des données, détection des anomalies basée sur Machine&nbsp;Learning, ou encore alerting. Une fois ECS bien adopté, les utilisateurs peuvent mettre toute la puissance des paramètres de recherche structurée et non&nbsp;structurée au service de leurs requêtes. ECS permet aussi de rationaliser la corrélation automatique des données provenant de différentes sources, qu'il s'agisse des différents appareils d'un même fournisseur ou de types de sources de données totalement hétérogènes.
</p>
<p>Autre avantage, vos équipes passent moins de temps à développer du contenu analytique. Et pour cause&nbsp;: au lieu de créer de nouvelles recherches et de nouveaux tableaux de bord chaque fois que vous ajoutez une nouvelle source de données, vous pouvez maintenant continuer d'exploiter vos recherches et tableaux de bord existants. Ajoutons à cela qu'avec ECS, votre environnement adopte bien plus facilement les contenus analytiques fournis par d'autres parties exploitant ECS, qu'il s'agisse d'Elastic, de partenaires ou de projets open&nbsp;source.
</p>
<p>Lorsque vous effectuez des analyses interactives, ECS facilite la mémorisation des noms de champs fréquemment utilisés. En effet, il n'existe qu'un seul ensemble de noms de champs, et non un champ par source de données. Quant aux noms de champs dont vous ne parvenez plus à vous souvenir, ils sont faciles à retrouver (à quelques rares exceptions) par simple déduction, puisque notre spécification utilise une convention d'affectation de noms simplifiée et standardisée.
</p>
<p>Pas envie d'essayer ECS&nbsp;? Aucun souci. ECS est là pour le jour où vous en aurez besoin, mais rien ne vous y oblige.
</p>
<h2>Prise en main d'Elastic Common&nbsp;Schema</h2>
<p>ECS est disponible via un <a href="https://github.com/elastic/ecs">référentiel GitHub public</a>. La spécification est actuellement en version bêta&nbsp;2, mais sa disponibilité générale est prévue pour bientôt. Elle est publiée sous licence open&nbsp;source Apache&nbsp;2.0, ce qui permet son adoption universelle par la communauté Elastic élargie.
</p>
<p><strong></strong>
</p>
<p>Tout cela a l'air automagique&nbsp;–&nbsp;pardon, automatique et totalement magique. En vérité, comme pour tous les schémas, l'implémentation d'ECS n'a rien d'une tâche anodine. Mais si vous avez déjà configuré un modèle d'index Elasticsearch et écrit quelques fonctions de transformation avec Logstash ou le nœud d'ingestion Elasticsearch, vous avez une idée de ce que cela implique. La bonne nouvelle, c'est que dans de futures versions des modules Beats d'Elastic, nous intégrerons des événements formatés pour ECS par défaut, ce qui permettra de rationaliser cette partie de la transition. Le nouveau <a href="/fr/blog/introducing-auditbeat-system-module">module système d'Auditbeat</a> a déjà ouvert la marche, et nous ne nous arrêterons pas là.
</p>
<p>Pour en savoir plus sur ECS, n'hésitez pas à consulter notre <a href="/fr/webinars/introducing-the-elastic-common-schema">webinar Elastic Common&nbsp;Schema (ECS)</a>. Dans de prochains articles de blog, nous aborderons le mapping des données vers ECS (y compris pour les champs non définis dans le schéma), ainsi que les stratégies de migration vers ECS.
</p>
<h2>En savoir plus</h2>
<ul>
	<li><a href="/fr/blog/migrating-to-elastic-common-schema-in-beats-environments">Migration vers Elastic Common Schema (ECS) dans les environnements Beats</a></li>
</ul>

elastic-stack-blog-banner.png

elastic-stack-blog-thumb.png

Introducing the Elastic Common Schema

Lancement d'Elastic Common Schema

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Senior Software Engineer

Mathieu Martin

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p><p>By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.</p>

GDPR Text + Google Cloud

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Mathieu Martin

Senior Software Engineer, Elastic

Migration vers Elastic Common Schema (ECS) dans les environnements Beats

Lancement d'Elastic Common Schema