Une nouvelle fonctionnalité qui permet de renforcer vos résultats de machine learning avec les informations dont vous disposez sur vos données, ça vous tente ?

Les annotations utilisateur sont une nouvelle fonctionnalité de machine learning dans Elasticsearch, proposées à partir de la version&nbsp;6.6. Elles permettent de renforcer vos tâches de machine learning à l’aide de connaissances descriptives sur le domaine. Lorsque vous exécutez une tâche de machine learning, son algorithme essaye de repérer les anomalies. Néanmoins, il ne sait rien sur les données en tant que telles.&nbsp;La tâche ne sait pas, par exemple, si elle traite des informations sur l’utilisation du processeur ou sur le débit du réseau. C’est là que les annotations s’avèrent utiles. Elles viennent renforcer les connaissances sur les données, dont vous disposez en tant qu’utilisateur.&nbsp;

Dans cet article, nous allons nous pencher sur le fonctionnement des annotations utilisateur et sur leur application dans différents cas d'utilisation. Nous analyserons des données venant d’<a href="https://apps.tirol.gv.at/hydro/#/Wasserstand/?station=201525" target="_BLANK">Hydro&nbsp;Online</a>, un portail de données libre géré par le gouvernement local du Tyrol en Autriche. Hydro Online propose une interface pour examiner les données issues de capteurs météorologiques, tels que le volume des précipitations, le niveau des rivières ou la quantité de neige. Comme décrit dans l’un de nos <a href="/fr/blog/importing-csv-and-log-data-into-elasticsearch-with-file-data-visualizer">articles précédents</a>, File Data Visualizer (Visualiseur de données pour les fichiers) permet d’ingérer les données issues de fichiers CSV, comme c’est le cas ici.

<h2>Utilisation</h2>
Démarrons avec une tâche à indicateur unique, qui analyse les mesures du niveau de la rivière Grossache qui traverse le village de Kössen. Une fois la tâche créée, Single Metric Viewer peut servir à ajouter des annotations aux résultats de l’analyse. Pour créer une annotation, faites tout simplement glisser une plage de temps dans le graphique. Un élément contextuel s’affiche à droite&nbsp;: vous pouvez y ajouter une description personnalisée. Dans l’exemple ci-dessous, nous créons une annotation pour un niveau inhabituel de la rivière (il y a eu une grave inondation à cette date). Avec cette annotation, vous partagez vos connaissances avec les autres utilisateurs.

<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltb1c486237bfd181d/5cb5a5433aebf35f29365dab/download" data-sys-asset-uid="bltb1c486237bfd181d" alt="" "="">

L’annotation est visible directement dans le graphique ainsi que dans le tableau des annotations en dessous. L’étiquette visible dans la première colonne du tableau permet d’identifier l’annotation dans le graphique. Ces étiquettes se créent de façon dynamique pour les annotations affichées. Lorsque vous survolez une ligne dans le tableau des annotations, l’annotation correspondante est mise en surbrillance dans le graphique.

Pour chaque tâche, les annotations créées sont également accessibles sur la page Job Management (Gestion des tâches). Pour cela, il faut développer la ligne correspondante dans la liste des tâches. Chaque annotation du tableau comprend un lien dans la colonne de droite, qui vous renvoie vers Single Metric Viewer, en ciblant la plage de temps couverte par l’annotation. Ces liens permanents peuvent être également partagés avec d’autres utilisateurs. Vous pouvez donc utiliser les annotations pour créer des signets sur des anomalies spécifiques afin d’y revenir ultérieurement.

<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltccdf9900f2d7720d/5cb5a564b790c01122391df1/download" data-sys-asset-uid="bltccdf9900f2d7720d" alt="" "="">

S’il y a plusieurs annotations pour une même plage de temps, elles seront affichées verticalement dans le graphique pour ne pas se chevaucher. Pour modifier ou supprimer une annotation, cliquez tout simplement dans le graphique. L’élément contextuel s’ouvre à nouveau à droite. Vous pouvez y modifier le texte ou supprimer l’annotation. À partir de la version&nbsp;6.7, vous pouvez également utiliser le bouton de modification du tableau des annotations. Cette fonctionnalité est disponible aussi sur la page Job Management (Gestion des tâches).

<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltb137bc3438e7860b/5cb5a583791abe5a29a1d4f5/download" data-sys-asset-uid="bltb137bc3438e7860b" alt="" "="">

Maintenant que nous avons vu la théorie, passons à la pratique avec quelques cas d'utilisation.

<h2>Utilisation des annotations pour vérifier les anomalies prévues</h2>
Les annotations peuvent servir de référence pour vérifier si une tâche de machine learning génère les résultats attendus. Dans l’exemple suivant, nous étudions là encore les données sur le niveau de la rivière fournies par <a href="https://apps.tirol.gv.at/hydro/#/Wasserstand/?station=201525" target="_BLANK">Hydro Online</a>. Notre objectif est de superposer les événements historiques sous forme d’annotations dans les résultats des anomalies. En tant que data scientist, par exemple, vous pouvez être amené à recueillir et à préparer les données source que vous souhaitez analyser ainsi que l’ensemble de données pour vérifier les résultats.

Dans le cadre de notre analyse, nous avons besoin de l’ensemble de données intégral.

<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blte10b1840268283bc/5cb5a5a382d7ee1622f86b1a/download" data-sys-asset-uid="blte10b1840268283bc" alt="" "=""> 

Heureusement, dans notre cas, en plus de pouvoir travailler sur les données via l’interface web, nous pouvons aussi télécharger les données historiques pour approfondir notre analyse. Pour cet exemple, nous utiliserons les <a href="https://ehyd.gv.at/eHYD/MessstellenExtraData/owf?id=202382&file=8">données sur le niveau</a> de la rivière Grossache mesurées au point «&nbsp;Huette&nbsp;». Les annotations servant à déterminer la référence seront créées à partir d’un <a href="https://www.tirol.gv.at/fileadmin/themen/umwelt/wasserkreislauf/wasserstand/downloads/Tafeln_Koessen_Huette.pdf" target="_BLANK">document décrivant les niveaux préoccupants de la rivière et les inondations</a>.

<table style="width: 100%">
<tbody>
<tr>
	<td style="border: 0px; width: 50%">
		<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltf6aa0ed4408c2c99/5cb5a6dc3e0de5c323b87308/download" data-sys-asset-uid="bltf6aa0ed4408c2c99" alt="" "="">
	</td>
	<td style="border: 0px; width: 50%">
		<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt7c57cde13dd3e014/5cb5a5d6791abe5a29a1d4fb/download" data-sys-asset-uid="blt7c57cde13dd3e014" alt="" "="">
	</td>
</tr>
</tbody>
</table>
Outre l’utilisation de l’interface utilisateur précédemment décrite, les annotations de machine learning sont stockées sous forme de documents dans un index Elasticsearch standard distinct.&nbsp;Les annotations peuvent être également créées par le biais d’un programme ou de façon manuelle à l’aide des API Elasticsearch standard. Les annotations sont stockées dans un index spécifique à la version, et accessibles avec les alias <code>.ml-annotations-read</code> et <code>.ml-annotations-write</code>. Pour cet exemple, nous allons ajouter des annotations afin d’indiquer les événements historiques que la rivière a connus avant de créer notre tâche de machine learning.

<pre class="prettyprint">{
 "_index":".ml-annotations-6",
 "_type":"_doc",
 "_id":"DGNcAmoBqX9tiPPqzJAQ",
 "_score":1.0,
 "_source":{
 "timestamp":1368870463669,
 "end_timestamp":1371015709121,
 "annotation":"2013 June; 770 m3/s; 500 houses flooded.",
 "job_id":"annotations-leukental-4d-1533",
 "type":"annotation",
 "create_time":1554817797135,
 "create_username":"elastic",
 "modified_time":1554817797135,
 "modified_username":"elastic"
 }
}
</pre>
À présent, nous allons créer une tâche de machine learning pour repérer les anomalies par rapport au niveau maximal de la rivière. Nous utiliserons un nom qui corresponde au champ <code>job_id</code> de l’annotation ci-dessus, afin qu’il relève les annotations créées manuellement. Voici la façon dont se présente la tâche dans l’assistant Single Metric, après que nous avons ingéré les données historiques de la rivière dans un index Elasticsearch&nbsp;:

<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt1787a021b6855637/5cb5a71fb790c01122391e1f/download" data-sys-asset-uid="blt1787a021b6855637" alt="" "="">

Ici, l’important, c’est que le nom de la tâche que nous choisissons corresponde à celui utilisé pour les annotations. Lorsque nous exécutons la tâche et que nous lançons Single Metric Viewer, nous devrions voir les annotations correspondant aux niveaux de rivière inhabituels que la tâche de machine learning a détectés&nbsp;:

<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt28e9133b42e9986b/5cb5a73830313775298d66b2/download" data-sys-asset-uid="blt28e9133b42e9986b" alt="image9.png">

Cette technique est idéale pour vérifier si l’analyse que vous effectuez est valide lorsqu’on la compare aux données de validation pré-existantes stockées en tant qu’annotations.

<h2>Annotations pour les événements système</h2>
En plus des annotations générées par l’utilisateur, le système back-end du machine learning crée des annotations pour les événements système dans certaines circonstances.

<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt26871e9e546a8b1c/5cb5a74c3e0de5c323b87310/download" data-sys-asset-uid="blt26871e9e546a8b1c" alt="" "="">

La capture d’écran ci-dessus présente un exemple d’annotation automatiquement créée. Dans ce cas, une tâche de machine learning en temps réel a été exécutée, mais l’ingestion de données n’a pas pu suivre le rythme demandé. De ce fait, les documents ont été ajoutés à l’index après que la tâche a exécuté son analyse sur la plage de temps. L’annotation automatiquement créée met en avant ce problème qui, jusque-là, était difficile à repérer et à déboguer. Les fonctionnalités de texte d’annotation détaillent le problème identifié et suggèrent des méthodes de résolution (dans ce cas, augmenter le paramètre query_delay).

<h2>Intégration de l’alerting</h2>
Avant que les annotations utilisateur soient mises en place pour le machine learning, vous pouviez utiliser <a href="/guide/en/x-pack/current/watcher-getting-started.html">Watcher</a> pour créer des alertes en fonction des anomalies identifiées par les tâches de machine learning. Même s’il s’agit d’une grande amélioration par rapport à l’alerting basé sur des seuils, les alertes peuvent être trop granulaires pour le groupe cible qui les reçoit. En tant qu’utilisateur de tâches de machine learning, vous pouvez vous servir des annotations pour traiter les événements déclenchés en tant qu’alertes Watcher ou transférés à d’autres parties prenantes. Étant donné que les annotations sont stockées dans leur propre index Elasticsearch, vous pouvez utiliser Watcher pour simplement réagir aux documents venant d’être créés dans cet index et déclencher des notifications. Watcher peut être aussi configuré pour <a href="/guide/en/watcher/current/configuring-slack.html">envoyer des alertes via Slack</a>. La configuration suivante vous donne un exemple sur la façon d’appliquer un système de surveillance pour déclencher des messages Slack lorsqu’une nouvelle annotation est créée&nbsp;:

<pre class="prettyprint">{
 "trigger": {
 "schedule": {
 "interval": "5s"
 }
 },
 "input": {
 "search": {
 "request": {
 "search_type": "query_then_fetch",
 "indices": [
 ".ml-annotations-read"
 ],
 "rest_total_hits_as_int": true,
 "body": {
 "size": 1,
 "query": {
 "range": {
 "create_time": {
 "gte": "now-9s"
 }
 }
 },
 "sort": [
 {
 "create_time": {
 "order": "desc"
 }
 }
 ]
 }
 }
 }
 },
 "condition": {
 "compare": {
 "ctx.payload.hits.total": {
 "gte": 1
 }
 }
 },
 "actions": {
 "notify-slack": {
 "transform": {
 "script": {
 "source": "def payload = ctx.payload; DateFormat df = new SimpleDateFormat(\"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'\"); payload.timestamp_formatted = df.format(Date.from(Instant.ofEpochMilli(payload.hits.hits.0._source.timestamp))); payload.end_timestamp_formatted = df.format(Date.from(Instant.ofEpochMilli(payload.hits.hits.0._source.end_timestamp))); return payload",
 "lang": "painless"
 }
 },
 "throttle_period_in_millis": 10000,
 "slack": {
 "message": {
 "to": [
 "#&lt;slack-channel&gt;"
 ],
 "text": "New Annotation for job *{{ctx.payload.hits.hits.0._source.job_id}}*: {{ctx.payload.hits.hits.0._source.annotation}}",
 "attachments": [
 {
 "fallback": "View in Single Metric Viewer http://&lt;kibana-host&gt;:5601/app/ml#/timeseriesexplorer?_g=(ml:(jobIds:!({{ctx.payload.hits.hits.0._source.job_id}})),refreshInterval:(pause:!t,value:0),time:(from:'{{ctx.payload.timestamp_formatted}}',mode:absolute,to:'{{ctx.payload.end_timestamp_formatted}}'))&_a=(filters:!(),mlSelectInterval:(interval:(display:Auto,val:auto)),mlSelectSeverity:(threshold:(color:%23d2e9f7,display:warning,val:0)),mlTimeSeriesExplorer:(zoom:(from:'{{ctx.payload.timestamp_formatted}}',to:'{{ctx.payload.end_timestamp_formatted}}')),query:(query_string:(analyze_wildcard:!t,query:'*')))",
 "actions": [
 {
 "name": "action_name",
 "style": "primary",
 "type": "button",
 "text": "View in Single Metric Viewer",
 "url": "http://&lt;kibana-host&gt;:5601/app/ml#/timeseriesexplorer?_g=(ml:(jobIds:!({{ctx.payload.hits.hits.0._source.job_id}})),refreshInterval:(pause:!t,value:0),time:(from:'{{ctx.payload.timestamp_formatted}}',mode:absolute,to:'{{ctx.payload.end_timestamp_formatted}}'))&_a=(filters:!(),mlSelectInterval:(interval:(display:Auto,val:auto)),mlSelectSeverity:(threshold:(color:%23d2e9f7,display:warning,val:0)),mlTimeSeriesExplorer:(zoom:(from:'{{ctx.payload.timestamp_formatted}}',to:'{{ctx.payload.end_timestamp_formatted}}')),query:(query_string:(analyze_wildcard:!t,query:'*')))"
 }
 ]
 }
 ]
 }
 }
 }
 }
}
</pre>
Dans la configuration ci-dessus, remplacez simplement <code>&lt;slack-channel&gt;</code> et <code>&lt;kibana-host&gt;</code> par vos paramètres, puis utilisez cette configuration pour créer un <a href="/guide/en/kibana/current/watcher-create-advanced-watch.html">système de surveillance avancé</a>. Lorsque tout est bien défini, vous devriez recevoir une notification Slack à chaque fois que vous créez une annotation, contenant le texte de l’annotation et un lien de retour vers Single Metric Viewer.

<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt8fc884c15ecd2fcf/5cb5a765fe8386be234acb7e/download" data-sys-asset-uid="blt8fc884c15ecd2fcf" width="650">

<h2>Résumé</h2>
Dans cet article, nous avons abordé la nouvelle fonctionnalité des annotations pour le machine learning dans Elasticsearch. Cette fonctionnalité permet d’ajouter des annotations via l’interface utilisateur et peut être utilisée pour les annotations système déclenchées via les tâches de back-end. Ces annotations sont disponibles en tant que signets via la page Job Management (Gestion des tâches). Elles peuvent être partagées sous forme de liens avec d’autres utilisateurs. Les annotations peuvent être créées par des programmes à partir de données externes. Elles serviront alors de référence à laquelle comparer les anomalies détectées. Pour finir, avec Watcher et l’action de Slack dans Elasticsearch, nous avons vu comment utiliser les annotations pour prendre en charge l’alerting. Amusez-vous bien avec les annotations&nbsp;! Et si vous avez des questions, rendez-vous sur nos <a href="https://discuss.elastic.co/">forums de discussion</a>.

ml-annotations-header-optimized.jpg

ml-annotation-edit-thumbnail.png

User annotations for Elastic machine learning

Annotations utilisateur pour le machine learning dans Elastic

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Walter Rafelsberger

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Walter Rafelsberger

Annotations utilisateur pour le machine learning dans Elastic

Sign up for Elastic Cloud free trial