Elastic Stack AIOps Labs 8.12 introduces the general availability release of log rate analysis, a feature that uses advanced statistical methods to identify reasons for increases or decreases in log rates.

1-aiops-labs-8.12-blog.png

Elasticsearch powered AIOps features

An easy to use user interface for practitioners within Kibana 

2-aiops-labs-8.12-blog.png

Observability and AI Assistant integrations 

138291_-_Blog_header_2_V1.jpg

Elastic Stack AIOps Labs 8.12: GA of log rate analysis

This is the seventh and final blog post in our Strava series. I will take you through a journey of data onboarding, manipulation, and visualization using Strava as a backdrop.

blog-elastic-analysis-classification.png

blog-elastic-total-feature-importance.jpg

blog-elastic-scatterplot_matrix.jpg

blog-elastic-results-total-docs.png

blog-elastic-scatterplot-matrix-fields.png

blog-elastic-total-feature-importance.png

blog-elastic-model-evaluation.png

Check out the other posts in this Strava series:

fao-1200x628-stack-drag-and-drop-white.jpg

From data to insights: Predicting workout types in Strava with Elasticsearch and data frame analytics

This is the sixth blog post in a series of ones to follow. I will take you through a journey of data onboarding, manipulation, and visualization using Strava as a backdrop.

blog-elastic-strava-explain-log-rate-spikes.png

blog-elastic-strava-bar-december.png

blog-elastic-strava-outputs-fields.png

blog-elastic-strava-histogram.png

blog-elastic-strava-pick-fields.png

blog-elastic-strava-single-metric-viewer.png

blog-elastic-strava-anomalies.png

Unlocking insights: How to analyze Strava data with Elastic AIOps

Descubre cómo aplicar anotaciones, una nueva característica en Machine Learning de Elastic para incrementar tus resultados de ML con información personalizada.

Las anotaciones de usuario son una nueva característica de Machine Learning en Elasticsearch disponible a partir de la versión 6.6 en adelante. Estas ofrecen una manera de incrementar tus trabajos de Machine Learning con conocimiento de dominio descriptivo. Cuando ejecutas un trabajo de Machine Learning, tu algoritmo intenta encontrar anomalías, pero no sabe de qué se tratan los datos en sí.&nbsp;El trabajo no sabría, por ejemplo, si está tratando con uso de CPU o con rendimiento de red. Las anotaciones de usuario ofrecen una manera de incrementar los resultados con el conocimiento que tú tienes como usuario de los datos.&nbsp;
En este blog, te mostraremos cómo funcionan las anotaciones de usuario y cómo aplicarlas a diferentes casos de uso. Analizaremos datos de <a href="https://apps.tirol.gv.at/hydro/#/Wasserstand/?station=201525" target="_BLANK">Hydro Online</a>, un portal de datos abierto ejecutado por el gobierno local&nbsp;de Austria. Hydro Online&nbsp;ofrece una interfaz para investigar datos de sensores meteorológicos como acumulación de precipitaciones, altura de los ríos o totales de nieve acumulada. Como se describe en uno de nuestros <a href="/es/blog/importing-csv-and-log-data-into-elasticsearch-with-file-data-visualizer">blogs anteriores</a>, el visualizador de datos de archivos ofrece una manera robusta de ingestar datos a partir de datos CSV, como en este caso.
<h2>Uso</h2>Comencemos por un trabajo de una sola métrica que analiza las mediciones de altura del río Grossache que atraviesa la localidad de Kössen. Una vez creado el trabajo, el visualizador Single Metric Viewer puede usarse para agregar anotaciones a los resultados del análisis. Simplemente arrastra por encima de un rango de horas en el gráfico para crear una anotación. Aparecerá un elemento flotante a la derecha que te permite agregar una descripción personalizada. En el ejemplo a continuación, anotamos una altura anómala del río (se produjo una inundación importante en esa fecha). Al crear la anotación, puedes poner esa información a disposición de otros usuarios.
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltb1c486237bfd181d/5cb5a5433aebf35f29365dab/download" data-sys-asset-uid="bltb1c486237bfd181d" alt="" "="">
La anotación queda visible en el mismo gráfico y en la tabla Anotaciones debajo de este. La etiqueta visible en la primera columna de la tabla puede usarse para identificar la anotación en el gráfico. Estas etiquetas se crean de manera dinámica para las anotaciones en pantalla. Al desplazar el puntero sobre una fila en la tabla Anotaciones, la anotación correspondiente también se resaltará en el gráfico que está arriba de esta.
También se puede acceder a las anotaciones creadas para cada trabajo desde la página Administración de trabajos, donde se muestran en su propia pestaña al expandir una fila en la lista de trabajos. Cada anotación en la tabla incluye un enlace en la columna derecha, que te lleva de nuevo al visualizador Single Metric Viewer con un enfoque en el intervalo de tiempo que cubre la anotación. Estos enlaces permanentes también pueden compartirse con los demás. Esto significa que puedes usar las anotaciones para crear marcadores sobre determinadas anomalías para revisarlas más adelante.
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltccdf9900f2d7720d/5cb5a564b790c01122391df1/download" data-sys-asset-uid="bltccdf9900f2d7720d" alt="" "="">
Si hay varias anotaciones que cubren el mismo intervalo de tiempo, las anotaciones se distribuirán en forma vertical en el gráfico para evitar que se superpongan. Para editar o eliminar una anotación, simplemente haz clic en ella en el gráfico. El elemento flotante volverá a abrirse a la derecha, donde podrás editar el texto o eliminar la anotación. Desde la versión 6.7 en adelante, esto también puede hacerse con el botón Editar en la tabla Anotaciones, lo cual hace que esta funcionalidad también esté disponible desde la página Administración de trabajos.
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltb137bc3438e7860b/5cb5a583791abe5a29a1d4f5/download" data-sys-asset-uid="bltb137bc3438e7860b" alt="" "="">
Ahora que hemos cubierto la funcionalidad básica de cómo crear y trabajar con anotaciones de usuario, veamos otros casos de uso.
<h2>Uso de anotaciones para verificar anomalías previstas</h2>Las anotaciones pueden usarse para proporcionar datos reales para verificar si un trabajo de Machine Learning produce los resultados esperados. En el siguiente ejemplo, estamos viendo nuevamente los datos de nivel del río desde <a href="https://apps.tirol.gv.at/hydro/#/Wasserstand/?station=201525" target="_BLANK">Hydro Online</a> y nos enfocamos ahora en superponer automáticamente los eventos históricos como anotaciones en los resultados de anomalías. Como científico de datos, por ejemplo, tu trabajo podría incluir obtener y preparar tanto los datos de origen que deseas analizar como el conjunto de datos para verificar los resultados.
Para nuestro propio análisis, necesitamos el conjunto de datos sin procesar.
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blte10b1840268283bc/5cb5a5a382d7ee1622f86b1a/download" data-sys-asset-uid="blte10b1840268283bc" alt="" "=""> 
Afortunadamente, en este caso, además de investigar datos a través de la interfaz web, también podemos descargar datos históricos para un análisis más profundo. Para este ejemplo usaremos los <a href="https://ehyd.gv.at/eHYD/MessstellenExtraData/owf?id=202382&file=8">datos de altura del río</a> del río Grossache medidos en el punto de medición “Huette”. Las anotaciones que cubren los datos reales deseados se crearán a partir de un <a href="https://www.tirol.gv.at/fileadmin/themen/umwelt/wasserkreislauf/wasserstand/downloads/Tafeln_Koessen_Huette.pdf" target="_BLANK">documento que describe alturas severas del río e inundaciones</a>.
<table style="width: 100%">
<tbody>
<tr>
	<td style="border: 0px; width: 50%">
		<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltf6aa0ed4408c2c99/5cb5a6dc3e0de5c323b87308/download" data-sys-asset-uid="bltf6aa0ed4408c2c99" alt="" "="">
	</td>
	<td style="border: 0px; width: 50%">
		<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt7c57cde13dd3e014/5cb5a5d6791abe5a29a1d4fb/download" data-sys-asset-uid="blt7c57cde13dd3e014" alt="" "="">
	</td>
</tr>
</tbody>
</table>Además de usar la UI descrita anteriormente, las anotaciones de Machine Learning se almacenan como documentos en un índice de Elasticsearch estándar diferente.&nbsp;Las anotaciones también pueden crearse de forma programática o manual usando las API de Elasticsearch estándares. Las anotaciones se almacenan en un índice de versión específica, y deben ser accesibles a través de los alias <code>.ml-annotations-read</code> y <code>.ml-annotations-write</code>. Para este ejemplo, agregaremos anotaciones para reflejar los eventos históricos del río antes de crear nuestro trabajo de Machine Learning.
<pre class="prettyprint">{
 "_index":".ml-annotations-6",
 "_type":"_doc",
 "_id":"DGNcAmoBqX9tiPPqzJAQ",
 "_score":1.0,
 "_source":{
 "timestamp":1368870463669,
 "end_timestamp":1371015709121,
 "annotation":"2013 June; 770 m3/s; 500 houses flooded.",
 "job_id":"annotations-leukental-4d-1533",
 "type":"annotation",
 "create_time":1554817797135,
 "create_username":"elastic",
 "modified_time":1554817797135,
 "modified_username":"elastic"
 }
}
</pre>Ahora crearemos un trabajo de Machine Learning para encontrar anomalías en la altura máxima del río usando un nombre que coincida con el campo <code>job_id</code> desde la anotación anterior para que detecte las anotaciones creadas de forma manual. Así es como se ve este trabajo en el asistente Single Metric una vez que realizamos la ingesta de los datos históricos del río en un índice de Elasticsearch:
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt1787a021b6855637/5cb5a71fb790c01122391e1f/download" data-sys-asset-uid="blt1787a021b6855637" alt="" "="">
El aspecto importante aquí es que el nombre del trabajo que elijamos coincida con el que se usó para las anotaciones. Una vez que ejecutamos el trabajo y pasamos al visualizador Single Metric Viewer, deberíamos ver las anotaciones correspondientes a las anomalías en la altura del río que detectó el trabajo de Machine Learning:
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt28e9133b42e9986b/5cb5a73830313775298d66b2/download" data-sys-asset-uid="blt28e9133b42e9986b" alt="image9.png">
Esta técnica ofrece una excelente manera de verificar si el análisis que estás ejecutado es válido en comparación con los datos de validación preexistentes almacenados como anotaciones.
<h2>Anotaciones para eventos del sistema</h2>Además de las anotaciones generadas por el usuario anteriores, el backend de Machine Learning crea automáticamente anotaciones en algunas circunstancias para los eventos del sistema.
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt26871e9e546a8b1c/5cb5a74c3e0de5c323b87310/download" data-sys-asset-uid="blt26871e9e546a8b1c" alt="" "="">
La captura de pantalla anterior muestra un ejemplo de una anotación creada de forma automática. En este caso, se ejecutó un trabajo de Machine Learning en tiempo real, pero la ingesta de datos no pudo estar al nivel de la tasa de ingesta requerida para el trabajo. Esto significa que los documentos se agregaron al índice después de que el trabajo ejecutó su análisis en el depósito. La anotación creada automáticamente resalta este problema que antes era difícil de detectar y depurar. Las características del texto de la anotación detallan el problema identificado y brindan una sugerencia sobre cómo resolverlo, en este caso, aumentando la configuración de query_delay.
<h2>Integración de alertas</h2>Incluso antes de que las anotaciones de usuario para Machine Learning estuvieran disponibles, se podía usar <a href="/guide/en/x-pack/current/watcher-getting-started.html">Watcher</a> para crear alertas con base en las anomalías identificadas por los trabajos de Machine Learning. Si bien esta es una gran mejora en comparación con las alertas sobre umbrales básicos, es posible que las alertas sean demasiado granulares para el grupo de destino que recibe las alertas. Como usuario de trabajos de Machine Learning, las anotaciones pueden proporcionarte una manera de seleccionar lo que se activa como alertas de Watcher y lo que se transmite a otros interesados. Dado que las anotaciones se almacenan en su propio índice de Elasticsearch, puedes usar Watcher para simplemente reaccionar a documentos recién creados en ese índice y activar notificaciones. Watcher también puede configurarse para <a href="/guide/en/watcher/current/configuring-slack.html">enviar alertas a un canal de Slack</a>. La siguiente configuración te brinda un ejemplo sobre cómo crear una inspección para activar mensajes de Slack cuando se crea una nueva anotación:
<pre class="prettyprint">{
 "trigger": {
 "schedule": {
 "interval": "5s"
 }
 },
 "input": {
 "search": {
 "request": {
 "search_type": "query_then_fetch",
 "indices": [
 ".ml-annotations-read"
 ],
 "rest_total_hits_as_int": true,
 "body": {
 "size": 1,
 "query": {
 "range": {
 "create_time": {
 "gte": "now-9s"
 }
 }
 },
 "sort": [
 {
 "create_time": {
 "order": "desc"
 }
 }
 ]
 }
 }
 }
 },
 "condition": {
 "compare": {
 "ctx.payload.hits.total": {
 "gte": 1
 }
 }
 },
 "actions": {
 "notify-slack": {
 "transform": {
 "script": {
 "source": "def payload = ctx.payload; DateFormat df = new SimpleDateFormat(\"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'\"); payload.timestamp_formatted = df.format(Date.from(Instant.ofEpochMilli(payload.hits.hits.0._source.timestamp))); payload.end_timestamp_formatted = df.format(Date.from(Instant.ofEpochMilli(payload.hits.hits.0._source.end_timestamp))); return payload",
 "lang": "painless"
 }
 },
 "throttle_period_in_millis": 10000,
 "slack": {
 "message": {
 "to": [
 "#&lt;slack-channel&gt;"
 ],
 "text": "New Annotation for job *{{ctx.payload.hits.hits.0._source.job_id}}*: {{ctx.payload.hits.hits.0._source.annotation}}",
 "attachments": [
 {
 "fallback": "View in Single Metric Viewer http://&lt;kibana-host&gt;:5601/app/ml#/timeseriesexplorer?_g=(ml:(jobIds:!({{ctx.payload.hits.hits.0._source.job_id}})),refreshInterval:(pause:!t,value:0),time:(from:'{{ctx.payload.timestamp_formatted}}',mode:absolute,to:'{{ctx.payload.end_timestamp_formatted}}'))&_a=(filters:!(),mlSelectInterval:(interval:(display:Auto,val:auto)),mlSelectSeverity:(threshold:(color:%23d2e9f7,display:warning,val:0)),mlTimeSeriesExplorer:(zoom:(from:'{{ctx.payload.timestamp_formatted}}',to:'{{ctx.payload.end_timestamp_formatted}}')),query:(query_string:(analyze_wildcard:!t,query:'*')))",
 "actions": [
 {
 "name": "action_name",
 "style": "primary",
 "type": "button",
 "text": "View in Single Metric Viewer",
 "url": "http://&lt;kibana-host&gt;:5601/app/ml#/timeseriesexplorer?_g=(ml:(jobIds:!({{ctx.payload.hits.hits.0._source.job_id}})),refreshInterval:(pause:!t,value:0),time:(from:'{{ctx.payload.timestamp_formatted}}',mode:absolute,to:'{{ctx.payload.end_timestamp_formatted}}'))&_a=(filters:!(),mlSelectInterval:(interval:(display:Auto,val:auto)),mlSelectSeverity:(threshold:(color:%23d2e9f7,display:warning,val:0)),mlTimeSeriesExplorer:(zoom:(from:'{{ctx.payload.timestamp_formatted}}',to:'{{ctx.payload.end_timestamp_formatted}}')),query:(query_string:(analyze_wildcard:!t,query:'*')))"
 }
 ]
 }
 ]
 }
 }
 }
 }
}
</pre>En la configuración anterior, simplemente reemplaza <code>&lt;slack-channel&gt;</code> y <code>&lt;kibana-host&gt;</code> por tu configuración y úsala para crear una <a href="/guide/en/kibana/current/watcher-create-advanced-watch.html">inspección avanzada</a>. Una vez que todo esté configurado, deberás recibir una notificación de Slack cada vez que crees una nueva anotación, incluido el texto de la anotación y un enlace a Single Metric Viewer.
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt8fc884c15ecd2fcf/5cb5a765fe8386be234acb7e/download" data-sys-asset-uid="blt8fc884c15ecd2fcf" width="650">
<h2>Resumen</h2>En este blog, presentamos la nueva característica de anotaciones para Machine Learning de Elasticsearch. Esta puede usarse para agregar anotaciones a través de la UI y para anotaciones del sistema activadas a través de tareas de backend. Estas anotaciones están disponibles como marcadores a través de la página Administración de trabajos y pueden compartirse con otras personas en forma de enlaces. Las anotaciones pueden crearse de forma programática desde datos externos para usarse como superposición de datos reales para las anomalías detectadas. Finalmente, en combinación con Watcher y la acción de demora en Elasticsearch, hemos visto cómo las anotaciones pueden usarse para enviar alertas seleccionadas. Diviértete con las anotaciones y búscanos en los <a href="https://discuss.elastic.co/">foros de debate</a>&nbsp;si tienes alguna pregunta.

ml-annotations-header-optimized.jpg

ml-annotation-edit-thumbnail.png

User annotations for Elastic machine learning

Anotaciones de usuario para Machine Learning de Elastic

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Walter Rafelsberger

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

El contenido de esta página no está disponible en el idioma seleccionado. Elastic está trabajando para garantizar que el contenido esté disponible en varios idiomas. Gracias por tu paciencia mientras trabajamos.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/elastic-cloud-account-terms" target="_self">Condiciones de servicio</a>, y que acepta recibir las <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">comunicaciones seleccionadas</a> en los detalles de contacto que proporcionó anteriormente. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/serverless-preview-terms" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Al enviar esta información, aceptas los <a href="/es/agreements/global/cloud-services-monthly" rel="nofollow">Términos de servicio de Elastic</a>. Los datos personales se procesarán de conformidad con la <a href="/es/legal/privacy-statement">declaración de privacidad de Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/terms-of-use" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.

Hosted by

All Solutions

Follow us on Youtube

Watch now (no PT)

Articles by

Share by Email

Filters

All (no PT translation)

Contact information

See when this webinar starts in my time zone

Ver cuándo comienza este webinar en mi zona horaria

Thank you for your interest!

Register to Attend

Small image for

Register to Watch

Continue reading

Featured webinar

What to explore next...

Reset all

Load more press releases

Sign In to Attend

Share

Upcoming webinar

Learn more

Search Integrations

Share on Reddit

Share on Twitter

Share on Facebook

Load more news

View more posts

On-demand webinar

Follow us on Facebook

Author

Press Release

You'll also receive an email with related content.

You'll also receive an email with related content

Además, te enviaremos contenidos relevantes

Print

Contact Info

Overview

Video for

Read less

Register now

Share this story

See All Posts

See all top stories

View next

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

¿No puedes asistir? Regístrate y te enviaremos la grabación. También recibirás un correo electrónico con contenido relacionado.

Follow us on LinkedIn

Highlights

Explore similar demos

Follow us on Twitter

Share on LinkedIn

Load More

See more insights

Speakers

Close

Thank you for registering. We will send you a confirmation email soon.

Gracias por registrarte. Te enviaremos un correo electrónico de confirmación pronto.

Author

Articles by Walter Rafelsberger

Elastic Stack AIOps Labs 8.12: GA of log rate analysis

From data to insights: Predicting workout types in Strava with Elasticsearch and data frame analytics

Unlocking insights: How to analyze Strava data with Elastic AIOps

Anotaciones de usuario para Machine Learning de Elastic

Sign up for Elastic Cloud free trial