¿Qué son los controles variables?

Si has trabajado antes con los dashboards de Kibana, probablemente conozcas nuestros controles clásicos de dashboard: esos prácticos menús desplegables que muestran valores de tus datos para que puedas aplicar filtros con un par de clics.

A simple vista, los controles variables son parecidos , pero tienen un giro ingenioso: en lugar de filtrar automáticamente cada panel en tu dashboard, pueden conectarse directamente a búsquedas ES|QL dentro de visualizaciones individuales.

Eso significa que tú decides dónde se aplica cada control. Y aún más, puedes usarlos para todo tipo de trucos creativos, como ajustar intervalos de tiempo, cambiar campos de desglose o modificar parámetros de visualización en el momento. Básicamente, ofrecen a tus dashboards una experiencia realmente interactiva, lo que permite obtener tu información de manera más rápida y fácil.

Casos de uso para controles variables

Muy bien, los controles variables parecen útiles, pero ¿para qué sirven realmente? A continuación se muestran algunos ejemplos de cómo mejorar tus dashboards:

Filtrar visualizaciones seleccionadas.

¿Quieres filtrar algunas visualizaciones sin cambiar otras? Los controles de variables te permiten hacer exactamente eso. Selecciona los paneles a los que deseas responder y conéctalos en las búsquedas de ES|QL detrás de tus visualizaciones.

Selecciona diferentes intervalos de tiempo

Otorga a tus usuarios el poder de cambiar entre “5 minutos”, “1 hora”, “1 día” o cualquier cubeta de tiempo que tenga sentido. Crea un control variable con intervalos predefinidos y conéctalo a tu búsqueda de series temporales.

Cambiar funciones

En lugar de crear múltiples gráficos para cada operación, permite que los usuarios del dashboard elijan si quieren ver el máximo, el promedio, diferentes percentiles o cualquier otro agregador.

Agrupar por diferentes campos

A veces necesitas desglosar los datos por diferentes dimensiones durante una investigación. Con controles variables, puedes definir múltiples campos “agrupar por” y permitir que los usuarios del dashboard elijan cuál les permite descubrir su información.

¿Cómo puedes crearlos?

La manera más sencilla (y probablemente más amena) de crear un control de variable es directamente desde el editor de búsquedas ES|QL en tu visualización. Simplemente comienza a escribir tu búsqueda, usa el menú de autocompletado y Kibana configurará el control de una manera que te resulte útil.

Pero si prefieres empezar desde la variable en sí, también puedes ir a: Agregar panel → Controles → Control de variables y agregar la variable a tus visualizaciones después de crear el control.

Ejemplo 1: Control de filtrado con selección de múltiples valores.

1. Elija una visualización que se realice a partir de una búsqueda ES|QL y haga clic en “Crear control” dentro de la cláusula WHERE.

2. Serás redirigido automáticamente al elemento flotante de creación de variables, donde se seleccionará el tipo “Valores de una búsqueda” para ti, y el nombre de la variable ya estará previamente completado. Recuerda que el nombre de un control siempre debe comenzar con “?...” para que funcione en la búsqueda de visualización.

Normalmente necesitarás una búsqueda como esta para obtener los valores de un campo y actualizarlos según el rango de tiempo seleccionado en el dashboard:

3. Al guardar el control, lo verás aparecer en la parte superior del dashboard y tu búsqueda de visualización se actualizará con el nombre del control variable.

4. Si deseas agregar una selección de valores múltiples al control, debes usar la función MV_CONTAINS en la búsqueda y seleccionar “Permitir selecciones múltiples” durante la creación del control en el paso 2 (disponible desde la versión 9.3).

Ejemplo 2: Control de intervalos de tiempo.

Si estás creando una serie temporal, puedes agregar fácilmente un control variable en el intervalo de histograma de fecha:

1. Cuando escribas una búsqueda ES|QL para tu serie temporal, haz clic en “Crear control”. Al construir una variable para intervalos, es mejor usar TBUCKET en lugar de BUCKET para que acepte intervalos más legibles como “1 hora”, “1 día”, etc. Pronto habrá una opción automática para TBUCKET que se adaptará automáticamente a los intervalos de tiempo.

2. Define los intervalos para completar las opciones en el menú desplegable.

3. Selecciona diferentes intervalos en el menú desplegable y observa cómo cambia tu visualización.

Ejemplo 3: variables para funciones

1. Crea una variable usando el tipo de control “Valores estáticos” y agrega nombres de funciones a los valores de tu menú desplegable. Es importante usar un nombre para la variable que comience con “??...” para reemplazar funciones.

2. Incluye el nombre de la variable en la búsqueda ES|QL.

Ejemplo 4: variables para campos

1. Puedes usar el tipo de control “Valores estáticos” y escribir los nombres de los campos que desees. Es importante usar un nombre de variable que comience con “??...” para que funcione en los campos.

2. Crea una referencia a la variable donde la necesites en la búsqueda de la visualización.

Controles de variables en Discover

Los controles variables no son solo una característica del dashboard: también están disponibles directamente en el editor de ES|QL en Discover. Puede crear controles para obtener una experiencia de exploración de datos más rápida en Discover, llevarlos al dashboard y viceversa.

Detalles técnicos

A estas alturas, probablemente hayas notado que los controles de variables incluyen algunas reglas, como a qué partes de una búsqueda pueden hacer referencia y los prefijos de nombres que necesitas usar (“?...” para valores y “??...” para campos o funciones). Eso se debe a que las variables no son simplemente reemplazos de texto que ocurren en el cliente. En realidad, son ciudadanos de primera clase en el propio lenguaje de búsquedas (conocidos como parámetros en ES|QL).

Este diseño ofrece grandes ventajas. Por un lado, Kibana puede entender el contexto de cada variable, lo que nos permite generar y completar previamente, de manera automática, su configuración. Además, es mucho más seguro: debido a que el lenguaje valida estrictamente las entradas de variables, previene las inyecciones maliciosas y genera errores fácilmente, si algo parece incorrecto. Asimismo, mejora el rendimiento y la estabilidad al trasladar la compleja validación y el manejo de errores al servidor en lugar de al cliente. Recordatorio sobre el rendimiento: una de las mejores prácticas es crear variables que incluyan búsquedas rápidas, ya que se cargan antes que el dashboard, por lo que las búsquedas lentas pueden afectar al rendimiento de todo el dashboard.

Por supuesto, esta arquitectura también tiene algunas limitaciones—por ahora. Las variables aún no admiten una opción “Cualquiera” para filtrar, y actualmente no se pueden usar con ciertos operadores como LIKEo FROM (para cambiar fuentes de datos). ¿La buena noticia? Estamos trabajando activamente para agregar estas funciones.

Qué depara el futuro para los controles

¡Este no es el final! Algunas de las mejoras importantes incluyen:

✨ La capacidad de colocar controles en cualquier lugar del dashboard

✨ Encadenar tus controles, lo que significa que la salida de un control se convierte en la entrada para el siguiente

✨ Mejores opciones de selección como la opción “Cualquiera” para variables.

✨ Nuevos tipos de control (control de tipo búsqueda y variables para tus fuentes de datos)

✨ Y otras mejoras en la experiencia del usuario que han estado solicitando, como el filtro previo de controles normales.

Si tienes ideas o comentarios, nos encantaría saber de ti.

Diferencias respecto al primer análisis de Spotify Wrapped

En el primer blog, usamos la exportación de Spotify directamente y no realizamos ninguna tarea de normalización ni ningún otro procesamiento de datos. Esta vez, usaremos los mismos datos, pero realizaremos un procesamiento de datos para hacerlos más utilizables. Esto nos permitirá responder a preguntas mucho más complejas, como:

• ¿Cuál es la duración media de una canción en mi top 100?

• ¿Cuál es la popularidad media de una canción en mi top 100?

• ¿Cuál es la duración media de escucha de una canción?

• ¿Cuál es la pista que más me salto?

• ¿Cuándo me gusta saltarme pistas?

• ¿Estoy escuchando una hora concreta del día más que otras?

• ¿Estoy escuchando más un día de la semana que otros?

• ¿Es un mes de especial interés?

• ¿Cuál es el artista con el mayor tiempo de escucha?

Spotify Wrapped es una experiencia divertida cada año, mostrando lo que escuchaste este año. No te da cambios año tras año, y por tanto podrías extrañarte a algunos artistas que antes estaban en tu top 10, pero que ahora desaparecieron.

Procesamiento de datos envueltos en Spotify para análisis

Hay una gran diferencia en la forma en que procesamos los datos en la primera y la segunda publicación. Si quieres seguir trabajando con los datos de la primera publicación, tendrás que tener en cuenta algunos cambios en el nombre de campos, así como volver a ES|QL para hacer ciertas extracciones como hour of day sobre la marcha.

Aun así, todos deberíais poder seguir esta publicación. El procesamiento de datos se realiza en el repositorio de Spotify a Elasticsearch , implica aplicar a la API de Spotify la duración de la canción, la popularidad y también renombrar y mejorar algunos campos. Por ejemplo, el campo artist en la exportación de Spotify es solo una cadena y no representa características ni pistas multiartista

Visualizando datos en Spotify Wrapped con paneles de control

Creé un panel de control en Kibana para visualizar los datos. El panel está disponible aquí y puedes importarlo a tu instancia Kibana. El panel de control es bastante extenso y responde muchas de las preguntas anteriores.

¡Vamos a hablar de algunas preguntas y cómo responderlas juntos!

¿Cuál es la duración media de una canción en mi top 100?

Para responder a esta pregunta, podemos usar Lens o ES|QL. Vamos a explorar las tres opciones. Formulemos esta pregunta correctamente de manera Elasticsearch. Queremos encontrar las 100 canciones más populares y luego calcular la duración media de todas esas canciones juntas. En términos de Elasticsearch eso serían dos agregaciones:

1. Descubre las 100 mejores canciones

2. Calcula la duración media de esas 100 canciones.

Lens

En Lens, esto es bastante sencillo: crear un nuevo Lens, cambiar a una tabla y arrastrar y soltar el campo title dentro de la tabla. Luego haz clic en el campo title y pon el tamaño en 100, además de poner modo accuracy . Luego arrastra y suelta el campo duration en la tabla y usa last value, porque realmente solo necesitamos el último valor de la duración de cada canción. La misma canción solo tendrá una duración. Al final de esta agregación de last value hay un desplegable para una fila resumen, selecciona average y te lo mostrará.

ES|QL

ES|QL es un lenguaje bastante nuevo comparado con DSL y agregaciones, pero es muy poderosa y fácil de usar. Para responder a la misma pregunta en ES|QL, escribirías la siguiente consulta:

Déjame guiarte paso a paso por este ES|Consulta QL:

1. from spotify-history - Este es el patrón índice que estamos usando.

2. stats duration=max(duration), count=count() by title - Esta es la primera agregación, estamos calculando la duración máxima de cada canción y el recuento de cada canción. Usamos max en lugar de last value como se usa en el Lens, eso es porque ES|Ahora mismo QL no tiene ni primera ni última.

3. sort count desc - Ordenamos las canciones por el conteo de cada canción, así que la canción más escuchada está arriba.

4. limit 100 - Limitamos el resultado a las 100 mejores canciones.

5. stats Average duration of the songs=avg(duration) - Calculamos la duración media de las canciones.

¿Me interesa especialmente un mes?

Para responder a esta pregunta podemos usar Lens con la ayuda de campo de ejecución y ES|QL. ¿Qué notamos de inmediato? No hay ningún campo en los datos que denote el month directamente, sino que necesitamos calcularlo a partir del campo @timestamp . Hay varias formas de hacerlo:

1. Emplea un campo de ejecución para alimentar el objetivo

2. ES|QL

Personalmente creo que ES|QL es la solución más ordenada y rápida.

Eso es todo, no hace falta nada sofisticado, podemos aprovechar la función DATE_EXTRACT para extraer el mes del campo @timestamp y luego podemos agregar sobre él. Usando el ES|Visualización QL podemos incluirla en el panel de control.

¿Cuál es mi duración de escucha por artista y al año?

La idea detrás de eso es ver si un artista es solo algo puntual o si hay una repetición. Si no recuerdo mal, Spotify solo te muestra los 5 mejores artistas en el wrappeado anual. ¿Quizá tu artista número 6 se mantiene igual todo el tiempo, o cambia mucho después de la décima posición?

Una de las representaciones más sencillas de esto es un gráfico de barras porcentuales. Podemos usar Lens para esto. Sigue los pasos a seguir:

Arrastra y suelta el campo listened_to_ms . Este campo representa cuánto tiempo escuchaste una canción en milisegundos. Ahora, por defecto, Lens creará una agregación median , no queremos eso, cambia eso a un sum. En la parte superior selecciona percentage en lugar de stacked para el tipo de gráfico de barras. Para el desglose selecciona artist y di top 10. En el menú desplegable de Advanced no olvides seleccionar accuracy mode. Ahora, cada bloque de color representa cuánto escuchaste a este único artista. Dependiendo de tu selector de tiempo, las barras pueden representar valores que van de días, a semanas, a meses o años. Si quieres un desglose semanal, selecciona el @timestamp y configura el mininum interval en year. Ahora, lo que podemos decir en mi caso es que Fred Again.. es el artista que más escuché, casi el 12% de mi tiempo total de escucha lo consumía Fred Again... También vemos que Fred Again.. bajó un poco en 2024, pero Jamie XX creció considerablemente. Si comparamos solo el tamaño de las barras. También podemos notar que, aunque Billie Eilish se está tocando constantemente en 2024, el ancho del manillar. Esto significa que escuché más a Billie Eilish en 2024 que en 2023.

¿Y qué hay de las pistas principales por artista por tiempo de escucha frente al tiempo total de escucha?

Es una pregunta larga. Déjame intentar explicar lo que quiero decir con eso. Spotify te dice cuál es la canción más destacada de un solo artista, o tus 5 canciones más populares en total. Bueno, eso es sin duda interesante, pero ¿qué pasa con la ruptura de un artista? ¿Todo mi tiempo lo consumo solo con una sola canción que pongo una y otra vez, o eso se distribuye de forma equitativa?

Crea un nuevo objetivo y selecciona Treemap como tipo. Para el metric, igual que antes: selecciona sum y usa listened_to_ms como campo. Para el group by necesitamos dos valores. El primero se artist y luego agrega otro con title. El resultado intermedio es así:

Vamos a cambiar eso a los 100 mejores artistas y desseleccionar la other en el desplegable avanzado, además de activar el modo de precisión. Para el título, cambia eso a top 10 y activa el modo de precisión. El resultado final es así:

¿Qué nos dice esto ahora exactamente? Sin mirar ningún componente temporal, podemos decir que en todo mi historial de escuchas con Spotify, pasé un 5,67% escuchando Fred Again... En individuo, pasé el 1,21% de ese tiempo escuchando Delilah (pull me out of this). Es interesante ver si hay una sola canción que ocupe a un artista, o si hay otras canciones también. El propio mapa de árbol es una forma agradable para representar estas distribuciones de datos.

¿Escucho en una hora y día concretos?

Bueno, eso podemos responder de forma muy sencilla con una visualización de lentes aprovechando el Heat Map. Crea una nueva lente, selecciona Heat Map. Para el Horizontal Axis selecciona dayOfWeek campo y ponlo en Top 7 en vez de Top 3. Para el Vertical Axis seleccionar el hourOfDay y para Cell Value simplemente un Count of recordssimple . Ahora esto dará lugar a este panel:

Hay un par de cosas molestas alrededor de esta lente que simplemente me molestan al interpretar. Intentemos limpiarlo un poco. Primero que nada, no me importa demasiado la leyenda, usa el símbolo de arriba con el triángulo, cuadrado, círculo y desactivarlo.

Ahora, la segunda parte que resulta molesta es la organización de los días. Es lunes, miércoles, jueves o cualquier otra cosa, dependiendo de los valores que tengas. El hourOfDay está correctamente ordenado. La forma de ordenar los días es un truco gracioso y eso se llama usar Filters en vez de Top Values. Haz clic en dayOfWeek y selecciona Filters, ahora debería ver así:

Ahora empieza a escribir los días. Un filtro por cada día. "dayOfWeek" : Monday y ponle la etiqueta Monday y repite.

Una advertencia en todo esto es que Spotify proporciona los datos en UTC+0 sin ninguna información de zona horaria. Claro, también proporcionan la dirección IP y el país al que escuchaste, y podríamos deducir la información de la zona horaria a partir de eso, pero eso puede ser un poco raro y para países como EE. UU., que tienen múltiples zonas horarias, puede ser demasiado complicado. Esto es importante porque Elasticsearch y Kibana tienen soporte para zonas horarias y, al proporcionar la zona horaria correcta en el campo @timestamp , Kibana ajustaría automáticamente la hora a la hora de tu navegador.

Debería ver así cuando se finalice, y se nota que soy un oyente muy activo durante el horario laboral y menos los sábados y domingos.

Conclusión

En este blog, profundizamos un poco más en las complejidades que ofrecen los datos de Spotify. Mostramos algunas formas sencillas y rápidas de poner en marcha algunas visualizaciones. Es simplemente asombroso tener tanto control sobre tu propio historial de escucha. Echa un vistazo a las otras partes del serial:

• Parte 1: Cómo crear tu propio Spotify Wrapped in Kibana

• Parte 3: Empleos de población para detección de anomalías

• Parte 4: Detección de relaciones en los datos

• Parte 5: Encontrar a tu mejor amigo musical con vectores