En este blog, exploraremos la experiencia de desarrollador del ES|QL Editor en Elasticsearch 9.1 comparándolo con PPL en el Event Analyzer (PPL para abreviar) en OpenSearch 3.2.

Las diferencias se hacen evidentes rápidamente: el ES|QL Editor ofrece autocompletado inteligente, ayuda contextual, consultas recomendadas y soporte para consultas entre clústeres que empoderan no solo a usuarios principiantes, sino también a expertos en nivel profesional. El diseño pensado para ES|La autoría QL se observa también en la inspección integrada de consultas y la integración holística a través de flujos de trabajo Kibana, por ejemplo, con Consultas Recientes.

PPL, en cambio, carece de soporte comparable para autocompletado, guía contextual y consultas distribuidas, lo que crea una curva de aprendizaje más pronunciada y más prueba y error.

Creación de ES|QL es más fácil de aprender y usar

Empezar con un nuevo lenguaje de consulta a menudo puede resultar abrumador. El ES|QL Editor, integrado directamente en Kibana Discover, está diseñado para facilitar ese proceso apoyando no solo la creación y depuración de consultas, sino también acelerando la rapidez con la que te familiarizas y te sientes cómodo con el lenguaje. Como el editor ayuda a reducir la fricción en las tareas cotidianas, puedes cambiar tu enfoque de la sintaxis y el ensayo y error a la solución. Puedes leer más sobre estos principios y cómo los integramos en el editor aquí.

Esta experiencia como editor no se limita a Discover; es un módulo de código reutilizable que estamos trabajando en integrar en otras partes de Kibana, como paneles de control, alertas de Kibana y mapas de Kibana.

Autocompletado inteligente: acelerando la creación de tu consulta

El autocompletado en ES|QL Editor es completo, ofreciendo sugerencias para funciones, argumentos, literales e incluso funciones anidadas compatibles, una capacidad notablemente ausente en PPL. De hecho, fue reconstruida desde cero, como se explica aquí.

La validación se ejecuta a medida que el usuario escribe, como se describe aquí, y sugerirá campos y también notificará al usuario sobre errores. Esto reduce la carga mental de los usuarios y ayuda a prevenir errores al principio del proceso de creación de la consulta.

Ejemplo: Se sugieren campos y funciones compatibles en este anidamiento:

Algo que PPL no soporta:

Incluso con un autocompletado inteligente guiándote a través de funciones compatibles, argumentos y funciones anidadas, puede que aún quieras entender más a fondo las opciones disponibles. Aquí es precisamente donde ES|La ayuda contextual de QL Editor se vuelve invaluable, ofreciendo asistencia inmediata dentro del editor para aclarar y mejorar el desarrollo de tus consultas.

Ayuda contextual al alcance de tu mano

Información adicional sobre un comando generado por autocompletado está a un clic Ctrl-Espacio de distancia. Aparece inmediatamente un panel con detalles sobre la función, argumento o campo en cuestión. Esta interacción ligera mantiene a los desarrolladores en el flujo, proporcionando orientación justo a tiempo sin obligarles a abandonar el editor ni buscar en documentación externa. Esto reduce el tiempo perdido en búsquedas de sintaxis y ayuda a prevenir errores comunes antes de que ocurran.

Así es como se ve en acción:

PPL carece de este nivel de guía integrada, lo que obliga a los usuarios a depender de documentos externos o de prueba y error. Esa ausencia no es solo una característica que falta; Pone de manifiesto una disparidad más amplia en la filosofía del diseño. ES|QL prioriza una experiencia reflexiva y consciente del contexto que se adapta a los datos y al flujo de trabajo del usuario. Esta diferencia se hace más pronunciada a medida que las consultas se vuelven más complejas, haciendo que ES|QL Editor es un entorno más eficiente y fiable tanto para el aprendizaje como para el uso en producción.

Consultas recomendadas que sean conscientes del contexto de los datos

El ES|QL Editor proporciona consultas recomendadas que se adaptan automáticamente a los datos con los que trabajas, como los registros. En lugar de presentar un editor en blanco, pone a la luz los puntos de partida más relevantes para casos de uso comunes. Seleccionar una consulta recomendada genera una consulta canónica que es inmediatamente utilizable y puede refinar según sea necesario. Este enfoque acelera el desarrollo de consultas, especialmente para nuevos usuarios que aún no conocen la sintaxis completa.

Aquí tienes un ejemplo en el que un usuario selecciona la consulta "Detectar punto de cambio":

Compáralo con la experiencia de PPL:

En cambio, PPL aquí solo ofrece autocompletado básico, dejándote armar las consultas sin contexto ni estructura. Esta falta de orientación puede provocar frustración y prueba y error. Con ES|Consultas recomendadas con conocimiento de datos de QL Editor, puedes evitar empezar desde cero o memorizar la sintaxis para tareas rutinarias. El editor reduce la carga cognitiva, ayuda a prevenir errores y te permite centrarte en la resolución de problemas y en objetivos más amplios, como realizar búsquedas entre clústeres en lugar de lidiar con la construcción de consultas.

Consulta intuitiva entre clústeres

ES|El autocompletado del editor QL sigue siendo superior, incluso cuando se trabaja con múltiples clústeres remotos con CCS. He aquí por qué:

ES|QL Editor ofrece un autocompletado fluido incluso entre clústeres

Autocompletado en el ES|QL Editor soporta no solo nombres de clústeres sino también índices locales y remotos. Como se explica aquí, esto funciona gracias a una arquitectura de nodos coordinadores, que ayuda a validar y generar el plan de consulta para enviar a los nodos locales, ejecutar la consulta y agregar los resultados antes de enviarlos de vuelta al usuario. Sin introducir el nombre completo del clúster remoto, escribir ":" inicia el proceso de autocompletado para el índice remoto. Y no estás limitado al prefijo.

Esto facilita descubrir y consultar entre conjuntos de datos distribuidos sin memorizar convenciones de nombres ni cambiar de contexto.

Aquí tienes un ejemplo en el que el usuario simplemente escribe "clu:g" para localizar un índice remoto:

En marcado contraste, la PPL solo proporciona completitud básica para índices locales, con sugerencias restringidas a coincidencias con prefijos. Los clústeres remotos deben ser tipados manualmente, lo que aumenta la probabilidad de errores y ralentiza la creación de consultas.

PPL solo proporciona completitud para índices locales y las sugerencias se restringen al prefijo:

ES|QL va más allá permitiendo exclusiones directamente usando un signo negativo, dándote un control detallado sobre qué clústeres participan en tu exploración. Esta capacidad es especialmente valiosa al trabajar con entornos híbridos, donde puede ser necesario incluir u omitir conjuntos de datos específicos durante investigaciones entre clústeres.

Estas mejoras reflejan el enfoque más amplio de Elasticsearch en reducir la fricción en la búsqueda entre clústeres. Al facilitar la construcción y gestión de consultas distribuidas, ES|QL Editor permite a analistas y desarrolladores centrar en los insights en lugar de la sintaxis, mientras que PPL deja mayor parte de esa carga al usuario. Y igual que el ES|QL Editor simplifica la creación de consultas entre clústeres y también proporciona herramientas para inspeccionar cómo se ejecutan esas consultas, garantizando transparencia y monitorización del rendimiento en múltiples clústeres.

Uso de la herramienta Inspect para analizar los detalles de búsqueda entre clústeres

La Herramienta de Inspección, accesible desde el ES|QL Editor está diseñado para proporcionar metadatos con información explícita sobre la ejecución de consultas en todos los clústeres. Esta funcionalidad está habilitada en Kibana Discover y es accesible directamente en el inspector de consultas, permitiéndote analizar el progreso y los detalles de la búsqueda, algo especialmente crucial para la búsqueda entre clústeres (CCS). Esta capacidad te ayuda a monitorizar el progreso de las búsquedas y a entender cómo funcionan las consultas entre conjuntos de datos distribuidos.

Esta visibilidad detallada de la ejecución de consultas, especialmente para búsquedas distribuidas complejas, te permite garantizar un rendimiento y resolución de problemas óptimos.

Más allá de entender la mecánica de las consultas individuales, ES|QL Editor mejora aún más el recorrido del usuario al integrar profundamente funcionalidades esenciales en toda la plataforma Kibana, fomentando un flujo de trabajo fluido e ininterrumpido.

Experiencia unificada de consultas con ES|QL y Kibana

Una de las fuentes más comunes de fricción en el análisis guiado por consultas es el cambio de contexto. A menudo necesitas recordar consultas que ya escribiste. Cada interrupción rompe el foco y ralentiza las investigaciones. ES|QL Editor aborda esto integrando el historial de consultas en Kibana.

Consultas recientes

La función de Consultas Recientes en ES|QL Editor te ayuda a mantener el flujo haciendo que el trabajo pasado sea instantáneamente accesible. Dentro del ES|En el Editor QL en Discover, puedes ver, volver a ejecutar y poner estrellas en tus últimas 20 consultas, cerciorando que las consultas frecuentes o complejas estén a solo un clic de distancia. Estas consultas almacenadas también se transmiten a Kibana, integrar con paneles, visualizaciones, alertas y mapas, así que no necesitas salir de la pantalla actual ni volver a escribir comandos desde cero. Esto reduce el trabajo repetitivo, acelera las investigaciones y minimiza el riesgo de errores.

Por ejemplo, un usuario puede emplear las Consultas Recientes en ES|Editor de QL en Discover (y ponles la estrella):

Las consultas recientes están integradas en el Panel de Control:

PPL no ofrece una capacidad comparable, por lo que los usuarios dependen de copiar y pegar manualmente o notas externas para reutilizar consultas. La diferencia es más que la comodidad; refleja la estrategia de Elastic de construir ES|QL como un lenguaje verdaderamente integrado dentro del ecosistema Kibana. Con funciones como Consultas Recientes, ES|QL Editor no solo agiliza los flujos de trabajo diarios, sino que también sienta las bases para funcionalidades más avanzadas que ahora están en vista previa técnica, cerciorando que la experiencia siga evolucionando.

Conclusión

ES|QL es más que una sintaxis; refleja la estrategia de Elastic para mejorar la forma en que los usuarios buscan, exploran y analizan los datos. Con autocompletado inteligente, consultas recomendadas que consigan el contexto, guía en el editor y herramientas como Inspect, ES|QL Editor acelera el aprendizaje, reduce errores y simplifica flujos de trabajo complejos como el análisis entre clústeres. Integrado en Kibana, conecta consultas de forma fluida con paneles, alertas y visualizaciones para un flujo de trabajo ininterrumpido.

En resumen, ES|QL no es simplemente otro lenguaje canalizado; es un motor de consultas cuidadosamente diseñado combinado con una interfaz intuitiva que redefine fundamentalmente cómo interactúas con tus datos, ofreciendo una experiencia integrada, inteligente y en constante evolución que contrasta fuertemente con la naturaleza a menudo secuencial y menos guiada de OpenSearch PPL.

¿Qué viene después?

Este blog solo rasca la superficie de ES|QL. Las futuras publicaciones profundizarán en comparaciones con OpenSearch PPL y explorarán funciones geoespaciales, de visualización y de próximos editores como los Controles (ya disponibles en Dashboards), pestañas de exploración de múltiples datos, búsqueda en segundo plano, historial de consultas más completo y FUSE.

Prueba ES|QL hoy

Puedes echar un vistazo a ES|QL en proyectos Serverless de Elasticsearch totalmente gestionados con una prueba gratis. También está disponible en versiones que abarcan desde la 8.11, pero se experimenta mejor en la 8.19 y la 9.1.

Empieza en minutos en tu entorno local con un solo comando:

Hoy, anunciamos la disponibilidad general del nuevo modo de índice de Elasticsearch, logsdb, que reduce la huella de almacenamiento de los datos de registro hasta en un 65% en comparación con las versiones recientes de Elasticsearch sin logsdb. Esta mejora sustancial permite a los equipos de observabilidad y seguridad ampliar la visibilidad sin exceder su cotización, al tiempo que mantienen todos los datos accesibles de inmediato para su análisis.

Logsdb optimiza el ordenamiento de los datos, elimina la duplicación al reconstruir los valores de los campos no almacenados sobre la marcha con synthetic _source y mejora la compresión con algoritmos y códecs avanzados, lo que aprovecha el almacenamiento columnar dentro de Elasticsearch para un almacenamiento y recuperación de logs eficientes.

Mejora el análisis y reduce los costos mejorando la eficiencia del almacenamiento con el modo de índice logsdb

Los logs proporcionan señales críticas para detectar y remediar problemas de observabilidad y seguridad, y su utilidad está aumentando a medida que los avances en AI facilitan el análisis de datos basados en texto, por lo que el almacenamiento eficiente y el acceso de alto rendimiento son más importantes que nunca.

Lamentablemente, el creciente volumen de logs generado por la infraestructura y las aplicaciones está aumentando los costos, lo que obliga a compromisos que dificultan el análisis: limitar la recopilación, reducir la retención o relegar los datos nuevos a niveles de archivo en silos.

Logsdb aborda directamente estos desafíos. Con una mayor eficiencia de almacenamiento, puedes recopilar más datos y evitar la molestia del filtrado complicado de datos. Puedes conservar los logs por más tiempo para apoyar la búsqueda de amenazas, la respuesta a incidentes y los requisitos de cumplimiento. Y porque todos los datos siempre se pueden buscar, puedes obtener información rápida, sin importar cuánto crezca tu set de datos.

Innovación técnica detrás del modo de índice logsdb

El modo de índice de logsdb reduce drásticamente la huella de disco de los datos de logs con clasificación de índices inteligente, synthetic _source y compresión avanzada. Implementarlo puede reducir las necesidades de almacenamiento de logs hasta en un 65 %, en comparación con versiones recientes de Elasticsearch sin logsdb. Aunque logsdb actualmente utiliza más CPU durante la indexación, su almacenamiento eficiente reduce los costos generales para la mayoría de los clientes. Para los clientes que necesitan retención a largo plazo, esperamos reducciones del costo total de propiedad (TCO) de hasta un 50 %.

La clasificación inteligente de índices mejora la eficiencia del almacenamiento hasta en un 30% y reduce la latencia de las consultas en algunos conjuntos de datos de registro al ubicar datos similares muy juntos. De forma predeterminada, ordena los índices por host.name y @timestamp. Si los datos tienen campos más adecuados, puede especificarlos en su lugar.

La compresión avanzada reduce significativamente los requisitos de almacenamiento para datos con mucho texto, como registros a través de la compresión Zstandard (Zstd), la codificación delta, la codificación de longitud de ejecución y otros códecs inteligentes que se eligen automáticamente. Los valores de documento, que se almacenan en un formato de columnas optimizado para la compresión y el rendimiento, permiten el almacenamiento y la recuperación eficientes de valores de campo para ordenar, agregar y crear secuencias de comandos.

El _source sintético permite a las organizaciones recortar las necesidades de almacenamiento en otro 20-40% al descartar el campo _source y reconstruirlo total o parcialmente bajo demanda. Si bien la función a veces requiere más computación para la indexación y la recuperación, las pruebas muestran que ofrece mejoras medibles en la eficiencia neta. Synthetic _source se basa en casi dos años de uso de producción con métricas, con numerosas mejoras para los registros, incluida la compatibilidad con casi todos los tipos de campos.

Los ahorros de almacenamiento resultantes se propagan a través de las fases del ciclo de vida del índice. Una reducción del 65 % en el almacenamiento del nivel caliente tendrá como resultado la misma reducción en los niveles tibio, frío y congelado, así como reducirá el espacio ocupado para almacenar snapshots en el almacenamiento en cubetas.

No se compromete la visibilidad: Conservar todos los logs para la observabilidad y la seguridad

Los logs son la base de la visibilidad en la infraestructura y las aplicaciones, proporcionando la señal más simple y esencial para el monitoreo y la solución de problemas. Sin embargo, los costos aumentan a medida que crecen los volúmenes de logging. Este desafío está obligando a los clientes a implementar políticas complejas de filtrado y gestión, eliminar datos antes de tiempo y dejar los logs relevantes en almacenes que requieren de un día o más para rehidratarse antes del análisis. Sin un set de datos completo, fácil de buscar y accesible, encontrar y resolver problemas es sustancialmente más desafiante.

El modo de índice de Logsdb se basa en capacidades innovadoras de Elasticsearch, como snapshots con capacidad de búsqueda e importación automática , para abordar estos puntos débiles para los equipos de operaciones y seguridad:

Reducir costos: Logsdb reduce la huella de almacenamiento de los registros hasta en un 65%, lo que permite a las organizaciones reducir los gastos de almacenamiento mientras retienen más datos. Esto se traduce en ahorros de costos en todos los niveles de almacenamiento, desde caliente hasta congelado, y una mayor productividad para los equipos de observabilidad y seguridad que emplean estos datos.

Conserve los datos valiosos: Logsdb mantiene todos sus datos de registro y mejora la eficiencia operativa sin depender de herramientas adicionales o filtros complicados. Con características como la _source sintética, conserve el valor de los datos sin almacenar todo el documento de origen.

Ampliar visibilidad: Logsdb proporciona un acceso eficiente a todos los datos en una plataforma, sin aislamiento separado para la observabilidad, la seguridad y los datos históricos. Para los ingenieros de confiabilidad del sitio (SRE), acelera la resolución de problemas al permitir el análisis de registros junto con métricas, seguimientos y datos comerciales. Del mismo modo, para los equipos del centro de operaciones de seguridad (SOC), acelera la investigación y la corrección al eliminar los puntos ciegos.

Optimice el acceso a los datos: Logsdb permite a los equipos de SRE retener de manera eficiente datos procesables para la resolución de problemas, tendencias y análisis. Del mismo modo, los equipos de SOC pueden buscar rápidamente todos sus datos para la investigación y la búsqueda de amenazas sin incurrir en costos exorbitantes.

Logsdb está listo para su entorno

El modo de índice de logsdb de Elasticsearch está disponible de forma general para los clientes alojados y autogestionados de Elastic Cloud a partir de la versión 8.17 y está habilitado de forma predeterminada para los logs en Elastic Cloud Serverless.

Las capacidades básicas de logsdb (incluida la clasificación de índices inteligente y la compresión avanzada) están disponibles para organizaciones con licencias Estándar, Oro y Platino. Las capacidades completas de logsdb que reducen aún más los requisitos de almacenamiento (incluido synthetic _source) están disponibles para los clientes sin servidor y las organizaciones con una licencia Empresarial.

Elasticsearch logsdb en acción

Logsdb te permite mantener todos tus datos de logs y mejorar la eficiencia operativa sin limitar la recopilación, descartar o aislar datos. Con capacidades como la clasificación de índices inteligente, la compresión avanzada y synthetic _source, conserva y analiza los datos que necesitas dentro de un presupuesto que funcione para ti.

¿Quieres experimentarlo por ti mismo? Prueba Elastic sin costo.

El lanzamiento y el momento de cualquier característica o funcionalidad descrita en esta publicación quedan a exclusivo criterio de Elastic. Es posible que cualquier característica o funcionalidad que no esté disponible en este momento no se lance a tiempo o no se lance en absoluto.