Logs y prosperidad: Modo de índice logsdb recientemente especializado de Elasticsearch

¿Todavía no conoces Elasticsearch? Únete a nuestro webinar de los Primeros pasos con Elasticsearch. También puedes iniciar una prueba gratuita en el cloud o prueba Elastic en tu máquina ahora mismo.

El nuevo modo de índice de Elasticsearch, logsdb, reduce las necesidades de almacenamiento de logs hasta en un 65 %

Hoy, anunciamos la disponibilidad general del nuevo modo de índice de Elasticsearch, logsdb, que reduce la huella de almacenamiento de los datos de registro hasta en un 65% en comparación con las versiones recientes de Elasticsearch sin logsdb. Esta mejora sustancial permite a los equipos de observabilidad y seguridad ampliar la visibilidad sin exceder su cotización, al tiempo que mantienen todos los datos accesibles de inmediato para su análisis.

Logsdb optimiza el ordenamiento de los datos, elimina la duplicación al reconstruir los valores de los campos no almacenados sobre la marcha con synthetic _source y mejora la compresión con algoritmos y códecs avanzados, lo que aprovecha el almacenamiento columnar dentro de Elasticsearch para un almacenamiento y recuperación de logs eficientes.

Mejora el análisis y reduce los costos mejorando la eficiencia del almacenamiento con el modo de índice logsdb

Los logs proporcionan señales críticas para detectar y remediar problemas de observabilidad y seguridad, y su utilidad está aumentando a medida que los avances en AI facilitan el análisis de datos basados en texto, por lo que el almacenamiento eficiente y el acceso de alto rendimiento son más importantes que nunca.

Lamentablemente, el creciente volumen de logs generado por la infraestructura y las aplicaciones está aumentando los costos, lo que obliga a compromisos que dificultan el análisis: limitar la recopilación, reducir la retención o relegar los datos nuevos a niveles de archivo en silos.

Logsdb aborda directamente estos desafíos. Con una mayor eficiencia de almacenamiento, puedes recopilar más datos y evitar la molestia del filtrado complicado de datos. Puedes conservar los logs por más tiempo para apoyar la búsqueda de amenazas, la respuesta a incidentes y los requisitos de cumplimiento. Y porque todos los datos siempre se pueden buscar, puedes obtener información rápida, sin importar cuánto crezca tu set de datos.

Innovación técnica detrás del modo de índice logsdb

El modo de índice de logsdb reduce drásticamente la huella de disco de los datos de logs con clasificación de índices inteligente, synthetic _source y compresión avanzada. Implementarlo puede reducir las necesidades de almacenamiento de logs hasta en un 65 %, en comparación con versiones recientes de Elasticsearch sin logsdb. Aunque logsdb actualmente utiliza más CPU durante la indexación, su almacenamiento eficiente reduce los costos generales para la mayoría de los clientes. Para los clientes que necesitan retención a largo plazo, esperamos reducciones del costo total de propiedad (TCO) de hasta un 50 %.

La clasificación inteligente de índices mejora la eficiencia del almacenamiento hasta en un 30% y reduce la latencia de las consultas en algunos conjuntos de datos de registro al ubicar datos similares muy juntos. De forma predeterminada, ordena los índices por host.name y @timestamp. Si los datos tienen campos más adecuados, puede especificarlos en su lugar.

La compresión avanzada reduce significativamente los requisitos de almacenamiento para datos con mucho texto, como registros a través de la compresión Zstandard (Zstd), la codificación delta, la codificación de longitud de ejecución y otros códecs inteligentes que se eligen automáticamente. Los valores de documento, que se almacenan en un formato de columnas optimizado para la compresión y el rendimiento, permiten el almacenamiento y la recuperación eficientes de valores de campo para ordenar, agregar y crear secuencias de comandos.

El _source sintético permite a las organizaciones recortar las necesidades de almacenamiento en otro 20-40% al descartar el campo _source y reconstruirlo total o parcialmente bajo demanda. Si bien la función a veces requiere más computación para la indexación y la recuperación, las pruebas muestran que ofrece mejoras medibles en la eficiencia neta. Synthetic _source se basa en casi dos años de uso de producción con métricas, con numerosas mejoras para los registros, incluida la compatibilidad con casi todos los tipos de campos.

Los ahorros de almacenamiento resultantes se propagan a través de las fases del ciclo de vida del índice. Una reducción del 65 % en el almacenamiento del nivel caliente tendrá como resultado la misma reducción en los niveles tibio, frío y congelado, así como reducirá el espacio ocupado para almacenar snapshots en el almacenamiento en cubetas.

No se compromete la visibilidad: Conservar todos los logs para la observabilidad y la seguridad

Los logs son la base de la visibilidad en la infraestructura y las aplicaciones, proporcionando la señal más simple y esencial para el monitoreo y la solución de problemas. Sin embargo, los costos aumentan a medida que crecen los volúmenes de logging. Este desafío está obligando a los clientes a implementar políticas complejas de filtrado y gestión, eliminar datos antes de tiempo y dejar los logs relevantes en almacenes que requieren de un día o más para rehidratarse antes del análisis. Sin un set de datos completo, fácil de buscar y accesible, encontrar y resolver problemas es sustancialmente más desafiante.

El modo de índice de Logsdb se basa en capacidades innovadoras de Elasticsearch, como snapshots con capacidad de búsqueda e importación automática , para abordar estos puntos débiles para los equipos de operaciones y seguridad:

Reducir costos: Logsdb reduce la huella de almacenamiento de los registros hasta en un 65%, lo que permite a las organizaciones reducir los gastos de almacenamiento mientras retienen más datos. Esto se traduce en ahorros de costos en todos los niveles de almacenamiento, desde caliente hasta congelado, y una mayor productividad para los equipos de observabilidad y seguridad que emplean estos datos.

Conserve los datos valiosos: Logsdb mantiene todos sus datos de registro y mejora la eficiencia operativa sin depender de herramientas adicionales o filtros complicados. Con características como la _source sintética, conserve el valor de los datos sin almacenar todo el documento de origen.

Ampliar visibilidad: Logsdb proporciona un acceso eficiente a todos los datos en una plataforma, sin aislamiento separado para la observabilidad, la seguridad y los datos históricos. Para los ingenieros de confiabilidad del sitio (SRE), acelera la resolución de problemas al permitir el análisis de registros junto con métricas, seguimientos y datos comerciales. Del mismo modo, para los equipos del centro de operaciones de seguridad (SOC), acelera la investigación y la corrección al eliminar los puntos ciegos.

Optimice el acceso a los datos: Logsdb permite a los equipos de SRE retener de manera eficiente datos procesables para la resolución de problemas, tendencias y análisis. Del mismo modo, los equipos de SOC pueden buscar rápidamente todos sus datos para la investigación y la búsqueda de amenazas sin incurrir en costos exorbitantes.

Logsdb está listo para su entorno

El modo de índice de logsdb de Elasticsearch está disponible de forma general para los clientes alojados y autogestionados de Elastic Cloud a partir de la versión 8.17 y está habilitado de forma predeterminada para los logs en Elastic Cloud Serverless.

Las capacidades básicas de logsdb (incluida la clasificación de índices inteligente y la compresión avanzada) están disponibles para organizaciones con licencias Estándar, Oro y Platino. Las capacidades completas de logsdb que reducen aún más los requisitos de almacenamiento (incluido synthetic _source) están disponibles para los clientes sin servidor y las organizaciones con una licencia Empresarial.

Elasticsearch logsdb en acción

Logsdb te permite mantener todos tus datos de logs y mejorar la eficiencia operativa sin limitar la recopilación, descartar o aislar datos. Con capacidades como la clasificación de índices inteligente, la compresión avanzada y synthetic _source, conserva y analiza los datos que necesitas dentro de un presupuesto que funcione para ti.

¿Quieres experimentarlo por ti mismo? Prueba Elastic sin costo.

El lanzamiento y el momento de cualquier característica o funcionalidad descrita en esta publicación quedan a exclusivo criterio de Elastic. Es posible que cualquier característica o funcionalidad que no esté disponible en este momento no se lance a tiempo o no se lance en absoluto.

Preguntas frecuentes