Estrategia de niveles de datos de Elastic: optimización para una implementación resiliente y eficiente

Las organizaciones adoran Elastic por su velocidad, escalabilidad, capacidad de personalización y funcionalidad. Debido a esto, a menudo encuentran nuevos casos de uso para Elastic. Esto se convierte en un desafío cuando se ingestan grandes cantidades de datos sin considerar cómo se almacenan, gestionan y utilizan, lo que puede provocar cuellos de botella en la gestión de datos. A medida que aumentan los datos, sus configuraciones actuales tienen dificultades para manejar las nuevas necesidades, alcanzando los límites de su hardware y licencias.

Si tu organización está experimentando estos problemas, la solución es más manejable de lo que podrías esperar.

La forma de superar este desafío es definiendo una estrategia de datos que se alinee con tus objetivos comerciales. En lugar de recopilar y conservar datos basados en requisitos arbitrarios, hazte las siguientes preguntas:

1. ¿Qué datos deben recopilarse para impulsar un objetivo empresarial?

2. ¿Con qué frecuencia se usan estos datos?

3. ¿Existe una fecha de caducidad después de la cual estos datos ya no son valiosos?

4. ¿Existen requisitos de cumplimiento para estos datos?

Con base en las respuestas a las preguntas anteriores, las organizaciones pueden crear una estrategia de datos orientada al negocio para optimizar la forma en que se almacenan y utilizan los datos, maximizando su inversión existente en Elastic.

Para mostrar los beneficios de adoptar esta estrategia, exploremos un caso de estudio de un cliente que ha pasado por este proceso. 

Este cliente normalmente procesa 5 TB de datos por día y maneja un promedio de 250 000 eventos por segundo. Sin embargo, a veces el volumen aumenta a 7 TB por día y 350 000 eventos por segundo. La implementación de Elastic para este cliente se centró en la ingesta de un gran volumen de datos de seguridad y ponerlos a disposición del equipo del centro de operaciones de seguridad (SOC) para la búsqueda de información sobre incidentes cibernéticos e investigaciones de fraude.

Esta implementación fue tan exitosa que el cliente agregó nuevos casos de uso que requerían una retención de datos más larga y capacidades de búsqueda más rápidas desde una gama más amplia de fuentes de datos. Apuntaron a los siguientes resultados comerciales:

• Optimización de log: Al optimizar sus niveles de datos, las organizaciones pueden mejorar sus prácticas de gestión de logs, asegurándose de conservar los logs correctos durante el tiempo adecuado, lo que mejora la eficiencia operativa y el cumplimiento de las normas.

• Uso mejorado de la licencia: La estratificación eficiente del almacenamiento significa un mejor uso de la licencia, lo que permite a las organizaciones aprovechar al máximo sus recursos existentes y potencialmente evitar costos de licencia innecesarios.

• Eficiencia empresarial mejorada: La capacidad de encontrar información a partir de logs de manera más eficiente puede llevar a una mejor eficiencia empresarial, lo que permite una toma de decisiones más rápida y una planificación estratégica más informada.

• Incorporación de nuevos casos de uso: Con niveles de datos optimizados, las organizaciones pueden incorporar fácilmente nuevos casos de uso, expandiendo sus capacidades de analíticas de datos sin inversiones significativas en infraestructura.

• Estrategia de datos clara: La optimización de los niveles de datos contribuye a una estrategia de datos clara, asegurando que los datos sean confiables, fácilmente accesibles y gobernados de manera efectiva, sentando las bases para la toma de decisiones basada en datos.

La división en niveles de datos es un tema complejo y matizado que merece su propio blog para ser analizado. Sin embargo, para los fines de definir una estrategia de datos, los diferentes niveles de datos pueden simplificarse en tres usos principales: ingesta, búsqueda y almacenar.

• Ingesta (nivel hot): Ingesta datos lo más rápido posible con una latencia mínima.

• Búsqueda (nivel caliente y tibio): Búsqueda de datos rápidamente y procesa grandes conjuntos de datos.

• Almacenar (nivel frío y congelado): Almacena datos durante el tiempo que sea necesario y realiza búsquedas ad-hoc de baja frecuencia.

Comprender el rango de requisitos de retención de datos es crucial para el cumplimiento y una gestión de datos eficiente. Diferentes normativas requieren periodos de retención variables:

• Requisitos de retención SOX: 7 años

• Requisitos de conservación de datos de HIPAA: 6 años

• Requisitos de conservación de datos de PCI DSS: 1 año

• Requisitos de conservación de datos de Basilea II: 3–7 años

• Registros de empleados del RGPD:

  • Salarios: 3 años

  • Registros fiscales: 6 años

  • Nombre, dirección: 3 años

• Ley de Normas Justas de Trabajo: 2 – 3 años

Arquitectura anterior
La arquitectura anterior tenía dos centros de datos con una implementación de almacenamiento de cuatro niveles que cubría diversas necesidades de manejo de datos. Esta implementación requería más hardware, licencias y gastos generales en la gestión operativa.

El cliente conservó todos los logs durante 90 días, independientemente de cómo se utilizaran los datos.

• 7 días caliente

• 2 días tibio

• 10 días en frío

• Días restantes en congelado

El cliente tenía el mismo hardware tanto en el nivel caliente como en el tibio. El nivel tibio se utilizaba exclusivamente para forzar la fusión de índices para snapshots buscables. Los niveles tibio y frío estaban muy subutilizados tanto en CPU como en almacenamiento. El nivel congelado era limitado, lo que resultaba en búsquedas históricas lentas.

Una estrategia de datos en niveles permite a las organizaciones optimizar el rendimiento para los datos recientes mientras almacenan de manera eficiente grandes volúmenes de datos. Al aprovechar la conciencia de asignación de shard, las organizaciones pueden definir las características de cada nivel y programar la migración de índices de acuerdo con la estrategia de datos. Esto garantiza que los datos se almacenen en el nivel de hardware más apropiado en cualquier momento, equilibrando las consideraciones de rendimiento y costo.

La relación entre memoria y almacenamiento es una consideración crucial al planificar el crecimiento de Elastic. A continuación, se presentan los cuatro niveles de almacenamiento disponibles para los clientes de Elastic:

• Nivel caliente: optimizado para el rendimiento de ingesta y búsqueda, normalmente mediante SSD de alta velocidad con una relación de memoria a almacenamiento de alrededor de 1:30

• Nivel warm: Optimizado para la capacidad de almacenamiento, utilizando SSD o HDD con una proporción de memoria a almacenamiento de aproximadamente 1:160

• Nivel frío: optimizado para la capacidad de almacenamiento mediante el uso de un snapshot buscable como réplica (aunque la relación de almacenamiento es la misma que en el nivel templado, la eliminación de una réplica local reduce a la mitad los requisitos de almacenamiento).

• Nivel congelado: Optimizado para fines de archivo, emplea almacenamiento de snapshot económico con caché de disco local para proporcionar una relación memoria-almacenamiento superior a 1:1000

En nuestro análisis, evaluamos el costo total de propiedad (TCO) para varias configuraciones de almacenamiento a fin de optimizar la implementación de Elastic de otro cliente. A continuación, se muestra un desglose detallado de estas configuraciones y sus costos asociados:

•  Clúster de ES autogestionado

•  1 TB de ingesta diaria

•  Retención total 365 días

Optimizar la jerarquización del almacenamiento no se trata solo de ahorrar costos; se trata de permitir que las organizaciones evolucionen y se adapten a nuevos desafíos y oportunidades. 

Al abordar los desafíos de optimización de Platform empleando los principios de la estrategia de datos, las organizaciones pueden facilitar nuevos casos de uso, mejorar la fiabilidad de los datos y potenciar su estrategia global de datos. Consulta nuestra documentación para saber cómo tu organización puede construir una implementación resiliente y eficiente de Elastic empleando el datos tifering.