Cómo una fuerza policial nacional europea une los datos para brindar un mejor servicio al público con Elastic
Una fuerza policial nacional europea de 65 000 oficiales y 2000 profesionales de IT se enfrentó al desafío de crear un repositorio buscable y centralizado de todos los logs de infraestructura, aplicaciones y datos de auditoría.
Para superar este desafío, la agencia eligió la plataforma de Elastic para crear un lago de datos, que eventualmente se convertirá en el hub central de todos los datos de log. El objetivo de la agencia es llenar el lago con datos de logs de 350 aplicaciones en los próximos dos años.
"Lo que prevemos dentro de dos años son aproximadamente 75 TB de ingesta cada día. A modo de referencia, esto es casi 20 veces más datos en un día que la cantidad total que se puede almacenar en el plan de almacenamiento en el cloud personal de Apple. Y en este momento, ya procesamos unos 2.5 TB que provienen de fuentes que actualmente tenemos conectadas. Por lo tanto, estar preparados para el crecimiento es fundamental para nuestro sistema", explica el gerente de línea de productos de la agencia.
Logging para DevOps, investigadores y personal de seguridad digital
"Por supuesto, contamos con los equipos de DevOps, a quienes les facilitaremos el almacenamiento y la conservación de la información de logs. Al hacer esto, podrán crear dashboards para sus propios sistemas sobre la base de una fuente excelente", agrega el gerente de línea de productos.
Un segundo grupo de usuarios del lago de datos incluirá a los investigadores que examinen un posible "mal uso de los datos de la policía".
"Por ejemplo, si un oficial desea investigar al novio de su hija, para ver si tiene antecedentes, eso no es un uso adecuado de los datos de la policía. Debería estar relacionado con sus tareas", menciona el gerente de línea de productos.
Un tercer grupo de usuarios, continúa el gerente, son los desarrolladores en el Centro de Operaciones de Seguridad "que buscarán anomalías en el uso de los datos".
"Por ejemplo, si un oficial inicia sesión en su terminal en una ciudad y, al mismo tiempo, alguien ingresa en la estación de policías en otra ciudad ubicada a horas de distancia y usa la identificación de ese oficial, entonces se activará una anomalía en el Centro de Operaciones de Seguridad y se observará en el logging de los sistemas".
Para mantener el control de los datos, los usuarios del lago de datos deberán recibir derechos de visualización a través del acceso basado en roles, lo cual es fácil de configurar con Elastic.
Retención de datos: tibios, calientes, fríos y congelados
Como el lago de datos conservará y registrará 75 TB de datos a diario cuando se complete, la agencia aprovechará los niveles de almacenamiento escalonados de Elastic.
Según el tipo de datos, las políticas de retención y las normas, la agencia almacena sus datos entre 1 y 5 años.
Los beneficios comerciales de este tipo de arquitectura de almacenamiento son enormes. Mientras más frío sea el almacenamiento de datos, su mantenimiento será menos costoso. Esto significa que los datos más antiguos, o aquellos que se mantienen por cuestiones normativas, pueden conservarse en un almacenamiento más frío y económico que use menos poder informático.
En el caso de esta agencia policial, esto hace que sea más "eficiente" gestionar los volúmenes de datos crecientes en Elastic y abre la puerta a nuevos casos de uso.
"Para poder gestionar esa cantidad de datos de forma relativamente eficiente, dividimos el diseño en almacenamiento tibio, caliente, frío y congelado", explica el gerente de línea de productos.
Participación de la consultoría de Elastic
Para desplegar el proyecto sin inconvenientes, la agencia involucró a la Consultoría de Elastic en la creación del diseño inicial y para implementar las mejores prácticas.