Como uma força policial nacional europeia está unindo dados para melhor atender o público com a Elastic
Uma força policial nacional europeia composta por 65 mil agentes e 2 mil profissionais de TI tinha o desafio de construir um repositório central e buscável de todos os logs para dados de infraestrutura, aplicações e auditoria.
Para enfrentar esse desafio, a agência escolheu a plataforma da Elastic para construir um data lake, que acabará se tornando o hub central para todos os dados de log. O objetivo da agência é preencher o lake com dados de log de até 350 aplicações nos próximos dois anos.
“A projeção para daqui a dois anos é que haja cerca de 75 TB de ingestão todos os dias. Como referência, isso é quase 20 vezes mais dados capturados em um dia do que a quantidade total que pode ser armazenada no plano de armazenamento pessoal em nuvem da Apple. E, neste momento, já estamos processando cerca de 2,5 TB vindos das fontes que temos conectadas atualmente. Por isso, estar preparado para o crescimento é essencial para o nosso sistema”, afirma o gerente da linha de produtos da agência.
Logging para DevOps, investigadores e pessoal de segurança digital
“Obviamente, temos as equipes de DevOps que contarão com a facilidade proporcionada por nós no armazenamento e retenção das informações de log. Com isso, elas poderão criar dashboards para seus próprios sistemas com base em uma excelente fonte”, diz o gerente da linha de produtos.
Um segundo grupo de usuários do data lake incluirá investigadores que examinam a suspeita de “uso indevido de dados policiais”.
“Por exemplo, se um policial quer checar se o namorado de sua filha tem antecedentes criminais, isso não é um uso adequado dos dados policiais. O uso deve estar relacionado a uma tarefa.”
Um terceiro grupo de usuários são os desenvolvedores do Centro de Operações de Segurança “que procurarão anomalias no uso de dados”.
“Por exemplo, se um policial fizer login em seu terminal em um ponto da cidade e, ao mesmo tempo, alguém entrar na delegacia de polícia em outra cidade localizada a horas de distância e usar o crachá desse policial, isso disparará uma anomalia no Centro de Operações de Segurança e será observado no logging dos sistemas”, diz o gerente da linha de produtos.
Para manter o controle dos dados, os usuários do data lake devem receber direitos de visualização por meio de acesso por função, que é facilmente configurável com a Elastic.
Retenção de dados: camadas warm, hot, cold e frozen
Como o data lake reterá e registrará em log 75 TB de dados diariamente quando concluído, a agência fará uso dos níveis de armazenamento em camadas da Elastic.
Dependendo do tipo de dados, das políticas de retenção e dos regulamentos, a agência armazena seus dados entre um e cinco anos.
Os benefícios desse tipo de arquitetura de armazenamento são imensos. Quanto mais frio o armazenamento de dados, menos dispendiosa é a manutenção. Isso significa que dados mais antigos ou dados mantidos para fins regulatórios podem ser mantidos em um armazenamento mais barato e frio que usa menos poder de computação.
Para essa agência policial, isso torna mais “eficiente” o gerenciamento de volumes de dados crescentes no Elastic e abre as portas para novos casos de uso.
“Para poder lidar com essa quantidade de dados de maneira razoavelmente eficiente, dividimos o design entre armazenamento warm, hot, cold e frozen”, diz o gerente da linha de produtos.
Envolvimento da Consultoria da Elastic
Para implantar o projeto com mais facilidade, a agência contratou a Consultoria da Elastic para a construção do design inicial e a implementação das práticas recomendadas.