Estratégia de hierarquização de dados Elastic: otimizando para uma implementação resiliente e eficiente

As organizações adoram o Elastic por sua velocidade, escalabilidade, customizabilidade e funcionalidade. Por causa disso, eles frequentemente encontram novos casos de uso para o Elastic. Isso se torna um desafio quando grandes quantidades de dados são ingeridas sem considerar como os dados são armazenados, gerenciados e usados, o que pode levar a gargalos no gerenciamento de dados. À medida que os dados crescem, suas configurações atuais lutam para lidar com novas necessidades, atingindo os limites de seu hardware e licenças.

Se sua organização está enfrentando esses problemas, a solutions é mais gerenciável do que você imagina.

A maneira de superar esse desafio é definindo uma estratégia de dados que esteja alinhada aos seus objetivos de negócio. Em vez de coletar e reter dados com base em requisitos arbitrários, pergunte-se o seguinte:

1. Quais dados precisam ser coletados para impulsionar um objetivo de negócios?

2. Com que frequência esses dados são usados?

3. Existe uma data de validade após a qual estes dados deixam de ser valiosos?

4. Existem requisitos de conformidade para esses dados?

Com base nas respostas às perguntas acima, as organizações podem criar uma estratégia de dados orientada aos negócios para otimizar a forma como os dados são armazenados e utilizados, maximizando seu investimento existente na Elastic.

Para demonstrar os benefícios da adoção desta estratégia, vamos explorar um estudo de caso de um cliente que passou por este processo. 

Este cliente normalmente processa 5 TB de dados por dia e lida com uma média de 250.000 eventos por segundo. No entanto, às vezes o volume aumenta para 7 TB por dia e 350.000 eventos por segundo. A implementação da Elastic para este cliente concentrou-se na ingestão de um alto volume de dados de segurança e em disponibilizá-los para a equipe do centro de operações de segurança (SOC) para buscar informações sobre incidentes cibernéticos e investigações de fraude.

Esta implementação foi tão bem-sucedida que o cliente adicionou novos casos de uso que exigiam maior retenção de dados e capacidades de buscar mais rápidas a partir de uma gama mais ampla de fontes de dados. Eles visaram os seguintes resultados de negócios:

• Otimização de log: Ao otimizar suas camadas de dados, as organizações podem aprimorar suas práticas de gerenciamento de logs, garantindo que retenham os logs certos pelo tempo certo, melhorando a eficiência operacional e a adesão à conformidade.

• Melhor utilização de licença: O armazenamento em camadas eficiente significa uma melhor utilização de licença, permitindo que as organizações aproveitem ao máximo seus recursos existentes e potencialmente evitem custos de licenciamento desnecessários.

• Eficiência de negócios aprimorada: A capacidade de encontrar insights a partir de logs de forma mais eficiente pode levar a uma melhor eficiência de negócios, permitindo uma tomada de decisão mais rápida e um planejamento estratégico mais informado.

• Onboarding de novos casos de uso: Com camadas de dados otimizadas, as organizações podem facilmente fazer o onboarding de novos casos de uso, expandindo suas capacidades de analítica de dados sem investimentos significativos em infraestrutura.

• Estratégia de dados clara: A hierarquização otimizada de dados contribui para uma estratégia de dados clara, garantindo que os dados sejam confiáveis, facilmente acessíveis e governados de forma eficaz, estabelecendo a base para a tomada de decisões orientada por dados.

Camadas de dados é um tópico complexo e cheio de nuances que merece seu próprio blog para ser detalhado. No entanto, para fins de definição de uma estratégia de dados, as diferentes camadas de dados podem ser simplificadas em três usos principais: ingestão, buscar e armazenar.

• Ingestão (hot tier): Faça a ingestão de dados o mais rápido possível com latência mínima.

• Buscar (camadas hot e warm): Pesquise dados rapidamente e processe grandes conjuntos de dados.

• Armazenar (camada cold e frozen): Armazene dados pelo tempo necessário e execute buscas ad-hoc de baixa frequência.

Entender a variedade de requisitos de retenção de dados é crucial para a conformidade e o gerenciamento de dados eficiente. Diferentes regulamentações exigem períodos de retenção variados:

• Requisitos de retenção SOX: 7 anos

• Requisitos de retenção de dados da HIPAA: 6 anos

• Requisitos de retenção de dados PCI DDS: 1 ano

• Requisitos de retenção de dados de Basileia II: 3–7 anos

• Registros de funcionários da GDPR:

  • Salários: 3 anos

  • Registros fiscais: 6 anos

  • Nome, endereço: 3 anos

• Fair Labor Standards Act: 2–3 anos

Arquitetura anterior
A arquitetura anterior tinha dois centros de dados com uma implementação de armazenamento de quatro camadas que atendia a várias necessidades de tratamento de dados. Essa implementação exigia mais hardware, licenças e sobrecarga na gestão operacional.

O cliente reteve todos os logs por 90 dias, independentemente de como os dados foram usados.

• 7 dias hot

• 2 dias quente

• 10 dias cold

• Dias restantes no frozen

O cliente tinha o mesmo hardware nas camadas hot e warm. A camada warm era usada puramente para forçar a mesclagem de índices para snapshots buscáveis. As camadas warm e cold estavam muito subutilizadas tanto em CPU quanto em armazenamento. A camada frozen era limitada, resultando em buscas históricas lentas.

Uma estratégia de dados em camadas permite que as organizações otimizem o desempenho para dados recentes enquanto armazenam grandes volumes de dados de forma eficiente. Ao aproveitar a consciência de alocação de shard, as organizações podem definir as características de cada camada e agendar a migração de índices de acordo com a estratégia de dados. Isso garante que os dados sejam armazenados na camada de hardware mais apropriada a qualquer momento, equilibrando considerações de desempenho e custo.

A relação memória-armazenamento é uma consideração crucial ao planejar o crescimento do Elastic. Abaixo estão as quatro camadas de armazenamento disponíveis para os clientes Elastic:

• Camada ativa: Otimizada para desempenho de ingestão e buscar, normalmente usando SSDs de alta velocidade com uma proporção de memória para armazenamento de cerca de 1:30

• Warm tier: Otimizado para capacidade de armazenamento, utilizando SSD ou HDDs com uma proporção de memória para armazenamento de aproximadamente 1:160

• Camada cold: Otimizada para capacidade de armazenamento usando um snapshot pesquisável como réplica (Embora a proporção de armazenamento seja a mesma da camada warm, a remoção de uma réplica local reduz pela metade os requisitos de armazenamento.)

• Camada frozen: Otimizada para fins de arquivamento, empregando armazenamento de snapshot barato com cache de disco local para fornecer uma proporção de memória para armazenamento superior a 1:1.000

Em nossa análise, avaliamos o custo total de propriedade (TCO) para várias configurações de armazenamento a fim de otimizar a implementação do Elastic de outro cliente. Abaixo, uma análise detalhada dessas configurações e seus custos associados:

•  Cluster do ES autogerenciado

•  1 TB de ingestão diária

•  Retenção total de 365 dias

Otimizar a hierarquização de armazenamento não se trata apenas de economizar custos; trata-se de permitir que as organizações evoluam e se adaptem a novos desafios e oportunidades. 

Ao abordar os desafios de otimização da Platform usando os princípios de estratégia de dados, as organizações podem facilitar novos casos de uso, melhorar a confiabilidade dos dados e aprimorar sua estratégia geral de dados. Confira nossa documentação para saber como sua organização pode criar uma implementação resiliente e eficiente do Elastic usando camadas de dados.