Log ao vivo e próspero: Elasticsearch recentemente especializado no modo de índice logsdb

Novo no Elasticsearch? Participe do nosso webinar Introdução ao Elasticsearch. Você também pode iniciar um teste gratuito na nuvem do Elastic ou experimentar o Elastic em sua máquina agora.

O novo modo de índice do Elasticsearch, o logsdb, reduz as necessidades de armazenamento de logs em até 65%

Hoje, anunciamos a disponibilidade geral do novo modo de índice do Elasticsearch, logsdb, que reduz o espaço de armazenamento de dados de log em até 65% em comparação com versões recentes do Elasticsearch sem logsdb. Essa melhoria drástica permite que as equipes de observabilidade e segurança expandam a visibilidade sem exceder seu orçamento, mantendo todos os dados imediatamente acessíveis para análise.

O logsdb otimiza a ordenação dos dados, elimina a duplicação ao reconstruir valores de campos não armazenados em tempo real com synthetic _source e melhora a compressão com algoritmos e codecs avançados, aproveitando o armazenamento em colunas no Elasticsearch para armazenamento e recuperação eficientes de logs.

Melhore a análise e reduza custos melhorando a eficiência de armazenamento com o modo de índice logsdb

Os logs fornecem sinais essenciais para detectar e corrigir problemas de observabilidade e segurança, e a utilidade está aumentando à medida que os avanços da IA facilitam a análise de dados baseados em texto, portanto, o armazenamento eficiente e o acesso de alto desempenho são mais importantes do que nunca.

Infelizmente, o crescente volume de logs gerados pela infraestrutura e pelos aplicativos está aumentando os custos, o que dificultam a análise: limitar a coleta, reduzir a retenção ou relegar dados novos a camadas de arquivamento isoladas.

O Logsdb enfrenta diretamente esses desafios. Com mais eficiência de armazenamento, você pode coletar mais dados e evitar o incômodo de uma filtragem complicada de dados. É possível reter logs por mais tempo para dar suporte à busca de ameaças, resposta a incidentes e requisitos de conformidade. E como todos os dados são sempre pesquisáveis, você pode ter insights rápidos, não importa o tamanho do seu conjunto de dados.

Inovação técnica por trás do modo de índice logsdb

O modo de índice logsdb reduz muito a pegada de disco dos dados de log com classificação inteligente de índices, synthetic _source e compressão avançada. Implementar isso pode reduzir as necessidades de armazenamento de log em até 65%, em comparação às versões recentes do Elasticsearch sem logsdb. Embora o logsdb atualmente consuma mais CPU durante a indexação, o armazenamento eficiente reduz os custos gerais para a maioria dos clientes. Para clientes que precisam de retenção a longo prazo, esperamos reduções no custo total de propriedade (TCO) de até 50%.

A classificação de índice inteligente melhora a eficiência do armazenamento em até 30% e reduz a latência da consulta em alguns conjuntos de dados de registro ao localizar dados semelhantes próximos uns dos outros. Por padrão, ele classifica os índices por host.name e @timestamp. Se seus dados tiverem campos mais adequados, você poderá especificá-los.

A compactação avançada reduz significativamente os requisitos de armazenamento para dados com muito texto, como logs, por meio da compactação Zstandard (Zstd), codificação delta, codificação de comprimento de execução e outros codecs inteligentes que são escolhidos automaticamente. Os valores doc, que são armazenados em um formato de coluna otimizado para compactação e desempenho, permitem o armazenamento e a recuperação eficientes de valores de campo para classificação, agregação e script.

O _source sintético permite que as organizações reduzam as necessidades de armazenamento em outros 20-40% descartando o campo _source e reconstruindo-o total ou parcialmente sob demanda. Embora o recurso às vezes exija mais computação para indexação e recuperação, os testes mostram que ele oferece melhorias mensuráveis na eficiência líquida. O Synthetic _source foi criado com base em quase dois anos de uso em produção com métricas, com inúmeras melhorias para logs, incluindo suporte para quase todos os tipos de campos.

As economias de armazenamento resultantes são propagadas pelas fases do ciclo de vida do índice. Uma redução de armazenamento de 65% na camada quente resultará na mesma redução nas camadas quente, fria e congelada, além de diminuir o espaço necessário para armazenar snapshots no armazenamento de buckets.

Sem comprometer a visibilidade: mantenha todos os logs para observabilidade e segurança

Logs são a fundação da visibilidade em infraestrutura e aplicações, fornecendo o sinal mais simples e essencial para monitoramento e solução de problemas. No entanto, os custos estão aumentando à medida que os volumes de dados de logging crescem. Este desafio está obrigando os clientes a implementar políticas complexas de filtragem e gerenciamento, excluir dados prematuramente e deixar logs relevantes em armazenamentos que exigem um dia ou mais para reidratar antes da análise. Sem um conjunto de dados completo, facilmente pesquisável e acessível, encontrar e resolver problemas é muito mais desafiador.

O modo de índice do Logsdb se baseia em recursos inovadores do Elasticsearch, como snapshots pesquisáveis e importação automática, para abordar esses pontos problemáticos para equipes de operações e segurança:

Reduza custos: o Logsdb reduz o espaço de armazenamento de logs em até 65%, permitindo que as organizações reduzam as despesas de armazenamento e, ao mesmo tempo, retenham mais dados. Isso se traduz em economia de custos em todos os níveis de armazenamento — do ativo ao congelado — e maior produtividade para as equipes de observabilidade e segurança que usam esses dados.

Preserve dados valiosos: o Logsdb mantém todos os seus dados de log e melhora a eficiência operacional sem depender de ferramentas extras ou filtros complicados. Com recursos como _source sintético, preserve o valor dos dados sem armazenar todo o documento de origem.

Expanda a visibilidade: o Logsdb fornece acesso eficiente a todos os dados em uma plataforma, sem silos separados para observabilidade, segurança e dados históricos. Para engenheiros de confiabilidade de site (SREs), ele acelera a resolução de problemas ao permitir a análise de logs juntamente com métricas, rastreamentos e dados comerciais. Da mesma forma, para equipes do centro de operações de segurança (SOC), ele acelera a investigação e a correção ao eliminar pontos cegos.

Simplifique o acesso aos dados: o Logsdb permite que as equipes de SRE retenham dados acionáveis de forma eficiente para solução de problemas, tendências e análises. Da mesma forma, as equipes do SOC podem pesquisar rapidamente todos os seus dados para investigação e detecção de ameaças sem incorrer em custos exorbitantes.

O Logsdb está pronto para seu ambiente

O modo de índice logsdb do Elasticsearch está geralmente disponível para clientes do Elastic Cloud Hosted e Self-Managed a partir da versão 8.17 e é habilitado por padrão para logs no Elastic Cloud Serverless.

As capacidades básicas do logsdb (incluindo a classificação inteligente de índices e a compressão avançada) estão disponíveis para organizações com licenças Padrão, Ouro e Platina. As capacidades completas do logsdb que reduzem ainda mais os requisitos de armazenamento (incluindo synthetic _source) estão disponíveis para clientes serverless e organizações com uma licença Empresarial.

Elasticsearch logsdb em ação

O logsdb permite que você mantenha todos os seus dados de log e melhore a eficiência operacional sem restringir a coleta, descartar ou isolar os dados. Com recursos como classificação inteligente de índices, compactação avançada e synthetic _source, mantenha e analise os dados que você precisa dentro de um orçamento que funcione para você.

Quer experimentar por si mesmo? Experimente o Elastic sem custos.

O lançamento e o tempo de amadurecimento de todos os recursos ou funcionalidades descritos neste artigo permanecem a exclusivo critério da Elastic. Os recursos ou funcionalidades não disponíveis no momento poderão não ser entregues ou não chegarem no prazo previsto.

Perguntas frequentes