Uma introdução ao esquema de nomenclatura de fluxos de dados da Elastic
Com o Elastic 7.9, o Elastic Agent e Fleet foram lançados, juntamente com uma nova forma de estruturar índices e fluxos de dados no Elasticsearch para dados de séries temporais. Neste post do blog, vamos apresentar uma visão geral do esquema de nomenclatura de fluxos de dados da Elastic e como ele funciona. Este é o primeiro de uma série de posts do blog sobre o esquema de nomenclatura de fluxos de dados da Elastic.
Esquema de nomenclatura de fluxos de dados Elastic
O esquema de nomenclatura de fluxos de dados da Elastic foi criado para dados de séries temporais e consiste em dividir conjuntos de dados em diferentes fluxos de dados usando a seguinte convenção de nomenclatura.
- tipo: Tipo genérico que descreve os dados
- conjunto de dados: descreve os dados ingeridos e sua estrutura
- espaço de nome: agrupamento arbitrário configurável pelo usuário
Essas três partes são combinadas por um "-" e resultam em fluxos de dados como 'logs-nginx.access-production'. Em todas as três partes, o caractere "-" não é permitido. Isso significa que todos os fluxos de dados são nomeados da seguinte forma:
{type}-{dataset}-{namespace}
Para conjuntos de dados e espaço de nome, há um valor padrão, que é dataset=generic e namespace=default. No caso do Elastic Agent, se um usuário começar a fazer a ingestão de um arquivo de log, os dados acabam em logs-generic-default.
Para obter todos os benefícios do esquema de nomenclatura de fluxos de dados Elastic, cada documento deve conter os seguintes três campos:
- data_stream.tipo
- data_stream.conjunto de dados
- data_stream.espaço de nome
Mais detalhes sobre esses campos podem ser encontrados no Elastic Common Schema (ECS). Os campos acima são mapeados como campos de palavra-chave constante, o que torna a consulta neles eficiente ao reduzir o número de shards que precisam ser consultados.
Benefícios do Esquema de Nomenclatura de Fluxos de Dados Elastic
O esquema de nomenclatura de fluxos de dados da Elastic tem alguns benefícios em relação às estratégias de indexação anteriores usadas pelos Beats e Logstash. Em vez de poucos índices grandes, são utilizados muitos fluxos de dados menores, porém mais densos. Um breve resumo dos benefícios:
- Número reduzido de campos por índice: Como os dados são divididos por conjunto de dados em múltiplos fluxos de dados, cada fluxo contém um conjunto mínimo de campos. Isso leva a melhor eficiência de espaço e consultas mais rápidas.
- Controle mais granular dos dados: a divisão dos dados por conjunto de dados e
espaço de nomepermite um controle granular sobre as permissões de rollover, retenção e segurança. - Flexibilidade: os usuários podem usar o
espaço de nomepara dividir e organizar dados da forma que quiserem. - Experiências com melhor curadoria: devido à estrutura comum do esquema de nomenclatura dos fluxos de dados da Elastic, é possível construir uma experiência com melhor curadoria sobre os fluxos de dados.
- Menos permissões de ingestão necessárias: antes, a configuração de templates e pipelines de ingestão era realizada pelo Elastic Agent. Como isso agora acontece de forma centralizada, a ferramenta de ingestão só precisa de permissões para adicionar dados.
Uso do esquema de nomenclatura do fluxo de dados Elastic
O esquema de nomenclatura de fluxos de dados da Elastic é compatível a partir da versão 7.9 do Elastic Stack e versões posteriores, pois requer compatibilidade com fluxos de dados, os novos [modelos de componentes do] Elasticsearch (https://www.elastic.co/guide/en/elasticsearch/reference/7.9/index-templates.html) e palavras-chave constantes. Modelos de índice para 'logs--' e 'metrics--' vêm com Elasticsearch >=7.9. Todos os dados enviados com o Elastic Agent utilizam o esquema de nomenclatura de fluxo de dados Elastic. Para usar, para qualquer outro agente de dados, basta seguir a estrutura de nomes e adicionar os campos data_stream para funcionar.
Resumo
Este é um breve resumo do esquema de nomenclatura de fluxos de dados da Elastic. Nos próximos posts do blog, vamos detalhar como ele funciona nos bastidores, como é usado pelo Elastic Agent e como você pode usá-lo para seu próprio benefício. Para obter mais insights, assista à análise aprofundada da nova estratégia de indexação da Elastic no canal Elastic Community no YouTube.