Migração da Splunk para o Elastic Stack: migração de dados
Quando a Splunk foi lançada há quase 20 anos, muitas organizações perceberam o poder dos logs em obter insights comerciais com preços baseados no volume de dados ingeridos por dia. Nas últimas duas décadas, o volume, a variedade e a velocidade dos dados gerados por sistemas e usuários cresceram exponencialmente. As demandas de negócios e operações passaram a um patamar além da geração de relatórios básicos e da conformidade. As metodologias de desenvolvimento e os requisitos de monitoramento evoluíram rapidamente, e as demandas cada vez maiores de machine learning para fornecer insights sobre os dados passaram a exigir recursos de buscas em tempo real.
As organizações estão alcançando limites de dados (também conhecidos como “Splunk de pico”)
Hoje, as organizações precisam conseguir fazer buscas em petabytes de dados em milissegundos para obter insights em tempo real nas operações, promover sistemas de machine learning e ampliar a estrutura na velocidade do crescimento dos negócios. O sistema de preços baseado em ingestão de dados fez com que a Splunk se tornasse proibitiva em termos de custos. Somando isso aos desafios de ampliar a tecnologia, muitas organizações chegaram à situação denominada “Splunk de pico”, na qual não conseguiam mais arcar com os custos de adicionar mais dados em seus sistemas. Essas organizações estão frequentemente disponibilizando dados valiosos para casos de uso de segurança e observabilidade. Para complicar ainda mais a situação, as aplicações premium da Splunk têm modelos de preços diferentes. Algumas são estruturadas em plataformas e arquiteturas completamente diferentes, o que dificulta a previsão dos custos e o gerenciamento da infraestrutura nessas ferramentas tão diversas. A recente depreciação da Splunk em relação ao licenciamento perpétuo também levou muitas empresas a buscar uma solução nova.
A Elastic foi criada tendo como caso de uso inicial as buscas, então foi projetada desde o começo priorizando velocidade e escalabilidade. A velocidade e a escalabilidade também são a orientação estrutural de uma família crescente de ofertas de soluções, todas construídas em uma única pilha. Com um modelo de licenciamento open source flexível aliado a preços transparentes e baseados em recursos para ofertas premium, cada vez mais organizações têm optado por migrar da Splunk para a Elastic.
Um recurso importante da Elastic é seu modelo de licenciamento open source, que permite aos novos usuários iniciar sua operação sem precisar adquirir uma licença. A licença é bem permissiva e até deixa os desenvolvedores integrarem o Elasticsearch a sua própria solução. Para os desenvolvedores, aproveitar os recursos premium da solução, como o machine learning, a APM, a replicação entre clusters, a Endpoint Security ou as ferramentas de orquestração, é uma tarefa tão simples como fazer a atualização da licença. Não há necessidade de implantar outras ferramentas, separar arquiteturas ou adquirir hardware adicional. O modelo open source também ajuda a controlar os gastos associados ao gerenciamento de vários ambientes para desenvolvimento, ensaio e produção sob controle.
Migração dos dados da Splunk para a Elastic em quatro etapas
Devido às suas vantagens únicas em relação à Splunk, a Elastic passou a ser a opção de muitas organizações. Muitas dessas organizações nos pediram para enviar as práticas recomendadas para concluir a migração. Embora não exista algo como um botão para a fácil migração de uma plataforma de dados para outra, há algumas técnicas simples que as organizações podem seguir nesses casos.
Etapa 1: identificar fontes de dados que não estão sendo ingeridos pela Splunk
Uma primeira etapa fácil é analisar as fontes de dados que não foram levadas à Splunk devido ao custo (licenciamento) ou a restrições técnicas. Essas fontes de dados normalmente têm alto volume, como DNS, DHCP, endpoint e logs de aplicações. Ao começar a promover a ingestão dessas fontes de dados previamente intocadas na Elastic, a organização pode criar novos casos de uso à medida que inicia seu uso do Elastic Stack. E você pode começar rapidamente fazendo o download da distribuição gratuita do Basic do Elastic Stack, ou fazendo um teste gratuito do Elasticsearch Service no Elastic Cloud.
Etapa 2: fazer um inventário das fontes de dados para migrar da Splunk para a Elastic
Para planejar adequadamente uma migração para a Elastic, é importante fazer um inventário de quais fontes de dados estão sendo atualmente ingeridas na Splunk. Uma maneira fácil de fazer isso é com uma consulta SPL:
| eventcount summarize=false index=* index=_* | dedup index | fields index | map maxsearches=100 search="|metadata type=sourcetypes index=\"$index$\" | eval index=\"$index$\"" | fields index sourcetype
Assim que você executar a consulta na aplicação Splunk Search, terá a opção de exportar a lista de fontes de dados em vários formatos.
Etapa 3: migrar dados existentes da Splunk para a Elastic
O Beats é nossa família de agentes de envios de dados que pode ser usada para enviar dados de milhares de sistemas para a Elastic. Porém, muitos usuários da Splunk já podem ter o Splunk Universal Forwarder implantado nos sistemas. Você pode bifurcar os dados para o Elastic Stack usando o Splunk Universal Forwarder ao iniciar a migração. Infelizmente, a Splunk impõe restrições técnicas e de licenciamento na maneira como você pode enviar dados para sistemas terceirizados com o Universal Forwarder, então é bom revisar a documentação e o licenciamento para descobrir qual é o melhor método. Com o tempo, você deve substituir os Universal Forwarders por módulos Beats para obter mais flexibilidade, segurança e confiabilidade. A equipe de consultoria da Elastic tem grande experiência em trabalhar com fontes de dados complexas e personalizadas, por isso pode ajudar você em seu processo de migração.
Etapa 4: migrar dados antigos da Splunk para a Elastic
Embora a maioria das organizações pense em iniciar a migração com dados novos, normalmente há casos de uso que exigem a migração de dados antigos da Splunk para a Elastic. Há vários métodos para fazer isso, dependendo do volume dos dados. O método mais fácil é exportar os dados da interface Splunk de acordo com a documentação da Splunk.
Você também pode usar a API Splunk para exportar dados ou pode conectar-se por ODBC. A abordagem que você utilizar dependerá do caso de uso, do volume dos dados e dos tipos de dados com que você estiver trabalhando.
Boas migrações
Ainda que essas quatro etapas ajudem a sua organização a planejar e migrar dados da Splunk para a Elastic, você também precisa treinar sua equipe. Nosso curso de treinamento de usuários do Kibana para Splunk SPL foi criado para ajudar a sua equipe nessa transição. Também oferecemos serviços de consultoria para ajudar no processo de migração. Se você quer ver como outras empresas tiveram êxito ao mudar da Splunk para a Elastic para obter um ROI melhor, mais velocidade e maior escalabilidade, confira esta história do usuário da Lyft, uma empresa de solicitação de corridas por aplicativo. Leia mais informações também em nossa página de alternativa à Splunk e entre em contato conosco se tiver dúvidas específicas.