Technique

Vous migrez vos données de Splunk à la Suite Elastic ?

Il y a près de 20 ans, Splunk faisait son apparition. À l’époque, la solution a aidé de nombreuses organisations à tirer profit des logs pour révéler des informations exploitables. La tarification se faisait en fonction du volume de données ingéré par jour. Néanmoins, on a assisté au cours des deux dernières décennies à une explosion du volume, de la diversité et de la vitesse des données générées par les systèmes et les utilisateurs. Les exigences des entreprises et des activités se sont renforcées. Aujourd’hui, la simple conformité et le reporting de base ne suffisent plus. Les méthodologies de développement et les exigences de monitoring ont rapidement évolué. Le Machine Learning est devenu incontournable pour extraire des informations exploitables depuis les données. Seulement, pour s’en servir, il faut pouvoir effectuer des recherches en temps réel. 

Données : les entreprises atteignent des limites alors que Splunk est à son maximum

Aujourd’hui, les entreprises doivent pouvoir effectuer des recherches sur des pétaoctets de données en quelques millisecondes si elles veulent obtenir des informations exploitables en temps réel, alimenter les systèmes de Machine Learning et scaler proportionnellement aux activités. Avec un système de tarification basée sur l’ingestion de données, Splunk est devenue une solution onéreuse. À cela s’ajoute les défis que représente la montée en charge de la technologie. En mettant ces éléments bout à bout, les entreprises sont arrivées au stade maximum de Splunk, c’est-à-dire qu’elles n’ont plus les moyens d’ajouter d’autres données à leurs systèmes. Bien souvent, ces entreprises passent à côté de données précieuses pour les cas d'utilisation de sécurité et d’observabilité. Pour rendre les choses encore plus complexes, les applications premium de Splunk proposent différents modèles de tarification. Certaines d’entre elles se basent même sur des plates-formes et des architectures complètement différentes. Résultat : il est difficile de prédire les coûts ainsi que de gérer l’infrastructure en raison de l’hétérogénéité des outils. Avec la dépréciation récente des licences perpétuelles de Splunk, bon nombre d’entreprises se sont mises en quête d’une nouvelle solution.

Le cas d'utilisation initial d’Elastic est la recherche. La solution est donc conçue dès le départ dans une optique de rapidité et de scalabilité. Cette vitesse et cette scalabilité sous-tendent également un vaste éventail d’offres, toutes basées sur une stack unique. Un modèle de licences open source flexible, associé à une tarification équitable en fonction des ressources pour les offres premium : voilà une combinaison gagnante qui pousse les entreprises à passer de Splunk à Elastic.

L’une des fonctionnalités clés d’Elastic, c’est son modèle de licences open source, qui permet aux nouveaux utilisateurs de se lancer sans avoir à acheter de licence. La licence est plutôt permissive. Les développeurs peuvent même intégrer Elasticsearch dans leurs propres offres. Lorsque les développeurs sont prêts à exploiter des fonctionnalités premium comme le Machine Learning, APM, la réplication inter-clusters, la sécurité au point de terminaison ou des outils d’orchestration, rien de plus simple : il leur suffit de mettre à niveau leur licence. Pas besoin de déployer d’autres outils, architectures ou matériels. Le modèle open source présente un autre avantage : il permet de contrôler les coûts associés à la gestion de plusieurs environnements (développement, mise en service et production).

Migration des données Splunk vers Elastic en quatre étapes

En raison des avantages exclusifs dont dispose Elastic par rapport à Splunk, bon nombre d’entreprises ont décidé de sauter le pas et d’entamer la transition. Elles nous ont demandé de leur communiquer des bonnes pratiques pour réaliser la migration. Même si le chemin peut être semé d’embûches pour migrer d’une plate-forme de données à une autre, il existe cependant quelques techniques simples qui pourront vous être utiles.

Phase 1 : Identifiez les sources de données non ingérées dans Splunk

Première étape : déterminez les sources de données qui n’ont pas été traitées dans Splunk soit pour des raisons économiques (licences), soit pour des raisons techniques. Il s’agit souvent de sources très volumineuses, telles que les logs DNS, DCHP, de point de terminaison et d’application. En ingérant dans Elastic ces sources de données jusque-là inexploitées, vous pourrez commencer à constituer de nouveaux cas d'utilisation tout en vous lançant avec la Suite Elastic. De plus, vous pouvez vous lancer rapidement, soit en téléchargeant la version gratuite de base de la Suite Elastic, soit en déployant une version d’évaluation gratuite d’Elasticsearch Service sur Elastic Cloud.

Phase 2 : Répertoriez les sources de données à migrer depuis Splunk vers Elastic

Pour planifier la migration vers Elastic de façon adéquate, il est important de répertorier l’ensemble des sources de données actuellement ingérées dans Splunk. Pour cela, vous pouvez tout simplement émettre une requête SPL :

| eventcount summarize=false index=* index=_* 
| dedup index
| fields index
| map maxsearches=100 search="|metadata type=sourcetypes index=\"$index$\"
| eval index=\"$index$\""
| fields index sourcetype

Une fois que vous avez généré cette requête dans l’application Splunk Search, vous pouvez exporter une liste des sources de données dans des formats divers.

Phase 3 : Migrez les flux de données existants de Splunk à Elastic

Avec Beats, nous disposons d’agents conçus pour le transfert de données qui peuvent envoyer des données depuis des milliers de systèmes vers Elastic. Néanmoins, il est fort probable que le forwarder universel Splunk soit déjà déployé dans les systèmes des utilisateurs Splunk. Vous pouvez rediriger les données vers la Suite Elastic à l’aide du forwarder universel Splunk lorsque vous démarrez votre migration. Malheureusement, Splunk impose des contraintes au niveau des licences et au niveau technique sur la façon dont vous pouvez envoyer des données vers des systèmes tiers à l’aide de son forwarder universel. Penchez-vous sur la documentation et la licence pour déterminer la meilleure méthode. Par la suite, vous devriez remplacer le forwarder universel par un module Beats pour plus de flexibilité, de sécurité et de fiabilité. L’équipe Consulting d’Elastic dispose d’une vaste expérience dans la manipulation de sources de données compliquées et personnalisées. Elle peut vous aider à réaliser votre processus de migration.

Phase 4 : Migrez vos anciennes données de Splunk à Elastic

Même si la plupart des entreprises voudront se lancer avec des données récentes, certains cas d'utilisation imposent de migrer les anciennes données contenues dans Splunk vers Elastic. Pour cela, de nombreuses méthodes s’offrent à vous. Tout dépend du volume de données. La méthode la plus simple consiste à exporter les données depuis l’interface Splunk, conformément à la documentation de Splunk

Exportation de petits ensembles de données via CSV ou JSON pour les importer dans Elasticsearch

Vous pouvez également vous servir de l’API Splunk pour exporter des données ou vous pouvez vous connecter via ODBC. L’approche à utiliser dépendra du cas d'utilisation, du volume des données et du type de données avec lesquels vous travaillez.

Pour une migration optimale

Même si ces quatre étapes aideront votre entreprise à planifier la migration des données de Splunk vers Elastic et à l’exécuter, vous devrez également former votre équipe. Notre formation Kibana for Splunk SPL Users est conçue pour aider votre équipe à réaliser cette transition. Nous proposons également des services de consulting pour accompagner le processus de migration. Petit rappel des avantages d’Elastic : un meilleur retour sur investissement, une plus grande rapidité et une scalabilité améliorée... Autant d’atouts qui ont décidé bon nombre d’entreprises à sauter le pas et à migrer vers Elastic. Vous voulez savoir comment elles ont fait ? Découvrez le témoignage de l’entreprise de covoiturage Lyft. Consultez également notre page consacrée à la transition de Splunk vers Elastic et n’hésitez pas à nous contacter si vous avez des questions spécifiques.