Simplifiez vos opérations Elasticsearch grâce à une détection des problèmes en temps réel et à des recommandations exploitables pour optimiser les performances et réduire les coûts. AutoOps est disponible pour les déploiements cloud et autogérés. En savoir plus sur AutoOps.
Présentation d'AutoOps pour Elasticsearch autogéré (environnements sur site ou hébergés privés), qui facilite la gestion d'Elasticsearch. Au lieu d'une présentation traditionnelle des fonctionnalités techniques, ce blog présente sa valeur, la manière de le configurer et le type d'informations qu'il fournit - du point de vue d'un ingénieur DevOps - parce que la valeur réelle d'AutoOps est mieux perçue dans le travail quotidien de gestion d'Elasticsearch à l'échelle.
Chapitre 1 : contexte - La complexité de l'autogestion à grande échelle
L'exploitation d'une plateforme de données autogérée à grande échelle peut s'avérer complexe.
D'un moment à l'autre, les requêtes sont rapides comme l'éclair. L'instant d'après, l'ingestion prend du retard et les coûts de stockage grimpent en flèche. C'est un peu comme diriger un zoo, sauf que les animaux peuvent vous biper à 3 heures du matin.
Mon environnement n'est pas différent : plusieurs clusters, une importante recherche inter-clusters (CCS) et des centaines d'utilisateurs répartis dans plusieurs départements.
Nous utilisons Stack Monitoring pour nos opérations quotidiennes. Il fournit des graphiques et des mesures, mais il faut encore beaucoup d'expertise et de temps pour relier les points. Diagnostiquer les goulets d'étranglement ou savoir quand ajuster les stratégies de partage est encore un processus manuel et sujet aux erreurs. Dans de nombreux cas, les problèmes passent inaperçus jusqu'à ce qu'ils provoquent une panne, une baisse des performances ou un pic de stockage inattendu.
Chapitre 2 : Découvrir l'AutoOps
Puis l'annonce est tombée : AutoOps est désormais disponible pour les clusters autogérés - sur site ou dans des environnements hébergés privés.
AutoOps aide depuis longtemps les utilisateurs d'Elastic Cloud à gérer les déploiements plus efficacement. Désormais, ces mêmes avantages sont accessibles aux clusters autogérés (ECK, ECE ou autonomes), fonctionnant sur site ou dans des environnements de cloud privé.
L'argumentaire d'AutoOps est tentant :
- Détection en temps réel des goulots d'étranglement au niveau de l'ingestion, des shards déséquilibrés, des requêtes lentes, etc.
- Des recommandations concrètes adaptées à la configuration de votre cluster
- Optimisation des ressources pour améliorer l'efficacité et réduire les dépenses inutiles
- Configuration simple grâce à l'installation d'un agent léger - aucune infrastructure supplémentaire n'est nécessaire.
Honnêtement, tout ce qui promettait "pas d'infrastructure supplémentaire" retenait toute mon attention.
Chapitre 3 : installation en 5 minutes (oui, vraiment)
J'ai bloqué mon après-midi, j'ai fait des réserves de café et je me suis préparé à une longue installation. À ma grande surprise, cela n'a pris que cinq minutes :
- Connexion à mon compte Elastic Cloud
- Décider où exécuter les agents (Docker, Linux ou Kubernetes).
- Entrée de l'URL du cluster
- Il n'y a qu'une seule commande à exécuter, qui installe un agent Metricbeat léger
C'est tout. Mon cluster était connecté.
Il n'y a pas de groupes de surveillance spécialisés à prévoir. Et surtout, AutoOps n'envoie que des mesures, ce qui signifie que les données de mon entreprise sont conservées dans mon environnement autogéré.
Étape 1 : S'inscrire à Elastic Cloud
Étape 2 : Choisir l'emplacement de l'agent
Étape 3 : Saisissez votre point de terminaison Elasticsearch et la manière de vous authentifier
Étape 4 : Commande simple pour installer l'agent
C'est tout : après quelques minutes, AutoOps commencera à afficher des informations.
Pour plus de détails, reportez-vous à la documentation AutoOps onboarding et à la FAQ.
Chapitre 4 : premiers enseignements, premières victoires
En l'espace de quelques minutes, AutoOps a commencé à faire émerger des idées, à fournir une analyse des causes profondes et des étapes claires pour les résoudre.
Les faits marquants de la première semaine sont les suivants :
- Signale les indices qui ne sont rattachés à aucune politique ILM et qui sont devenus trop importants.
- L'un des clusters comportait trois nœuds vides résultant d'un travail de maintenance antérieur.
- Certains nœuds franchissaient des filigranes et quelques indices manquaient de répliques.
- Un modèle mal configuré a été détecté
- Identifie une recherche en cours depuis longtemps et suggère la commande d'annulation exacte.
AutoOps a détecté que le cluster rejette l'indexation.
AutoOps a détecté que certains index sont configurés sans réplique
Avant AutoOps, nous aurions utilisé plus de matériel pour résoudre ces problèmes. Au lieu de cela, l'AutoOps a permis de remonter directement à la cause première, et les corrections ont été effectuées en quelques minutes.
Pour une fois, un système de surveillance ne se contentait pas de me montrer des graphiques, il me disait comment résoudre le problème. J'ai commencé à me demander si AutoOps pouvait aussi aider à diagnostiquer mon Wi-Fi domestique et me libérer enfin du rôle de service informatique pour ma famille...
AutoOps surveille la taille des shards et alerte lorsqu'il y a beaucoup de shards vides.
Chapitre 5 : un soutien qui voit ce que je vois
La première fois que j'ai ouvert un dossier d'assistance, j'ai réalisé un autre avantage : les ingénieurs d'Elastic Support pouvaient voir exactement les mêmes données et recommandations que moi.
Le soutien s'est transformé en collaboration. Au lieu d'échanger des tickets, j'ai eu l'impression de travailler avec un coéquipier qui connaît Elasticsearch sur le bout des doigts.
Chapitre 6 : opérer à l'échelle
Avant AutoOps, la mise à l'échelle d'Elasticsearch relevait à la fois de la science, de l'instinct et de la connaissance tribale.
Désormais, il est axé sur les données, avec une visibilité et des recommandations claires :
- Visibilité de l'utilisation des ressources pour éviter le surapprovisionnement
- Allocation plus intelligente des disques et recommandations de hiérarchisation pour des performances équilibrées
- Des informations sur le dimensionnement de l'index qui réduisent les coûts de stockage et de matériel inutiles
- Analyse plus rapide des causes profondes sur plusieurs clusters
Chapitre 7 : le premier d'une longue série de services connectés au nuage
AutoOps est plus qu'un outil autonome. Cloud Connect permet aux clusters autogérés d'utiliser les services Elastic Cloud sans avoir à supporter les coûts opérationnels liés à l'installation et à la gestion de ces services dans leur propre environnement. Les fonctionnalités sont déployées automatiquement, de sorte que les équipes bénéficient des améliorations plus rapidement et avec moins de complexité au niveau de l'infrastructure.
A suivre : Elastic Inference Service (EIS).
Réflexions finales
La gestion de déploiements à grande échelle et autogérés ne doit pas être une tâche insurmontable.
Et si vous souhaitez des opérations encore plus simples, vous pouvez toujours déplacer certaines charges de travail vers Elastic Cloud, qu'elles soient hébergées ou sans serveur, pour la manière la plus simple d'exécuter Elasticsearch.
Si vous souhaitez continuer à fonctionner en mode autogéré, connectez n'importe quel cluster avec une licence Enterprise autogérée à AutoOps dans Elastic Cloud.
TLDR
L'exécution de grands clusters Elasticsearch autogérés est complexe et prend du temps. AutoOps apporte une détection des problèmes en temps réel, des recommandations exploitables et une visibilité partagée avec Elastic Support, sans qu'il soit nécessaire de gérer une infrastructure supplémentaire. L'installation ne prend que quelques minutes et les résultats apparaissent immédiatement.