ECK demande nettement plus d'efforts que les solutions Elastic Cloud basées sur la Marketplace, mais il est plus automatisé que le déploiement de VM par vous-même, car l'opérateur Kubernetes s'occupera de l'orchestration du système et de la mise à l'échelle des nœuds.

Cette fois, nous allons travailler avec le service Azure Kubernetes (AKS), en utilisant Automatic. Dans les autres articles, vous apprendrez à utiliser Azure VM et Azure Marketplace.

Qu'est-ce qu'AKS Automatic ?

Azure Kubernetes Service (AKS) gère automatiquement la configuration des clusters, alloue dynamiquement les ressources et intègre les meilleures pratiques de sécurité tout en préservant la flexibilité de Kubernetes, ce qui permet aux développeurs de passer d'une image de conteneur à une application déployée en quelques minutes.

AKS Automatic supprime la plupart des frais généraux liés à la gestion des clusters et offre un bon équilibre entre simplicité et flexibilité. Le bon choix dépend de votre cas d'utilisation, mais la décision est plus facile à prendre si vous prévoyez de le faire :

• Déployer un environnement de test : Le déploiement est rapide et simple, ce qui le rend idéal pour les expériences rapides ou les clusters de courte durée.

• Travaillez sans exigences strictes en matière de VM, de stockage ou de réseau : AKS Automatic fournit des valeurs par défaut prédéfinies, de sorte que si celles-ci correspondent à vos besoins, vous n'avez pas besoin d'une configuration supplémentaire.

• Commencez avec Kubernetes pour la première fois : En prenant en charge une grande partie de la configuration du cluster, AKS Automatic réduit la courbe d'apprentissage et permet aux équipes de se concentrer sur leurs applications.

Pour Elasticsearch, nous allons utiliser Elastic Cloud on Kubernetes (ECK), qui est l'opérateur officiel d'Elastic Kubernetes qui simplifie l'orchestration des déploiements Kubernetes de la pile Elastic.

Comment configurer AKS Automatic

1. Connectez-vous au portail Microsoft Azure.

2. En haut à droite, cliquez sursur le bouton Cloud Shell pour accéder à la console et déployer le cluster AKS à partir de là. Vous pouvez également utiliser Azure Cloud Shell.

N'oubliez pas de mettre à jour l'identifiant du projet avec le vôtre pendant le tutoriel.

L'ouverture de l'AKS devrait ressembler à la capture d'écran ci-dessus.

3. Installez l'extension aks-preview Azure CLI. Cette version preview nous permettra de sélectionner --sku automatic lors de la création du cluster, ce qui activera la fonction AKS Automatic.

Si vous voyez ce message, cela signifie que l'extension AKS a été installée correctement.

4. Enregistrer les indicateurs de caractéristiques à l'aide de la commande az feature register

Vous verrez les détails de l'abonnement de fonctionnalité que nous venons de créer :

Vérifiez l'état de l'enregistrement jusqu'à ce qu'il passe de "En cours d'enregistrement" à "Enregistré". L'enregistrement peut prendre quelques minutes.

Exécutez az provider register pour propager les modifications.

5. Créer un groupe de ressources

Un groupe de ressources est un groupe logique de ressources Azure à gérer et à déployer.

6. Créez un cluster Autopilot. Nous le nommerons myAKSAutomaticCluster et utiliserons le groupe de ressources que nous venons de créer. Assurez-vous d'avoir 16 vCPUs disponibles sur l'une des tailles de VM suivantes : Standard_D4pds_v5, Standard_D4lds_v5, Standard_D4ads_v5, Standard_D4ds_v5, Standard_D4d_v5, Standard_D4d_v4, Standard_DS3_v2, Standard_DS12_v2 pour qu'AKS alloue des ressources.

* Si vous obtenez des erreurs MissingSubscriptionRegistration, revenez à l'étape 4 avec les abonnements manquants. Par exemple , The subscription is not registered to use namespace 'microsoft.insights' nécessite l'exécution de az provider register --namespace Microsoft.Insights.

Suivez la connexion interactive :

Un message demandant d'exécuter "az login" s'affiche. Vous devez exécuter cette commande et attendre.

7. Attendez qu'il soit prêt. Il faut environ 10 minutes pour le créer.

8. Configurer l'accès à la ligne de commande kubectl.

Notez que l'extension que nous avons installée active AKS Automatic.

9. Confirmez que les nœuds ont été déployés.

Vous verrez un message d'erreur interdit ; copiez l'identifiant de l'utilisateur dans le message d'erreur.

10. Ajoutez votre utilisateur au contrôle d'accès AKS.

Obtenir l'ID AKS. Copie la sortie de la commande.

Créez une attribution de rôle en utilisant l'identifiant AKS et l'identifiant principal de votre utilisateur.

11. Essayez de confirmer que les nœuds ont été déployés à nouveau.

12. Installez l'opérateur Elastic Cloud on the Kubernetes (ECK).

13. Créons une instance Elasticsearch à nœud unique avec les valeurs par défaut.

Nous avons désactivé nmap parce que la machine AKS par défaut a une valeur vm.max_map_count trop faible. Sa désactivation n'est pas recommandée pour la production, mais l'augmentation de la valeur de vm.max_map_count. Pour en savoir plus , cliquez ici.

14. Déployons également un cluster Kibana à nœud unique. Pour Kibana, nous allons ajouter un équilibreur de charge, qui nous donnera une IP externe que nous pouvons utiliser pour atteindre Kibana depuis notre appareil.

Par défaut, AKS Automatic configure l'équilibreur de charge comme étant public ; vous pouvez modifier ce comportement en définissant l'annotation des métadonnées :

service.beta.kubernetes.io/azure-load-balancer-internal: "true"

15. Vérifiez que vos pods fonctionnent.

16. Vous pouvez également lancer kubectl get elasticsearch et kubectl get kibana pour obtenir des statistiques plus spécifiques comme la version d'Elasticsearch, les nœuds et l'état de santé.

17. Accédez à vos services.

Cela vous montrera l'URL externe de Kibana sous EXTERNAL-IP. Le provisionnement de l'équilibreur de charge peut prendre quelques minutes. Copier la valeur de EXTERNAL-IP.

18. Obtenez le mot de passe Elasticsearch pour l'utilisateur 'elastic' :

19. Accédez à Kibana via votre navigateur :

a. URL : https://<EXTERNAL_IP>:5601

b. Nom d'utilisateur:elastic

c. Mot de passe:c44A295CaEt44D6xIzN6Zs5m (de l'étape précédente)

20. Lorsque vous accédez à Elastic Cloud à partir de votre navigateur, vous verrez l'écran de bienvenue.

Si vous souhaitez modifier les spécifications du cluster Elasticsearch, comme changer ou redimensionner les nœuds, vous pouvez appliquer à nouveau le manifeste YML avec les nouveaux paramètres :

Dans cet exemple, nous allons ajouter un nœud supplémentaire et modifier la RAM et la CPU. Comme vous pouvez le voir, kubectl get elasticsearch affiche maintenant 2 nœuds :

Il en va de même pour Kibana :

Nous pouvons ajuster le CPU/RAM du conteneur ainsi que l'utilisation de la mémoire de Node.js (max-old-space-size).

N'oubliez pas que les créances en volume existantes ne peuvent pas être réduites. Après avoir appliqué la mise à jour, l'opérateur effectuera les changements avec un minimum de temps d'interruption.

N'oubliez pas de supprimer la grappe lorsque vous avez terminé les tests afin d'éviter des coûts inutiles.

Conclusion

L'utilisation d'Azure AKS Automatic avec ECK fournit une solution équilibrée pour le déploiement d'Elasticsearch et de Kibana : elle réduit la complexité opérationnelle, assure une mise à l'échelle et des mises à jour automatisées, et tire parti de la flexibilité de Kubernetes. Cette approche est idéale pour les équipes qui souhaitent un processus de déploiement fiable, reproductible et maintenable sans avoir à gérer manuellement chaque détail de l'infrastructure, ce qui en fait un choix pratique pour les environnements de test et de production.

Étapes suivantes

Si vous souhaitez en savoir plus sur Kubernetes, vous pouvez consulter la documentation officielle ici :

• Elastic Cloud sur Kubernetes | Elastic Docs

• Introduction à Azure Kubernetes Service (AKS) Automatique (preview)

• AKS Automatic - Blog d'AKS Engineering

Nous allons utiliser Elastic Cloud Service sur AWS, qui est le service Elasticsearch géré officiel qui simplifie le déploiement et l'orchestration de tous les composants d'Elastic Stack via l'infrastructure native d'AWS.

Si vous souhaitez savoir comment installer et configurer Elasticsearch sur AWS EC2, consultez ce blog.

Qu'est-ce qu'AWS Marketplace ?

Elastic sur AWS Marketplace offre une expérience de recherche et d'analyse entièrement gérée où AWS s'occupe du provisionnement de l'infrastructure, de la sécurité et du scaling, tandis que les développeurs se concentrent sur la création d'applications de recherche. Cela permet aux équipes de déployer des clusters Elasticsearch de niveau entreprise en quelques minutes grâce à des intégrations AWS prédéfinies.

Quand utiliser Elastic sur AWS Marketplace ?

Elastic sur AWS Marketplace est parfaitement adapté aux organisations disposant d'une infrastructure AWS existante et souhaitant déployer Elasticsearch avec des services gérés, une sécurité intégrée et des intégrations AWS transparentes sans frais opérationnels supplémentaires.

Comment configurer Elastic Cloud sur AWS Marketplace

Étape 1 : Accédez à AWS Marketplace

1. Connectez-vous à AWS

• Dans la barre de recherche, recherchez AWS Marketplace

2. Dans le panneau de navigation de gauche, cliquez sur Discover products (Découvrir les produits), puis recherchez Elasticsearch

3. Cliquez sur Elastic Cloud (Elasticsearch Service)

Étape 2 : abonnez-vous au service

1. Sélectionnez purchase options (options d'achat) ou cliquez sur Try for free (Essayer gratuitement)

2. Examinez les détails des tarifs, les conditions générales et les détails d'achat.

3. Cliquez sur le bouton Subscribe (S'abonner)

4. Nous devons maintenant configurer le compte Elastic. Suivez les étapes sur AWS

a. Cliquez sur le bouton Activer l’intégration

b. Cliquez sur le bouton Sign in (Connexion) ou Create a vendor account (Créer un compte vendeur)

c. Cliquez sur le bouton Launch template (Lancer le modèle)

d. Cliquez sur le bouton Launch Software (Lancer le logiciel)

Étape 3. Configurez votre nouveau compte dans Elastic

1. Créez votre compte Elastic

2. Validez votre adresse e-mail

3. Saisissez votre nom et les informations de votre entreprise

4. Répondez à un court questionnaire Elastic

5. Sélectionnez la région dans laquelle vous souhaitez héberger Elastic Cloud. Par défaut, votre région AWS actuelle sera sélectionnée

6. Attendez qu'Elastic se déploie

7. Votre déploiement est connecté à votre abonnement AWS Marketplace

Annuler votre abonnement

Pour annuler votre abonnement

1. Accédez à la console AWS

Recherchez AWS Marketplace dans la barre de recherche. Cliquez sur AWS Marketplace

2. Cliquez sur Elastic Cloud subscription (Abonnement Elastic Cloud)

3. Cliquez sur le bouton Actions, puis sur Cancel subscription (Annuler l'abonnement)

4. Confirmez l'annulation, cliquez sur Yes puis sur le bouton cancel subscription

5. Un message de confirmation apparaîtra en haut de la page

Étapes suivantes

Démarrez votre expérience Elastic Cloud avec un essai gratuit de 7 jours comprenant un déploiement unique et trois projets Elastic Cloud (Elasticsearch Service). Connectez-vous simplement à votre compte AWS et cliquez sur "View Purchase Options" (Voir les options d'achat) pour commencer immédiatement à utiliser la plateforme Search AI d'Elastic sur Elastic Cloud (Elasticsearch Service). L'essai offre un accès complet aux solutions de recherche, de sécurité et d'observabilité sans aucun surcoût lié à la gestion de l'infrastructure.

Pour Elasticsearch, nous allons utiliser Elastic Cloud on Kubernetes (ECK), qui est l’opérateur Kubernetes officiel d’Elasticsearch et qui simplifie l’orchestration des déploiements Kubernetes pour tous les composants Elastic Stack.

Pour en savoir plus sur la façon de déployer des clusters Elasticsearch sur différentes infrastructures GCP, vous pouvez consulter nos articles de prise en main pour Google Cloud Compute et Google Cloud Marketplace.

Effort de déploiement d'Elasticsearch

Qu'est-ce que GKE Autopilot ?

Google Kubernetes Engine (GKE) Autopilot offre une expérience Kubernetes entièrement gérée où Google prend en charge la configuration du cluster, la gestion des nœuds, la sécurité et la mise à l'échelle, tandis que les développeurs se concentrent sur le déploiement des applications, permettant aux équipes de passer du code à la production en quelques minutes grâce à de bonnes pratiques intégrées.

Quand utiliser l’ECK dans Google Cloud ?

Elastic Cloud on Kubernetes (ECK) est parfaitement adapté aux entreprises qui disposent d'une infrastructure Kubernetes existante et souhaitent déployer Elasticsearch avec des fonctionnalités avancées telles que des rôles de nœuds dédiés, la haute disponibilité et l'automatisation.

Comment configurer ECK dans Google Cloud ?

1. Connectez-vous à la Google Cloud Console.

2. En haut à droite, cliquezsur le bouton Cloud Shell pour accéder à la console, et déployez le cluster GKE à partir de là. Sinon, vous pouvez utiliser la CLI gcloud.

N'oubliez pas de remplacer l'identifiant du projet par le vôtre pendant le tutoriel.

3. Activez l'API Google Kubernetes Engine.

Cliquez sur Suivant.

L'API Kubernetes Engine devrait désormais apparaître comme activée lorsque vous recherchez cette API.

4. Dans Cloud Shell, créez un cluster Autopilot. Nous le nommerons autopilot-cluster-1, et remplacerons également autopilot-test par l'identifiant de votre projet.

5. Attendez qu le cluster soit prêt. La création prend environ 10 minutes.

Un message de confirmation s’affiche après avoir correctement configuré le cluster.

6. Configurez l'accès à la ligne de commande kubectl.

Vous devriez voir :

Entrée kubeconfig générée pour autopilot-cluster-1

7. Installez l’opérateur Elastic Cloud on Kubernetes (ECK).

8. Créons une instance Elasticsearch à nœud unique avec les valeurs par défaut.

Si vous souhaitez consulter quelques recettes pour différentes configurations, suivez ce lien.

Gardez à l’esprit que si vous ne spécifiez pas de storageClass, ECK utilisera celui défini par défaut, qui, pour GKE, est standard-rwo et qui utilise le disque persistant Compute Engine CSI Driver, et créera un volume de 1 Go avec celui-ci.

Nous avons désactivé nmap, car la machine GKE par défaut a une valeur de vm.max_map_count trop basse. Il est recommandé de ne pas la désactiver pour la production, mais d'augmenter la valeur de vm.max_map_count. Vous pouvez en savoir plus sur la façon de procéder ici.

9. Déployons également un cluster Kibana à nœud unique. Pour Kibana, nous ajouterons un équilibreur de charge qui nous donnera une adresse IP externe que nous pourrons utiliser pour accéder à Kibana depuis notre appareil.

Notez l'annotation :

cloud.google.com/l4-rbs: "enabled"

Cette adresse est très importante car elle indique à Autopilot de fournir un équilibreur de charge accessible au public. Si l'adresse IP n'est pas définie, l'équilibreur de charge sera interne.

10. Vérifiez que vos pods sont en cours d'exécution.

11. Vous pouvez également run kubectl get elasticsearch et kubectl get kibana pour des statistiques plus spécifiques, telles que la version d'Elasticsearch, les nœuds et l'état d'intégrité.

12. Accédez à vos services.

Cela vous indiquera l'URL externe de Kibana sous EXTERNAL-IP. Le provisionnement de l'équilibreur de charge prend quelques minutes. Copiez la valeur de EXTERNAL-IP.

13. Obtenez le mot de passe Elasticsearch pour l’utilisateur "elastic" :

14. Accédez à Kibana depuis votre navigateur :

• URL : https://<EXTERNAL_IP>:5601

• Nom d'utilisateur:elastic

• Mot de passe : 28Pao50lr2GpyguX470L2uj5 (de l’étape précédente)

15. En accédant depuis votre navigateur, l'écran de bienvenue apparaît.

Si vous souhaitez modifier les spécifications du cluster Elasticsearch, comme modifier ou redimensionner les nœuds, vous pouvez réappliquer le fichier manifeste yml avec les nouveaux paramètres :

Dans cet exemple, nous allons ajouter un nœud supplémentaire et modifier la mémoire vive et le processeur. Comme vous pouvez le voir, kubectl get elasticsearch affiche maintenant 2 nœuds :

Il en va de même pour Kibana :

Nous pouvons ajuster le processeur/la RAM du conteneur ainsi que l'utilisation de la mémoire Node.js (max-old-space-size).

N'oubliez pas que les revendications de volume existantes ne peuvent pas être réduites. Après avoir appliqué la mise à jour, l'opérateur effectuera les modifications avec un temps de perturbation minimal.

N’oubliez pas de supprimer le cluster une fois les tests terminés pour éviter des coûts inutiles.

Étapes suivantes

Si vous souhaitez en savoir plus sur Kubernetes et Google Kubernetes Engine, consultez ces articles :

• Elastic Cloud sur Kubernetes | Elastic Docs

• Présentation de GKE Autopilot | Blog Google Cloud

• Aperçu d'Autopilot | Google Kubernetes Engine (GKE)