Sorties

Elastic Stack 5.0.0

Par
Shay Banon

En février 2016, après la tournée Elastic{ON} 16, j'ai écrit un article intitulé Heya, Elastic Stack and X-Pack. Aujourd'hui, après quasiment un an d'efforts considérables, notamment 5 versions alpha, 1 version beta et 1 version Release Candidate, nous sommes heureux d'annoncer la sortie de la version stable de la Suite Elastic.

Et vous pouvez la trouver -- dès aujourd'hui -- sur Elastic Cloud. Si vous voulez Elasticsearch et Kibana en mode hébergé, c'est ici qu'il faut commencer, avec le code le plus récent. Nous nous efforçons de faire du Cloud d'Elastic le meilleur endroit pour bénéficier des produits Elasticsearch hébergés. En fait, nous avons même mis à disposition la version Release Candidate sur le cloud pour la tester.

Aujourd'hui est un jour de fête pour notre équipe. J'espère que vous participerez aussi à cette joie.

Même si la version stable sort aujourd'hui, l'équipe d'Elastic hébergera un événement virtuel le 3 novembre pour vous présenter la version plus en détail et répondre aux questions que vous vous posez (sur un mode Ask Me Anything). Register now!

Avant de passer en revue la nouvelle version, j'aimerais rappeler ce qui nous a conduits jusqu'ici.

Notre communauté

Lors de la dernière tournée Elastic{ON}, j'ai commencé chaque session en rappelant brièvement ce qui a été accompli ces dernières années. Le point culminant de la session était lorsque j'annonçais que nous avions atteint les 75 millions de téléchargements cumulés. Au début du projet, j'espérais qu'il devienne populaire. Mais aujourd'hui, la passion et la ferveur de notre communauté ne cesse de m'enchanter et de m'étonner.

Programme "Pioneer"

En gardant cela à l'esprit, je veux communiquer les résultats du Pioneer Program. Le programme découle d'un constat. Votre utilisation de la suite Elastic Stack nous a fourni des informations importantes pour le développement et pour garantir la plus grande qualité possible. Je suis ravie de vous annoncer que la communauté a relevé 146 problèmes depuis la première version alpha en avril.

Notre communauté est l'un des atouts les plus importants d'Elastic. En fait, la modification qui a probablement suscité le plus de réaction dans cette version est le nom « Elastic Stack ».

La Suite Elastic

L'an dernier, nous avons accueilli l'équipe de Packetbeat : Beats était né. La plateforme open source Beats, dédiée à l'envoi de données de façon légères que ce soit pour les fichiers de log, aux statistiques d'infrastructure, aux paquets réseau et bien plus encore, a facilité plus que jamais l'envoi de données à Elasticsearch et Logstash. Même si nous adorons l'abréviation ELK que vous avez choisie pour notre suite, nous n'avons pas réussi à trouver un nom qui intègrerait le B de Beats dans les initiales E-L-K.

ELK Bee

Mais Elastic Stack est plus qu'un simple nom. Lorsque nous avons amorcé le cycle de la nouvelle version, nous nous sommes engagés à développer, créer, tester et publier la suite dans son intégralité. C'était capital pour assurer la compatibilité en interne. Et cela vous permet d'accélérer le déploiement, de ne pas confondre les versions et nos développeurs ont pu ajouter plus facilement de nouvelles capacités pour toute la suite logicielle Elastic Stack.

Aperçu des fonctionnalités

À l'origine, le but de cet article était de fournir un aperçu des principales caractéristiques de chaque produit. Mais je ne savais pas par où commencer ni où m'arrêter. Chaque responsable technique et manager d'équipe a publié un article pour présenter les fonctionnalités spécifiques de leur produit. Et personne n'est mieux placé qu'eux pour tout vous expliquer. Personnellement, quelques fonctions m'intéressent plus particulièrement, mais au lieu de les présenter en détail, je vais brièvement les décrire pour vous encourager à lire les articles approfondis de chaque produit.

  • Ingest Node - Ingest Node est un type de nœud appartenant à Elasticsearch et qui offre des possibilités d'enrichissement de données comme grok, geoip, date et d'autres options de manipulation basiques d'événement au moment de l'indexation (ou de la réindexation). Les pipelines sont dotés de processeurs et sont accessibles par l'API REST en ajoutant le paramètre de requête “?pipeline=x” en suffixe. La possibilité d'appliquer un pré-traitement aux documents de manière native dans Elasticsearch avant l'indexation permet différentes architectures d'ingestion créatives. Cela ne remplace pas Logstash et ne supprimer pas le besoin de Beats, mais nous disposons dorénavant de plus de liberté pour concevoir l'architecture idéale d'ingestion de données.
  • Elasticsearch Performance - Les benchmarks ont généralement un ordre du jour… En particulier les benchmarks compétitifs. C'est pourquoi nous avons consacré beaucoup d'énergie à comparer la version 5.0.0 avec les versions antérieures. Ces données sont mises à votre disposition. Ce sont elles que nous examinons lorsque nous voulons nous assurer que notre performance est satisfaisante, et nous le faisons en toute transparence afin de préserver la confidentialité et d'éviter les doutes qui pèsent souvent sur les chiffres des benchmarks. En réalité, non seulement nous mettons à disposition les résultats mais nous documentons également notre configuration matérielle : nous avons fait en sorte que notre outillage (appelé Rally) et les benchmarks eux-mêmes (Rally-Tracks) soient open source.
  • Metricbeat - Metricbeat remplace Topbeat en tant que principal outil de collecte de métriques dans la suite logicielle Elastic Stack. Comme Topbeat, Metricbeat recueille les statistiques type « tops » concernant les machines et les processus (processeur, mémoire vive, disque, réseau). Mais contrairement à Topbeat, Metricbeat collecte également des métriques provenant de systèmes comme Apache, HAProxy, MongoDB, MySQL, Nginx, PostgreSQL, Redis ou Zookeeper, sachant que d'autres viendront s'ajouter prochainement.
  • Les API de surveillance de Logstash - Une nouvelle fonction de surveillance qui apporte une visibilité sur le temps de traitement dans Logstash et ses plugins. Cette composante recueille différents types de statistiques opérationnelles pendant que Logstash traite vos données, et toutes ces informations peuvent être requêtées via nos API.
  • Timelion - Tout d'abord présenté comme un projet de re{Search}, Timelion est désormais disponible nativement dans Kibana. Timelion fournit un language de requêtage et des visualisations qui vous permettent d'explorer vos données temporelles.

Ceci n'est qu'un avant-goût. Je n'ai pas parlé des arbres BKD, de scaled_float et half_float, de l'immense effort consacré à Elasticsearch Resiliency, de la beauté à couper le souffle du nouveau design de Kibana (c'est en supprimant des bordures qu'on découvre à quel point on les déteste), de l'output Kafka dans Beats, et bien plus encore.

C'est une release majeure. C'est en lisant vos commentaires que l'on commence à réaliser l'ampleur du changement.

X-Pack

Chez Elastic, on adore les extensions. À tel point qu'on les crée et qu'on leur donne des noms intéressants. Les extensions Shield, Marvel et Watcher contenaient toutes des fonctionnalités sous licence qui n'enlevaient rien au mérite des fonctionnalités open source, mais qui ajoutaient une valeur supplémentaire pour nos clients. Malheureusement, lorsque ces fonctionnalités se sont vues ajouter Graph et Reporting, le processus d'installation est devenu difficile, voire même sujet à confusion.

Dites bonjour à X-Pack !

C'est un pack de fonctionnalités qui apporte sécurité, alertes, surveillance et gestion, reporting et graphes à la suite Elastic Stack. Notre processus d'ingénierie pour la version 5.0 ne s'arrêtait pas à Elastic Stack ; nous avons également amélioré X-Pack en ajoutant :

  • Des interfaces de gestion et de surveillance pour Kibana
  • Des interfaces de sécurité pour Kibana afin de créer les utilisateurs et leurs rôles
  • Un processus d'installation grandement simplifié

X-Pack est disponible en version d'essai et sous licence gratuite (fonctions de base) ou payante. Nous sommes particulièrement fiers de mettre gratuitement à disposition certaines fonctions de X-Pack. Tous les détails sont disponibles sur la page Subscriptions .

Pour conclure

Je suis impressionné par tous les efforts qui ont été investis dans cette version, par l'engagement de notre communauté et de nos clients, ainsi que par tout le travail accompli en amont qui servira de base aux futures versions. Comme toujours, le meilleure moyen de comprendre une nouvelle version est de l'essayer.