Tout ce que vous avez toujours voulu savoir sur Elastic sans jamais oser le demander

Petit tour d’horizon

Depuis les premiers pas d'Elasticsearch jusqu'à la naissance d'ELK, qui sera suivie d'une période absolument fabuleuse (quoique un tantinet chaotique)... Sans oublier le lancement de la Suite Elastic et l'avènement d'une nouvelle ère de l'open source... Il s'est passé tant de belles choses, que nous avons eu envie de les partager.

circle_only_path

Début des années 2000

Quand la recette du succès part d'une appli culinaire

Alors en recherche d'emploi à Londres pendant que son épouse suit des cours à l'école de cuisine Le Cordon Bleu, Shay Banon a l'idée de développer un moteur de recherche pour l'aider à s'y retrouver dans son impressionnante liste de recettes.

Sa première itération est baptisée Compass. La deuxième ? Elasticsearch (et sous le capot : Apache Lucene). Il lance Elasticsearch en open source, crée le canal IRC #elasticsearch et attend de voir... si la mayonnaise prend.

La réaction est impressionnante. Les utilisateurs l'adoptent aussi facilement que naturellement. Le nombre de téléchargements monte en flèche et une communauté commence à prendre forme. Elasticsearch ne laisse pas indifférent. En tout cas pas Steven Schuurman, Uri Boness et Simon Willnauer. Ensemble, ils fondent une entreprise centrée sur la recherche.

founders.jpg

circle_only_path

Juin 2012

Qui cherche trouve, qui dort rêve. Nous avons rêvé Elasticsearch Inc.

Elasticsearch Inc. à peine fondée, deux autres projets open source commencent à prendre forme.

Jordan Sissel travaille sur Logstash, un outil d'ingestion open source  compatible avec le système de stockage préféré de l'utilisateur, comme Elasticsearch. Il se lance aussi dans le développement d'une interface utilisateur permettant de visualiser les logs – ce qui n'était pas une mince affaire.

Mais il n'est pas le seul à s'intéresser à la visualisation, et quelqu'un d'autre vient lui prêter main forte : c'est Rashid Khan. Celui-ci travaille à une interface open source qui n'est autre que Kibana.

C'est ainsi que Shay Banon, Jordan Sissel et Rashid Khan qui échangeaient au sujet de leurs projets depuis un certain temps, décident de faire équipe. Ensemble, ils associent Elasticsearch, Logstash et Kibana. ELK était né.

Quelque temps après, deux plug-ins commerciaux font leur entrée : Marvel pour le monitoring et Shield pour la sécurité.

Quand Elastic rencontre Found

La conférence Elastic{ON} 2015 de San Francisco était l'occasion d'annoncer deux grandes nouvelles. D'abord, nous rebaptisions notre entreprise pour l'appeler Elastic. Ce nouveau nom reflétait mieux notre écosystème, qui ne cessait de s'enrichir de nouveaux produits et cas d'utilisation. Ensuite, l'union faisant la force, nous nous rapprochions de Found, une entreprise qui proposait un service d'hébergement et de gestion d'Elasticsearch sur AWS. Faire équipe avec Found nous permettait de proposer l'offre la plus simple et la plus complète du marché.

circle_only_path

Juillet 2015

Emerging from Our Primordial Ooze

Quelque part aux alentours de l'âge de pierre d'Elastic, un vent de liberté et de douce anarchie soufflait sur le développement et la publication de logiciels : chacun y allait de sa version quand bon lui semblait. L'essentiel était de créer des logiciels fabuleux. Kibana était déployé en versions bêta, Logstash employait des jalons, et Elasticsearch avait des versions numérotées. La même ambiance un peu bohème régnait du côté des plug-ins, qui apparaissaient au petit bonheur. Bref, c'était un joyeux désordre, mais cela fonctionnait... Jusqu'au jour où cela n'a plus fonctionné.

As users were doing more with the product, we needed to build a product that did more for the users. We added more capability, submitted more pull requests, built new plugins and extensions. The awesomeness increased, complexity emerged, and things got messy for our technology stack.

For instance, if you were running version 1.7 of Elasticsearch and version 2.3 of some plugin, there wasn’t an automatic way to know if they were compatible or if the plugin was silently failing. This was a bug.

We also started to hear ourselves say things like, “If you want to use Shield, you need Elasticsearch 1.4.2….unless you’re using Watcher. In that case, you’ll need Elasticsearch 1.5.2. And if you’re using Elasticsearch 1.5.2, that’s only compatible with Kibana 4.0.x, Logstash 1.4.x, Shield 1.2.x, and Watcher 1.0.x.”

We had arrived at a special sort of versioning hell — and the support matrix didn’t look any better. It was time for a change.

Pausing to Take a Beat(s)

While the product teams wrestled with version numbers, another product story was unfolding. In 2015, we welcomed Packetbeat, a Berlin-based, husband-and-wife team engineering a lightweight way to send network data to Elasticsearch, to the Elastic family.

That got us thinking: what if we had a family of single-purpose, lightweight data shippers to send network data, logs, metrics, audit data, and more from edge machines to Logstash and Elasticsearch? And so Beats was born.

circle_only_path

Octobre 2015

Bonanza : le début d'une longue série

Octobre 2015 marque un tournant dans notre façon de gérer nos versions et les questions de compatibilité.

Avec la "version bonanza" (en référence à l'une des plus longues séries télévisées américaines), c'est la première fois que nous publions l'ensemble de nos produits (Elasticsearch 2.0, Logstash 2.0, Watcher 2.0, Shield 2.0 et Kibana 4.2) le même jour. (La plateforme Beats 1.0, quant à elle, devait encore attendre un petit mois.)

Coordonner nos efforts n'a pas été une mince affaire. Les équipes techniques ont dû revoir leur façon de collaborer pour développer et tester les produits. Mais le jeu en valait la chandelle. Pour les utilisateurs, la prise en main de nos produits devenait plus simple. Sans compter que les produits eux-mêmes gagnaient en fiabilité, permettant du même coup aux utilisateurs de placer la barre plus haut.

Elastic Cloud entre en scène

Quelques mois plus tard, la version bonanza n'allait plus se contenter d'être une version téléchargeable. Elasticsearch et Kibana étaient désormais disponibles en tant que service sur AWS via Elastic Cloud (offre jusque-là connue sous le nom de Found).

circle_only_path

Octobre 2016

De BELK 5.0 à la Suite Elastic 5.0

Aligner le rythme des publications sur Elasticsearch 2.0 était la première étape si nous voulions proposer une offre plus mature. La version 5.0 était la seconde étape. Elle inaugurait une expérience plus intégrée, mieux testée et plus simple à prendre en main que jamais.

La version 5.0 regroupait aussi tous nos plug-ins commerciaux (à l'époque appelés Shield, Marvel et Watcher) en une seule extension baptisée X-Pack. Celle-ci intégrait à nos produits phares des fonctionnalités telles que Security, Monitoring et Alerting. À ces fonctionnalités vint ensuite s'ajouter Machine Learning quand la société londonienne Prelert rejoignit la famille Elastic.

Des modules qui riment avec simplicité

Avec la version 5.3 (publiée en mars 2017), Filebeat officialise le concept de "modules", autrement dit, un ensemble de configurations sûres, qui permettent le transfert, l'analyse, le stockage, l'examen et la visualisation dans la Suite Elastic de formats de log courants (par exemple, Apache, Nginx ou MySQL). Avec les modules, le passage des ensembles de données aux tableaux de bord devient plus simple et l'expérience des nouveaux utilisateurs s'en trouve facilitée.

Metricbeat et Packetbeat intègrent aussi leurs propres modules. Quelques mois plus tard, Logstash propose à son tour des modules pour les données ArcSight et NetFlow.

circle_only_path

Mai 2017

A New Frontier: Introducing ECE

Avec Elastic Cloud Enterprise nous franchissons un nouveau cap

circle_only_path

Octobre 2017

L'alchimie des solutions Elastic fonctionne

Avec la multiplication des modules, se lancer avec la Suite Elastic pour répondre à un cas d'utilisation donné (logging ou indicateurs, par exemple) devient de plus en plus simple. Une dynamique qui continue avec l'arrivée d'Opbeat, et, quelques mois plus tard, de Swiftype : la première est une société danoise spécialisée en monitoring des performances applicatives (APM), la seconde, une société californienne spécialisée en solutions de recherche pour sites web et entreprises. Les deux entreprises font maintenant partie d'Elastic.

À ce stade, notre entreprise avait gagné en maturité et s'était armée de méthodes rationalisées pour résoudre les problèmes courants. Nous étions en mesure de présenter officiellement nos solutions. Et si celles-ci vont de la solution en libre service laissant l'utilisateur libre de bidouiller, jusqu'à des solutions clés en main, chacune est adossée à un vrai produit et son déploiement ne prend que quelques minutes.

circle_only_path

Février 2018

Nous ouvrons le code d’X-Pack

De l'open source à la communication ouverte, l'ouverture nous tient décidément à cœur. C'est pourquoi nous avons décidé d'ouvrir le code de nos fonctionnalités commerciales X-Pack à la lecture. L'idée est d'accélérer le processus de développement et de booster l'engagement de la communauté – chacun pouvant contribuer à notre code, l'inspecter et nous faire part de ses commentaires.

Résultat : se lancer avec la Suite Elastic devient encore plus simple – toutes les fonctionnalités intégrées à X-Pack étant maintenant disponibles avec les distributions par défaut d'Elasticsearch, Kibana, Beats et Logstash. De plus, nous n'avons pas touché au code Apache 2.0, qui reste disponible. À la place, nous avons préféré doubler la dose d'ouverture. On ne se refait pas.

circle_only_path

Octobre 2018

Ding, ding, dong

Le 5 octobre à 9:30 sonnantes, la cloche de Wall Street a retenti, faisant officiellement d'Elastic une société ouverte. Avec 230 salariés d'Elastic présents dans la salle de marché (du jamais vu) et des centaines d'autres sur les quatre continents, notre entreprise distribuée à fêté ce grand événement. Ce n'était qu'un jour parmi tous ceux qui nous attendent encore, mais c'était un grand jour. Avouons-le.

Notre histoire ne fait que commencer. Restez connecté pour ne rien manquer de l'aventure.

Bienvenue sur la planète Elastic

Découvrez ce que nous faisons, comment nous l'appliquons dans la vraie vie et comment nous le partageons avec l'ensemble de la communauté.