Elastic 9.5 : mode en colonnes, mode d'indexation VectorDB et auto-étalonnage, tri des alertes piloté par l'IA

Elastic 9.5 apporte des améliorations conçues pour permettre à chaque utilisateur d'aller plus vite, d'opérer avec une plus grande confiance et de tirer davantage de valeur de ses données, tout en réduisant les frictions. Cette version innove sur plusieurs aspects d'Elasticsearch Platform, du stockage et de l'interrogation des données à la création et à la gouvernance d'agents IA, ainsi que les tableaux de bord Kibana remaniés. Découvrez tous les détails ci-dessous.

Elastic a le plaisir d'annoncer la préversion technique du Columnar Mode, un mode d'indexation optionnel qui stocke chaque champ une seule fois dans un magasin en colonnes, sans index inversé par défaut. Cela permet de réduire considérablement l'empreinte de stockage tout en offrant une base pour une indexation et des requêtes analytiques plus rapides, ainsi qu'une durée de conservation des données prolongée. Ce mode fonctionne avec les modes d'indexation existants sans nécessiter de modifications des API, des tableaux de bord ou des intégrations. S'appuyant sur cette base, la fonctionnalité de Columnar Logs est le premier profil spécialisé conçu spécifiquement pour les données de log ; il conserve un seul index inversé sur le champ de message, de sorte que la recherche full-text reste rapide tout en stockant le reste des données entièrement en colonnes. Résultat : une réduction significative du volume de stockage par rapport aux méthodes actuelles sans altérer l'expérience de recherche sur laquelle s'appuient les équipes. Ces deux modes sont optionnels et les index existants restent inchangés.

Les équipes qui développent des systèmes de recherche pour les applications de génération augmentée par récupération (RAG) et les agents IA doivent généralement prendre de nombreuses décisions de configuration lors de l'indexation, une tâche particulièrement complexe à l'échelle de la production. Nous introduisons ces fonctionnalités pour vous décharger de la configuration et du réglage des index, de façon à bénéficier d'une recherche vectorielle immédiatement opérationnelle.

Le mode d'indexation VectorDB offre une recherche vectorielle haute performance grâce à un seul paramètre, sans aucune configuration manuelle nécessaire. Il applique les paramètres par défaut déjà optimisés pour les vecteurs, en ajustant la quantification, la politique de fusion et le chargement du cache, ce qui simplifie la mise en place de la recherche vectorielle et garantit des performances optimales dès le déploiement.

L'auto-étalonnage pour la recherche vectorielle DiskBBQ configure automatiquement la profondeur de quantification, le préconditionnement et le suréchantillonnage en se basant sur une analyse statistique des vecteurs présents dans l'index. Ce réglage, qui nécessite habituellement expertise et expérimentation, s'effectue désormais automatiquement grâce à des algorithmes uniques développés chez Elastic.

La recherche sémantique multimodale facilite la recherche d'images pour les développeurs. La recherche d'images implique normalement de configurer des embeddings, d'ingérer et de générer des embeddings d'images, et de générer des embeddings de requête. Le nouveau champ semantic simplifie ces étapes de sorte que les utilisateurs peuvent rechercher des images aussi facilement qu'ils recherchent du texte avec semantic_text.

Elastic 9.5 offre aux développeurs une visibilité et un contrôle accrus lors de la création d'agents IA pour la production. La fonctionnalité Agent Observability and Monitoring (observabilité et surveillance des agents), maintenant disponible en préversion technique, assure le suivi des appels aux grands modèles de langage (LLM), des invocations d'outils et des étapes de raisonnement au format OpenTelemetry (OTel) dans Elasticsearch, tandis que les approbations avec intervention humaine encadrent les actions sensibles et consignent chaque décision dans une piste d'audit. Les développeurs peuvent également créer des skills, des requêtes et des workflows directement depuis l'interface de chat en décrivant la fonctionnalité souhaitée, par exemple un workflow pour générer un tableau de bord. Agent Builder élabore, nomme et enregistre alors la configuration sans qu'ils aient à quitter la conversation, ce qui réduit le temps de mise en place ainsi que la nécessité de maîtriser le modèle de configuration sous-jacent.

Avec la version 9.5, notre API Dashboards & Visualizations est désormais en disponibilité générale, offrant aux équipes plateforme une méthode stable et prise en charge pour créer, mettre à jour et gérer ces éléments via du code. Par ailleurs, les tableaux de bord dans le chat passent également en disponibilité générale, avec une qualité de conversation et des capacités de création de contrôles améliorées, ainsi qu'une rapidité accrue. Ces avancées réduisent considérablement le délai d'obtention d'informations exploitables et dispensent les utilisateurs de créer manuellement des tableaux de bord, accélérant l'analyse des incidents. En effet, l'obtention rapide d'une visualisation claire réduit directement le temps de résolution. Enfin, pour les cas d'utilisation où la rapidité est primordiale, l'activation de l'interface utilisateur Fast Mode permet aux requêtes basées sur STATS dans les tableaux de bord et l'outil Discover de s'exécuter sur un ensemble de données échantillonné plutôt que de parcourir l'intégralité des données, tout en extrapolant les résultats à l'échelle réelle avec une précision quasi exacte.

Elastic Workflows dans la version 9.5 accélère la création d'automatisations et permet de visualiser précisément le comportement d'un workflow avant son exécution. La création en langage naturel est désormais en disponibilité générale et activée par défaut, ce qui permet aux équipes de décrire l'automatisation souhaitée en langage courant, lequel est ensuite généré automatiquement. La gestion des versions est intégrée : elle suit chaque modification, permet de comparer deux versions et offre la possibilité de revenir à une version fonctionnelle en un clic, garantissant ainsi une traçabilité complète (qui a modifié quoi et quand). Le mode visuel présente le workflow sous forme de graphe, rendant visibles d'un coup d'œil les déclencheurs, les étapes, les ramifications et la logique, le tout aux côtés du code YAML ; l'édition par glisser-déposer sera disponible prochainement. Enfin, l'intervention humaine s'étend désormais au-delà de Kibana. Lorsqu'un workflow nécessite une approbation ou un avis humain, il se met en pause et transmet la demande à des outils tels que Slack. L'automatisation prend en charge les tâches de routine, tandis que les équipes conservent la maîtrise des décisions nécessitant un jugement humain. Ces fonctionnalités font partie intégrante d'Elasticsearch Platform et sont disponibles pour les solutions Search, Observability et Security.

Elastic 9.5 apporte des améliorations au niveau de l'observabilité, conçues pour accélérer l'adoption d'une surveillance unifiée et en faciliter la mise à l'échelle. Qu'il s'agisse de migrer depuis Prometheus, d'intégrer Kubernetes ou de connecter des données issues du cloud et de solutions SaaS, la prise en main est simplifiée et la charge opérationnelle réduite. Grâce à des workflows SRE optimisés, des intégrations gérées et un contexte enrichi pour l'IA, les équipes passent plus rapidement de la détection au diagnostic.

Avec la version 9.5, la consolidation de l'observabilité à l'aide de métriques de premier ordre est plus facile que jamais. Grâce au point de terminaison Remote Write de Prometheus et à la compatibilité native de PromQL directement intégrés à ES|QL, les équipes peuvent diriger les tableaux de bord et les requêtes Grafana existants vers Elastic avec un effort de migration minimal : nul besoin d'abandonner le langage de requête et les workflows qu'elles ont mis des années à développer. Un nouvel outil de migration, désormais aussi en disponibilité générale, permet d'importer automatiquement les tableaux de bord et les alertes Grafana et Datadog dans Elastic. Les utilisateurs peuvent ainsi tirer parti de l'efficacité du stockage d'Elasticsearch (jusqu'à 2,5 fois supérieure à celle de Prometheus) et de la rapidité d'exécution des requêtes (jusqu'à 30 fois plus rapide que Prometheus) sans avoir à repartir de zéro. Dans la version 9.5, un nouveau codec (ES95) s'appuie sur les gains d'efficacité déjà considérables d'Elasticsearch grâce aux métriques en colonnes pour réduire encore les coûts de stockage d'environ 20 %, atteignant ainsi une moyenne de 3 octets par échantillon. Les utilisateurs peuvent ainsi surveiller davantage de services et conserver leurs métriques plus longtemps sans faire exploser la facture. Outre les tableaux de bord en tant que code et les tableaux de bord intégrés au chat, ces mises à jour permettent aux utilisateurs d'unifier métriques, logs et traces sur une plateforme unique et de les corréler entre eux pour une analyse plus rapide des causes profondes, tout en conservant les workflows et les standards qu'ils utilisent déjà.

Grâce aux dernières intégrations prêtes à l'emploi d'Elastic pour Kubernetes et AWS (en préversion technique), quelques minutes suffisent pour passer de zéro à une surveillance complète. La surveillance de Kubernetes est maintenant en disponibilité générale et inclut des tableaux de bord, des alertes, des SLO et des tâches de machine learning préconfigurés. De plus, des skills d'agent et une application MCP d'observabilité permettent d'effectuer la surveillance de l'état d'intégrité, la détection d'anomalies, l'analyse d'incidents et la remédiation via n'importe quel outil d'IA compatible MCP utilisé par les ingénieurs SRE. Ces packages d'intégration complets permettent aux équipes de tirer immédiatement parti des métriques dès la connexion.

Les intégrations gérées Elastic éliminent la charge opérationnelle liée à l'ingestion de sources de données cloud. En quelques clics seulement, les utilisateurs peuvent désormais ingérer des données et en tirer parti sans déployer ni assurer la maintenance d'agents sur site. Dans le même esprit, nous avons également simplifié l'intégration de Kubernetes et d'AWS en rationalisant les deux flux de configuration pour appliquer par défaut le parcours OTel recommandé. Les ingénieurs plateforme et les SRE peuvent ainsi démarrer rapidement sans avoir à passer par plusieurs écrans et menus de décision.

La version 9.5 apporte une amélioration majeure du confort de travail pour les SRE et les développeurs qui enquêtent sur les incidents de service. L'analyse des dépendances dans les alertes et les tableaux de bord propose un itinéraire de tri plus rapide, éliminant les changements de contexte en affichant le mapping des services directement dans une alerte ou un tableau de bord personnalisé. Une meilleure mise en évidence des anomalies dans les vues sur l'intégrité des services APM permet de repérer plus facilement les signaux de dégradation basés sur le ML.

La nouvelle intégration d'Anthropic d'Elastic pour l'observabilité LLM interroge les API d'administration d'Anthropic pour ingérer les données de télémétrie à l'échelle de l'organisation provenant de la plateforme API Claude, la consommation de jetons, les coûts et la configuration des limites de débit dans Elasticsearch avec des tableaux de bord Kibana préconfigurés et des alertes prêtes à l'emploi.

Elastic Security 9.5 offre aux analystes plus de temps pour prendre des décisions et réduit le volume d'alertes à trier. Une protection renforcée des points de terminaison neutralise davantage de menaces avant même qu'elles ne déclenchent une alerte. La fonctionnalité Attack Discovery traite les alertes générées à la manière d'un analyste, en mettant en évidence les attaques réelles afin que les équipes ne commencent pas leur journée submergées par des alertes brutes. Enfin, opérant en arrière-plan, l'automatisation déclenche les enquêtes et prend en charge les tâches répétitives, laissant ainsi aux analystes la responsabilité des décisions.

Alert Zero (zéro alerte) est l'équivalent SOC du concept de boîte de réception à zéro, une file d'attente réduite à l'essentiel grâce au travail conjoint des agents et des analystes. Pour les équipes, il ne s'agit pas de parvenir à une absence totale d'alertes ni de remplacer les analystes, mais d'un objectif à atteindre. La fonctionnalité Attack Discovery est le mécanisme qui permet au SOC de se rapprocher de cet état zéro alerte. Elle procède désormais à la manière d'un analyste : elle traque les menaces au sein des événements bruts, évalue les risques liés aux entités et recoupe les informations au-delà des alertes initiales avant de qualifier un événement d'attaque. Ainsi, les équipes traitent une liste restreinte d'attaques validées plutôt qu'une masse d'alertes brutes. Lorsque la fonction détecte une menace passée inaperçue au regard des règles existantes, elle élabore une règle ES|QL pour combler cette lacune, laquelle devra être approuvée par un analyste avant toute sauvegarde.

Désormais, chaque exécution fait l'objet du même processus d'investigation, qu'elle soit lancée manuellement, programmée pour une exécution récurrente ou déclenchée par un workflow Elastic. Un workflow distinct d'analyse des alertes traite le bruit en amont : il classe les alertes en vrais ou faux positifs afin d'éviter que les analystes ne perdent des heures sur des alertes peu fiables, laissant ainsi à la fonctionnalité Attack Discovery un ensemble de données plus pertinent à examiner.

Avec Elastic Security 9.5, de nouvelles fonctionnalités de point de terminaison renforcent la protection et étendent la couverture à davantage d'appareils. En ce qui concerne les pilotes vulnérables que les cybercriminels introduisent déjà signés et approuvés pour accéder au noyau, notre équipe de recherche sur les menaces surveille les sources d'informations publiques comme VirusTotal, loldrivers.io et la liste de blocage de Microsoft. Grâce à un processus continu, Elastic génère automatiquement et déploie instantanément des règles YARA dès que de nouveaux pilotes sont signalés ; la protection reste ainsi à jour sans dépendre des cycles de publication classiques. Cette rapidité est essentielle, sachant que les attaques basées sur l'IA peuvent se propager d'une machine à l'autre en moins d'une minute, soit plus vite que ne peut réagir n'importe quel workflow de réponse. Elastic Defend assure désormais une prise en charge complète de Windows sur ARM, étendant ainsi la protection aux appareils Surface et autres ordinateurs portables basés sur cette architecture. Enfin, une nouvelle fonctionnalité de dépannage des points de terminaison intégrée à Agent Builder signale les problèmes de politique et de performance, permettant aux équipes de consacrer moins de temps à la résolution d'incidents liés aux terminaux.

Elastic Workflows intègre l'automatisation native au SOC, permettant ainsi à une détection de déclencher automatiquement l'enrichissement, la création de cas et la réponse, sans nécessiter l'achat, l'intégration ou la maintenance d'une solution SOAR distincte. Les équipes humaines se concentrent sur les décisions qui exigent du discernement.

Entre deux versions de la suite, nous ne nous reposons pas sur nos lauriers. La période entre Elastic 9.4 et 9.5 a été tout sauf calme. Voici un récapitulatif de quelques annonces importantes, au cas où vous les auriez manquées : 

• Nouveautés de Jina AI : 

  • jina-embeddings-v5-omni étend la famille de modèles v5-text avec prise en charge native des images, de l'audio et de la vidéo, couvrant près de 100 langues pour l'ensemble des quatre modalités dans un espace d'embeddings unique sans nécessiter de réindexation.

  • Jina On-Prem est désormais disponible pour les équipes soumises à des exigences strictes en matière de résidence des données. Cette solution regroupe l'ensemble de la gamme de modèles Jina AI (notamment pour la lecture, l'embedding et le reclassement) afin qu'ils s'exécutent entièrement sur votre propre infrastructure, dans un environnement air gap et sans aucune communication sortante une fois déployés. Les coûts sont fixes et prévisibles, sans facturation au jeton. Les modèles d'embedding permettent d'effectuer des recherches sur du texte, des images, de l'audio et de la vidéo dans près de 100 langues au sein d'un espace vectoriel unique, avec une précision rivalisant avec celle de modèles bien plus volumineux, le tout sur du matériel standard.

  • Nous avons publié jina-reranker-v3.5, un successeur direct de jina-reranker-v3. jina-reranker-v3.5, avec seulement 600 millions de paramètres, surpasse son prédécesseur de plus de 50 % en jurisprudence, tout en offrant des gains supplémentaires pour le reclassement de documents médicaux et financiers avec une exécution jusqu'à 56 % plus rapide sur les documents longs. Face à Qwen3-Reranker-4B, un moteur de reclassement open source largement utilisé et dont la taille est plus de sept fois supérieure à la sienne, il s'impose haut la main dans la recherche généraliste ainsi que sur un benchmark portant sur des données structurées, et réduit considérablement l'écart de performance dans tous les autres domaines.

• La fonctionnalité de réindexation à distance est désormais en disponibilité générale dans Elastic Cloud Serverless, offrant aux équipes un moyen fluide de migrer des index depuis n'importe quel déploiement Elastic Cloud Hosted ou projet Serverless, quelle que soit la région, directement vers leur environnement Serverless. L'opération est conçue pour répondre aux réalités des infrastructures Serverless : elle reprend automatiquement après les arrêts de nœuds provoqués par des événements de scaling ou des déploiements logiciels, de sorte que votre migration se poursuit sans intervention manuelle. 

Elastic 9.5 regorge de fonctionnalités nouvelles et améliorées, prêtes à aider les organisations à tirer le meilleur parti de leurs données.

Elastic 9.5 est maintenant en disponibilité générale sur Elastic Cloud, le service Elasticsearch hébergé qui intègre toutes les nouvelles fonctionnalités de cette dernière version.