Elastic 9.5: colunar, modo de índice VectorDB e calibração automática, e triagem de alertas orientada por IA

O Elastic 9.5 traz avanços projetados para ajudar cada usuário a agir mais rápido, operar com mais confiança e extrair mais valor dos seus dados com menos atrito. Esta versão inova em múltiplos aspectos da Elasticsearch Platform, desde armazenar e consultar dados até criar e governar agentes de IA, juntamente com aprimoramentos no dashboard do Kibana. Continue lendo para ver os detalhes.

A Elastic tem o prazer de anunciar o preview técnico do Columnar Mode (Modo Colunar), um modo de indexação opcional que armazena cada campo uma vez em um armazenamento colunar sem índice invertido por padrão, proporcionando uma pegada de armazenamento significativamente menor e uma base para indexação mais rápida, consultas analíticas e maior retenção de dados. Ele é disponibilizado junto com os modos de índice existentes sem nenhuma alteração em APIs, dashboards ou integrações. Com base nessa estrutura, Columnar Logs (Logs Colunares) é o primeiro perfil especializado desenvolvido especificamente para dados de log; ele mantém um único índice invertido no campo message, para que a busca de texto completo continue rápida enquanto armazena todo o resto de forma totalmente colunar. O resultado é significativamente menos armazenamento do que os logs usam hoje, sem alterar a experiência de busca em que as equipes confiam. Ambos os modos são opcionais e os índices existentes não são alterados.

Equipes que desenvolvem a recuperação de informações para aplicações de Retrieval-Augmented Generation (RAG) e IA baseada em agentes geralmente precisam tomar diversas decisões de configuração no momento da indexação, um trabalho que só aumenta na escala de produção. Estamos introduzindo esses recursos para tirar a configuração e o ajuste de índices do seu caminho, para que a busca vetorial funcione imediatamente.

O Modo de índice VectorDB oferece busca vetorial de alto desempenho com uma única configuração; não requer nenhuma configuração manual. Ele aplica padrões já otimizados para vetores, ajustando a quantização, a política de mesclagem e o carregamento do cache para você, para que a busca vetorial seja mais simples de implementar e funcione perfeitamente desde o início.

A Autocalibração para busca vetorial DiskBBQ configura automaticamente a profundidade de quantização, o pré-condicionamento e a sobreamostragem com base na análise estatística dos vetores no índice. O ajuste que normalmente exige conhecimento especializado e experimentação agora acontece por conta própria, usando algoritmos exclusivos desenvolvidos na Elastic.

A busca semântica multimodal facilita a busca de imagens para desenvolvedores. Buscar imagens normalmente significa configurar embeddings, ingerir e gerar embeddings para imagens, e gerar embeddings para a consulta. O novo campo semântico simplifica essas etapas, para que os usuários possam buscar imagens tão facilmente quanto buscam texto com semantic_text.

O Elastic 9.5 oferece aos desenvolvedores maior visibilidade e controle ao criar agentes de IA para produção. Agent Observability and Monitoring (monitoramento e observabilidade de agentes), agora disponível em preview técnico, rastreia chamadas de grandes modelos de linguagem (LLMs), invocações de ferramentas e etapas de raciocínio como OpenTelemetry (OTel) no Elasticsearch, enquanto aprovações com intervenção humana controlam ações sensíveis e registram cada decisão em uma trilha de auditoria. Os desenvolvedores também podem criar habilidades, consultas e fluxos de trabalho diretamente do chat descrevendo o recurso de que precisam, como um fluxo de trabalho para gerar um dashboard. O Agent Builder elabora o rascunho, nomeia e salva a configuração sem que eles precisem sair da conversa, reduzindo o tempo de configuração e a necessidade de entender o modelo de configuração subjacente.

Com a versão 9.5, nossa Dashboards & Visualizations API passa a ter disponibilidade geral, oferecendo às equipes de plataforma uma maneira estável e suportada de criar, atualizar e gerenciar dashboards e visualizações em código. Além disso, dashboards no chat agora têm disponibilidade geral com qualidade de chat aprimorada, bem como criação de controles, e oferecem maior velocidade. Esses avanços reduzem dramaticamente o tempo até o insight e eliminam a necessidade de os usuários criarem dashboards manualmente, acelerando a investigação de incidentes, em que a velocidade para um visual claro encurta diretamente o tempo até a resolução. E, para casos de uso em que a velocidade é fundamental, ativar a Fast Mode UI permite que consultas baseadas em STATS nos Dashboards e no Discover sejam executadas em um conjunto de dados amostrado em vez de escanear os dados completos, extrapolando os resultados de volta para a escala real e mantendo a precisão muito próxima da exata.

O Elastic Workflows na versão 9.5 torna a criação de automações mais rápida e mostra exatamente o que um fluxo de trabalho fará antes de ser executado. A criação em linguagem natural agora está disponível para todos e ativada por padrão, para que as equipes possam descrever a automação desejada em linguagem simples, gerada automaticamente. O controle de versão é integrado, rastreando todas as alterações, permitindo que as equipes meçam e comparem duas versões quaisquer e revertam para uma versão funcional com um clique, garantindo que sempre haja um registro de quem alterou o quê e quando. O modo visual mostra um fluxo de trabalho como um gráfico com seus gatilhos, etapas, ramificações e lógica visíveis num relance ao lado do YAML; a edição por arrastar e soltar será lançada em breve. E a intervenção humana agora vai além do Kibana. Quando um fluxo de trabalho precisa que uma pessoa aprove ou opine, ele faz uma pausa e envia a solicitação para ferramentas como o Slack. A automação cuida da rotina enquanto as equipes acompanham de perto as decisões que exigem julgamento. Esses são recursos da Elasticsearch Platform, disponíveis em Search, Observability e Security.

O Elastic 9.5 oferece atualizações de observabilidade projetadas para tornar o monitoramento unificado mais rápido de adotar e mais fácil de redimensionar. Quer você esteja migrando do Prometheus, integrando o Kubernetes ou conectando dados em nuvem e SaaS, é mais fácil começar com menos sobrecarga operacional. Fluxos de trabalho de SRE aprimorados, integrações gerenciadas e contexto pronto para IA ajudam as equipes a passar da detecção ao diagnóstico mais rapidamente.

Com o 9.5, consolidar a observabilidade com métricas líderes do mercado ficou mais fácil do que nunca. Com o endpoint Prometheus de escrita remota e o suporte nativo ao PromQL incorporado diretamente ao ES|QL, as equipes podem direcionar dashboards e consultas existentes do Grafana para o Elastic com o mínimo de esforço de migração — sem a necessidade de abandonar a linguagem de consulta e os fluxos de trabalho que levaram anos construindo. Uma nova ferramenta de migração também está em GA, ajudando a trazer dashboards e alertas do Grafana e do Datadog para o Elastic automaticamente e tornando mais fácil para os usuários se beneficiarem da eficiência de armazenamento do Elasticsearch (até 2,5x melhor que o Prometheus) e do desempenho de consulta mais rápido (até 30x mais rápido que o Prometheus) sem começar do zero. No 9.5, um novo codec (ES95) se baseia nos ganhos de eficiência já substanciais do Elasticsearch com métricas colunares para reduzir ainda mais os custos de armazenamento em cerca de 20%, chegando a aproximadamente 3 bytes por amostra, para que os usuários possam monitorar mais serviços e reter métricas por mais tempo sem inflar a conta. Junto com dashboards como código e dashboards no chat, essas atualizações permitem que os usuários unifiquem métricas, logs e rastreamentos em uma única plataforma e façam a correlação entre todos os três para uma análise de causa raiz mais rápida, mantendo os fluxos de trabalho e padrões nos quais já confiam.

As mais recentes integrações prontas para uso da Elastic para o Kubernetes e a AWS (preview técnico) significam que você pode ir do zero ao monitoramento completo em minutos. O monitoramento de Kubernetes agora está disponível de forma geral (GA) e vem completo com dashboards pré-configurados, alertas, SLOs e trabalhos de machine learning. Além disso, habilidades de agentes e um app MCP de observabilidade tornam o monitoramento de saúde, a detecção de anomalia, a investigação de incidentes e a correção disponíveis por meio de qualquer ferramenta de IA habilitada para MCP onde os SREs já trabalham. Esses pacotes de integração abrangentes permitem que as equipes obtenham valor imediato a partir das métricas no momento em que se conectam.

Integrações gerenciadas do Elastic eliminam o fardo operacional de ingerir fontes de dados da nuvem. Com apenas alguns cliques, os usuários agora podem ingerir e começar a obter valor sem implantar ou manter agentes no local. No espírito do “botão fácil”, também simplificamos o Kubernetes e a AWS no onboarding, otimizando ambos os fluxos de configuração para definir como padrão o caminho OTel recomendado, o que significa que engenheiros de plataforma e SREs podem começar a operar sem navegar por várias telas e decisões.

O 9.5 oferece uma grande melhoria na qualidade de vida para SREs e desenvolvedores que investigam incidentes de serviço. A análise de dependência em alertas e dashboards apresenta uma rota mais rápida para a triagem, eliminando a troca de contexto ao expor mapas de serviço diretamente em um alerta ou dashboard customizado. Uma melhor exposição de anomalias nas visualizações de integridade do serviço do APM torna os sinais de degradação baseados em ML mais fáceis de identificar.

A nova integração da Anthropic da Elastic para observabilidade de LLM faz sondagens nas Admin APIs da Anthropic para ingerir a telemetria de toda a organização da plataforma da API do Claude, o uso de tokens, o custo e a configuração de limite de taxa no Elasticsearch com dashboards do Kibana pré-criados e alertas prontos para uso.

O Elastic Security 9,5 dá aos analistas mais tempo para decidir e menos alertas para classificar. Uma proteção de endpoint mais forte bloqueia mais ameaças antes mesmo que elas gerem um alerta. O Attack Discovery processa os alertas disparados da mesma forma que um analista faria, revelando os ataques reais para que as equipes não comecem o dia sobrecarregadas de alertas brutos. E a automação é executada por trás de tudo isso, disparando essas investigações e lidando com o trabalho mecânico, para que as decisões permaneçam com os analistas.

O Alert Zero (Alerta Zero) é a versão do Inbox Zero para o SOC: uma fila tratada até restar apenas o que realmente importa, conquistada em conjunto por agentes e analistas. Trata-se de uma meta a ser perseguida pelas equipes, o que não significa ter zero alertas, tampouco substituir os analistas.O Attack Discovery é o que aproxima um SOC do Alert Zero (Alerta Zero). Agora, ele investiga como um analista: faz threat hunting em eventos brutos, verifica o risco de entidades e cruza informações além dos alertas iniciais antes de classificar qualquer evento como ataque. Assim, as equipes abrem uma lista enxuta de ataques validados em vez de uma parede de alertas brutos. E, quando encontra algo que as regras não detectaram, ele elabora um rascunho de regra em ES|QL para fechar essa brecha, dependendo apenas da aprovação de um analista antes de salvar.

Cada execução agora passa pela mesma investigação, seja iniciada manualmente, definida em uma cadência recorrente ou acionada a partir de um fluxo de trabalho da Elastic. Um fluxo de trabalho separado de análise de alertas trata o ruído pelo outro lado, classificando os alertas como positivos verdadeiros ou falsos para que os analistas parem de perder horas com os de baixa fidelidade, deixando um conjunto mais limpo para o Attack Discovery investigar.

Com o Elastic Security 9.5, os novos recursos de endpoint tornam a proteção mais forte e ampliam a cobertura em mais dispositivos. Para drivers vulneráveis, que os invasores trazem já assinados e confiáveis para alcançar o kernel, nossa equipe de pesquisa de ameaças monitora fontes de divulgação pública, como VirusTotal, loldrivers.io e a blocklist da Microsoft. Por meio de um processo sempre ativo, o Elastic gera automaticamente e implanta instantaneamente regras YARA à medida que novos drivers são divulgados, para que a proteção acompanhe o ritmo em vez de esperar por um ciclo de lançamento. Essa velocidade é importante quando ataques impulsionados por IA podem se mover de uma máquina para outra em menos de um minuto, mais rápido do que qualquer fluxo de trabalho de resposta pode reagir. O Windows em ARM agora é totalmente coberto no Elastic Defend, trazendo o Surface e outros laptops baseados em ARM para cobertura total. E uma nova habilidade de solução de problemas de endpoint no Agent Builder sinaliza problemas de política e desempenho, para que as equipes dediquem menos tempo buscando problemas de endpoint.

O Elastic Workflows traz automação nativa para o SOC, permitindo que uma detecção ative automaticamente o enriquecimento de informações, a abertura de chamados e a resposta a incidentes. Tudo isso sem precisar adquirir, integrar ou gerenciar uma ferramenta de SOAR à parte. Os profissionais mantêm o controle total sobre as decisões que demandam análise humana.

Entre um lançamento de versão e outro, nós não ficamos parados. O período entre o Elastic 9.4 e o 9.5 foi tudo, menos tranquilo. Aqui está um resumo de alguns dos principais anúncios, caso você tenha perdido: 

• Atualizações da Jina AI: 

  • O jina-embeddings-v5-omni expande a família de modelos v5-text com suporte nativo para imagem, áudio e vídeo, abrangendo quase 100 idiomas em todas as quatro modalidades em um único espaço de embedding, sem a necessidade de reindexação.

  • O Jina On-Prem já está disponível para equipes com requisitos rigorosos de residência de dados. Ele reúne toda a linha de modelos do Jina AI (por exemplo, leitor, embedding e reclassificação) para ser executado inteiramente no seu próprio hardware, totalmente isolado (air-gapped) e com zero chamadas de saída depois de implantado. Os custos são fixos e previsíveis, não tarifados por token. Os modelos de embedding buscam texto, imagens, áudio e vídeo em quase 100 idiomas em um único espaço de embedding com precisão que rivaliza com a de modelos muito maiores em hardware comum.

  • Lançamos o jina-reranker-v3.5, um sucessor direto do jina-reranker-v3. O jina-reranker-v3.5, com apenas 600M de parâmetros, supera seu antecessor em mais de 50% em jurisprudência (case law), traz ganhos adicionais em reranking médico e financeiro e roda até 56% mais rápido em documentos longos. Em comparação com o Qwen3-Reranker-4B, um reranker open-source amplamente utilizado e com mais de sete vezes o seu tamanho, ele vence diretamente na busca de propósito geral e em um benchmark de dados estruturados, além de reduzir drasticamente a diferença em todos os outros cenários.

• Reindexar do remoto agora está disponível para todos no Elastic Cloud Serverless, oferecendo às equipes uma maneira perfeita de migrar índices de qualquer implantação do Elastic Cloud Hosted ou projeto Serverless, independentemente da região, diretamente para seu ambiente Serverless. A operação foi desenvolvida para a realidade da infraestrutura Serverless; ela é retomada automaticamente em caso de desligamentos de nodes causados por eventos de redimensionamento ou implantações de software, para que sua migração continue avançando sem intervenção manual. 

O Elastic 9.5 está repleto de recursos novos e aprimorados, prontos para ajudar as organizações a extrair o máximo dos seus dados.

O Elastic 9.5 já está disponível no Elastic Cloud, o serviço hospedado do Elasticsearch que inclui todos os novos recursos da versão mais recente.