Como a Orca utiliza a Search AI para ajudar os usuários a ganhar visibilidade, alcançar conformidade e priorizar riscos

A Orca Security precisava de uma ferramenta para se antecipar e acompanhar as demandas das equipes de segurança cibernética (bem como das equipes de desenvolvedores, DevOps, arquitetos de nuvem, governança de risco e conformidade) que precisam entender exatamente o que há em seus ambientes de nuvem de maneira fácil e intuitiva. A Orca queria que as equipes de toda a organização, independentemente do seu nível de habilidade, respondessem rapidamente aos riscos de dia zero, realizassem auditorias, otimizassem os ativos da nuvem e entendessem a exposição a ameaças para facilitar decisões orientadas por dados.

A Orca percebeu que seus usuários precisavam de uma maneira mais inteligente e intuitiva no app para buscar consultas específicas de domínio, fazer perguntas complexas em linguagem simples e obter resultados precisos instantaneamente. Por exemplo, um cliente poderia fazer uma pergunta como: “Quais VMs expostas à internet contêm informações pessoais de saúde?” Essas consultas exigem a compreensão de assuntos, atributos e relações de alta complexidade dentro dos dados. A Orca precisava de um mecanismo de busca que pudesse interpretar essas perguntas e gerar automaticamente os filtros apropriados.

Assim, a equipe da Orca procurou implementar um mecanismo de busca com tecnologia de IA que pudesse facilitar essas tarefas complexas, e o Elasticsearch foi a solução perfeita. O Elasticsearch trouxe diversas vantagens significativas, contribuindo para a promessa geral do mecanismo de busca orientado por IA da Orca Security. Abaixo estão algumas das principais vantagens que a equipe da Orca viu no Elasticsearch:

O Elasticsearch oferece uma configuração de busca híbrida que combina correspondência de palavras-chave com busca vetorial, fornecendo resultados precisos e relevantes mesmo para consultas complexas que envolvem atributos e termos específicos do domínio. Seus poderosos recursos de filtragem são essenciais, especialmente ao trabalhar com esquemas como o Orca Schema. Por exemplo, se o assunto da consulta for determinado como uma VM e a IA estiver procurando um atributo como “Tem informações de identificação pessoal”, o Elasticsearch define o escopo e filtra a busca para incluir apenas atributos relacionados a VMs. Isso exclui atributos irrelevantes de outros modelos, como informações de identificação pessoal em um banco de dados, garantindo a precisão e a criação de consultas válidas.

A capacidade do Elasticsearch de lidar com boostings customizados e campos de correspondência múltipla melhora a qualidade da busca. Por exemplo, aumentar o peso de nomes e descrições de maneira diferente garante um resultado de busca equilibrado. A Orca aproveitou esses recursos para ajustar os parâmetros de busca, proporcionando uma experiência personalizada para seus usuários.

O Elasticsearch proporciona economias de custo significativas para casos de uso de GenAI ao reduzir com eficiência a carga em grandes modelos de linguagem (LLMs) tradicionais, que podem ser caros e lentos , especialmente ao processar grandes volumes de dados. Os recursos de filtragem e recuperação do Elasticsearch resultam em buscas mais rápidas e econômicas. Ao otimizar a seleção de exemplos relevantes para cada consulta, um recurso conhecido como geração aumentada de recuperação (RAG), o Elasticsearch reduz significativamente o custo das operações de LLM.

Os LLMs do modelo básico, treinados em dados genéricos, muitas vezes não entendem inerentemente a linguagem de consulta (DSL) da Orca ou o gráfico de dados de segurança cibernética em constante evolução com milhares de atributos e tipos de ativos exclusivos. Só a explicação das regras da DSL consumiu cerca de 2.000 tokens, e o fornecimento de exemplos de transformações adicionou ainda mais. Dadas as janelas de contexto limitadas dos LLMs (8K tokens na época), cada token adicional aumentava a latência e o custo. Ao usar o Elasticsearch, pudemos selecionar de três a seis exemplos mais relevantes entre centenas, garantindo que apenas os dados necessários fossem enviados ao LLM. Essa abordagem não apenas economizou custos, mas também melhorou a precisão e reduziu a latência.

Embora não possamos divulgar números específicos sobre os dados, a principal conclusão é a seguinte: o Elasticsearch nos permitiu reduzir drasticamente a quantidade de dados enviados ao LLM. Ao pré-filtrar e selecionar apenas os exemplos mais relevantes (três a seis em vez de potencialmente centenas), minimizamos a carga de trabalho do LLM. Isso se traduz diretamente em menores tempos de resposta, custos mais baixos e uma experiência de busca mais eficiente de forma geral.

A busca com IA está entre os recursos mais amados da plataforma, e os usuários realizaram consultas com milhares e milhares de diferentes conceitos e permutações de segurança cibernética, em dezenas de idiomas diferentes (falaremos mais sobre suporte a idiomas em um post futuro).

Aproveitando o poder do Elasticsearch e o profundo compromisso da equipe da Orca com a inovação em IA, eles conseguiram melhorar muito a jornada do usuário. A nova experiência de busca reduz os limites de habilidades, simplifica tarefas, acelera a correção e melhora a compreensão do ambiente de nuvem. Ela funciona assim:

No contexto da Orca, o RAG envolve a curadoria de exemplos que transformam as consultas dos usuários em um formato intermediário. Quando um usuário insere uma consulta, o Elasticsearch seleciona os exemplos mais relevantes combinando correspondência de palavras-chave e busca de embedding.

Por exemplo, se a consulta for “Ativos com informações de identificação pessoal”, o Elasticsearch encontrará os exemplos selecionados mais próximos, como:

• “Temos alguma informação de identificação pessoal fora da Europa?”

• “VMs com cartões de crédito e PCI que têm chaves SSH não criptografadas”

• “Recursos e ativos abandonados”

Cada exemplo vem com o resultado JSON e o raciocínio esperados e selecionados. Esse processo garante que o LLM tenha contexto suficiente para transformar com precisão a consulta em um formato estruturado, melhorando a experiência geral de busca e garantindo a criação de consultas válidas.

Na etapa 2, o RAG usando o Elasticsearch é fundamental para converter as consultas do usuário na representação interna da Orca. Veja como funciona:

• Exemplos selecionados: criamos centenas de exemplos que demonstram como transformar consultas em linguagem natural no formato estruturado da Orca.

• Função do Elasticsearch: para cada nova consulta do usuário, o Elasticsearch identifica os exemplos mais relevantes do nosso conjunto selecionado. Isso é feito combinando a correspondência de palavras-chave (encontrando termos exatos) e a busca de embedding (compreendendo a similaridade semântica).

• Exemplo: se um usuário pedir “Mostre-me todos os servidores voltados para a internet com vulnerabilidades”, o Elasticsearch poderá recuperar exemplos como “Encontre ativos expostos à internet”, “Liste todos os servidores com CVEs críticos” e “Mostre-me recursos sem patches de segurança”.

• Tarefa do LLM: esses exemplos relevantes, juntamente com a consulta original do usuário, são enviados ao LLM. Então, o LLM usa esse contexto para transformar com precisão a solicitação do usuário na linguagem de consulta estruturada da Orca.

Também avaliamos um banco de dados com “prioridade para os embeddings vetoriais”, mas descobrimos que, sem ter uma busca por palavra-chave adequada adicionada aos embeddings, os resultados eram insuficientes.

A Orca Security modelou todo o esquema no Elasticsearch, incluindo centenas de assuntos e milhares de atributos. Os recursos de correspondência precisa do Elasticsearch ajudam a converter as consultas dos usuários nos termos corretos usados no banco de dados da Orca. Por exemplo, um usuário pode se referir a uma “VM”, mas o sistema precisa compreender vários termos relacionados, como “máquina virtual” ou “instâncias virtuais”.

Para melhorar a relevância dos resultados da busca, o LLM gera palavras-chave a partir da consulta do usuário. Essas palavras-chave aumentam a relevância dos atributos de busca, garantindo que o sistema recupere os dados mais pertinentes. O LLM também converte a consulta na linguagem específica do domínio da Orca Security, tornando-a executável no front-end.