Cómo Orca aprovecha Search AI para ayudar a los usuarios a obtener visibilidad, lograr el cumplimiento y priorizar los riesgos

Orca Security necesitaba una herramienta para mantener la ventaja y seguir el ritmo de las demandas de los equipos de ciberseguridad (al igual que los equipos de desarrolladores, DevOps, arquitectos del cloud, gobernanza de riesgos y cumplimiento) que necesitan entender de forma fácil e intuitiva qué hay exactamente en sus entornos en el cloud. Orca quería que todos los equipos de la organización, independientemente de su nivel de habilidades, respondieran con rapidez a los riesgos de día cero, realizaran auditorías, optimizaran los activos en el cloud y comprendieran la exposición a las amenazas para facilitar las decisiones impulsadas por los datos.

Orca se dio cuenta de que los usuarios necesitaban una forma más inteligente e intuitiva dentro de la app para hacer búsquedas específicas del dominio, formular preguntas complejas en lenguaje simple y obtener resultados precisos de forma instantánea; por ejemplo, un cliente podría preguntar algo como: "¿Qué VM expuestas a internet contienen información de salud personal?". Estas búsquedas requieren la comprensión de temas, atributos y relaciones complejas en los datos. Orca necesitaba un motor de búsqueda que pudiera interpretar estas preguntas y generar de manera automática los filtros adecuados.

Entonces, el equipo de Orca buscó implementar un motor de búsqueda impulsado por AI que pudiera facilitar esas tareas complejas, y Elasticsearch era ideal. Elasticsearch aportó varias ventajas significativas, que contribuyeron a la promesa general del motor de búsqueda impulsado por AI de Orca Security. A continuación, están algunas de las ventajas clave que observó el equipo de Orca en Elasticsearch:

Elasticsearch brinda una configuración de búsqueda híbrida que combina la coincidencia de palabras clave con la búsqueda de vectores, y esto proporciona resultados precisos y relevantes para búsquedas complejas que involucran atributos y términos específicos del dominio. Sus capacidades de filtrado poderosas son esenciales, en especial cuando se trabaja con esquemas como el Orca Schema. Por ejemplo, si se determina que el tema de una búsqueda será una VM y la AI está buscando un atributo como "Tiene PII", Elasticsearch focaliza y filtra la búsqueda para incluir solamente atributos relacionados con VM. Esto excluye atributos irrelevantes de otros modelos, como PII en una base de datos, lo que asegura tanto la precisión como la creación de búsquedas válidas.

La capacidad de Elasticsearch de ocuparse de potenciaciones personalizadas y campos de varias coincidencias mejora la calidad de la búsqueda. Por ejemplo, potenciar la ponderación de los nombres y las descripciones de distinta manera asegura un resultado de búsqueda equilibrado. Orca aprovechó estas características para ajustar los parámetros de búsqueda y brindar así una experiencia personalizada a los usuarios.

Elasticsearch permite grandes ahorros en los casos de uso de AI generativa gracias a la reducción eficiente de la carga en modelos de lenguaje grandes (LLM) tradicionales, lo cual puede ser costoso y lento, en especial al procesar grandes volúmenes de datos. Las capacidades de filtrado y recuperación de Elasticsearch derivan en búsquedas más rápidas y con mejor relación costo-beneficio. Al optimizar la selección de ejemplos relevantes para cada búsqueda, lo que se conoce comogeneración aumentada de recuperación (RAG), Elasticsearch reduce significativamente el costo de las operaciones de LLM.

Los LLM de modelo fundacional, entrenados con datos genéricos, con frecuencia no comprenden de manera inherente el lenguaje de búsqueda (DSL) de Orca o el gráfico de datos de ciberseguridad en evolución constante con miles de atributos y tipos de activos únicos. Solo la explicación de las reglas del DSL consumió alrededor de 2000 tokens, y proporcionar ejemplos de transformaciones sumó incluso más. Dadas las ventanas de contexto limitadas del LLM (8000 tokens en ese momento), cada token adicional aumentaba la latencia y el costo. Gracias a Elasticsearch, pudimos seleccionar entre tres y seis de los ejemplos más relevantes de entre centenas, lo cual garantizaba que solo los datos necesarios se enviaran al LLM. Este enfoque no solo permitió ahorrar costos, sino que también mejoró la precisión y redujo la latencia.

Si bien no podemos revelar cifras de datos específicas, la principal conclusión es la siguiente: Elasticsearch nos permitió reducir drásticamente la cantidad de datos que se envían al LLM. Mediante el prefiltrado y la curación de solamente los ejemplos más relevantes (de tres a seis, en lugar de potencialmente centenas), minimizamos la carga de trabajo del LLM. Esto se traduce directamente en tiempos de respuesta más rápidos, un costo más bajo y una experiencia de búsqueda más eficiente en general.

La búsqueda de AI se encuentra entre las característica favoritas de la plataforma, y los usuarios han realizado búsquedas con miles y miles de distintas permutaciones y conceptos de ciberseguridad; en docenas de lenguajes diferentes (hablaremos más sobre el soporte de lenguajes en un blog futuro).

Al aprovechar el poder de Elasticsearch y el gran compromiso del equipo de Orca con la innovación de AI, pudieron mejorar ampliamente el recorrido del usuario. La nueva experiencia de búsqueda disminuye los umbrales de habilidades, simplifica tareas, acelera la corrección y mejora la comprensión del entorno en el cloud. Así es como funciona:

En el contexto de Orca, la RAG involucra la curación de ejemplos que transforman las búsquedas de los usuarios a un formato intermedio. Cuando un usuario introduce una búsqueda, Elasticsearch selecciona los ejemplos más relevantes combinando la búsqueda de coincidencia de palabras clave con incrustaciones.

Por ejemplo, si la búsqueda es "Activos con PII", Elasticsearch encuentra los ejemplos curados más cercanos, como estos:

• "¿Tenemos PII fuera de Europa?"

• "VM con tarjetas de crédito y PCI con claves SSH sin encriptar"

• "Recursos y activos abandonados"

Cada ejemplo incluye la salida JSON y el razonamiento esperados y curados. Este proceso garantiza que el LLM tenga suficiente contexto para transformar de manera precisa la búsqueda a un formato estructurado, lo que mejora la experiencia de búsqueda en general y asegura una creación de búsquedas válidas.

En el Paso 2, la RAG que usa Elasticsearch es esencial para traducir las búsquedas de los usuarios a una representación interna de Orca. Así es cómo funciona:

• Ejemplos curados: creamos cientos de ejemplos que demuestran cómo transformar las búsquedas de lenguaje natural al formato estructurado de Orca.

• Rol de Elasticsearch: para cada nueva búsqueda de usuario, Elasticsearch identifica los ejemplos más relevantes en nuestro conjunto curado. Lo hace combinando la búsqueda de coincidencia de palabras clave (encontrando términos exactos) con incrustaciones (comprendiendo la similitud semántica).

• Ejemplo: si un usuario solicita: "Muéstrame todos los servidores con conexión a internet que tengan vulnerabilidades", Elasticsearch puede recuperar ejemplos como "Encontrar activos expuestos a internet", "Enumerar todos los servidores con CVE críticas" y "Muéstrame recursos a los que les faltan parches de seguridad".

• Tarea del LLM: estos ejemplos relevantes, junto con la búsqueda original del usuario, se envían al LLM. El LLM luego usa este contexto para transformar con precisión la solicitud del usuario a un lenguaje de búsqueda estructurado de Orca.

También evaluamos una base de datos que "prioriza las incrustaciones de vectores", pero descubrimos que si no se agregaba una búsqueda de palabras clave adecuada a las incrustaciones, no había resultados.

Orca Security modeló su esquema completo dentro de Elasticsearch, lo que incluye cientos de temas y miles de atributos. Las capacidades precisas de búsqueda de coincidencias de Elasticsearch ayudan a traducir las búsquedas de los usuarios en los términos correctos que se usan en la base de datos de Orca. Por ejemplo, un usuario puede referirse a una "VM", pero el sistema necesita entender varios términos relacionados, como "máquina virtual" o "instancias virtuales".

Para mejorar la relevancia de los resultados de búsqueda, el LLM genera palabras clave a partir de la búsqueda del usuario. Estas palabras clave potencian la relevancia de los atributos de búsqueda, de este modo se aseguran de que el sistema recupere los datos más pertinentes. El LLM también convierte la búsqueda al lenguaje específico del dominio de Orca Security, así puede ejecutarse en el frontend.