Características de Elasticsearch

Elasticsearch usa API RESTful estándar y JSON. También creamos y mantenemos clientes en muchos lenguajes como Java, Python, .NET, SQL y PHP. Además, nuestra comunidad ha contribuido con muchos más. Es fácil trabajar con ellos, su uso se siente natural y, al igual que Elasticsearch, no limitan lo que posiblemente desees hacer con ellos.

Elasticsearch ofrece una variedad de tipos de nodos, uno de los cuales es específico para la ingesta de datos. Los nodos de ingesta pueden ejecutar pipelines de preprocesamiento, compuestos por uno o más procesadores de ingesta. Según el tipo de operaciones realizadas por los procesadores de ingesta y los recursos requeridos, puede ser una buena idea tener nodos de ingesta dedicados que solo realicen esta tarea específica.

Los Beats son agentes de datos open source que instalas como agentes en tus servidores para enviar datos operativos a Elasticsearch o Logstash. Elastic proporciona Beats para capturar una variedad de logs comunes, métricas y otros tipos de datos varios.

Logstash es un motor de recopilación de datos open source con capacidades de creación de pipeline en tiempo real. Logstash puede unificar dinámicamente los datos de fuentes diferentes y normalizar los datos en los destinos que elijas. Limpia y democratiza todos tus datos para diversos casos de uso de visualización y analíticas posteriores avanzadas.

Si tienes un caso de uso específico para resolver, te alentamos a crear un Beat comunitario. Creamos una infraestructura para simplificar el proceso. La biblioteca libbeat, escrita íntegramente en Go, ofrece la API que todos los Beats usan para enviar datos a Elasticsearch, configurar las opciones de entrada, implementar logging y más.

Analiza de manera uniforme datos de distintas fuentes con Elastic Common Schema (ECS). Las reglas de detección, los trabajos de machine learning, los dashboards y otro contenido de seguridad pueden aplicarse de manera más amplia, las búsquedas pueden diseñarse de manera más limitada, y los nombres de campo son más fáciles de recordar.

Usa un nodo de ingesta para preprocesar los documentos antes de que ocurra la indexación real de los documentos. El nodo de ingesta intercepta las solicitudes de índice y bulk, aplica transformaciones y luego pasa los documentos de regreso al índice o las API de bulk. El nodo de ingesta ofrece más de 25 procesadores diferentes, entre ellos: append, convert, date, dissect, drop, fail, grok, join, remove, set, split, sort, trim y más.

El análisis es el proceso de convertir texto, como el cuerpo de cualquier correo electrónico, en tokens o términos que se agregan al índice invertido para búsqueda. El análisis lo realiza un analizador que puede ser un analizador integrado o uno personalizado definido por índice con una combinación de tokenizadores y filtros.

Un tokenizador recibe un flujo de caracteres, lo divide en tokens individuales (generalmente, palabras individuales) y genera un flujo de tokens como salida. El tokenizador también es responsable de registrar el orden o la posición de cada término (que se usa para búsquedas por proximidad de palabras y frases) y las compensaciones de caracteres de inicio y fin de la palabra original que representa el término (que se usa para resaltar fragmentos de búsqueda). Elasticsearch tiene varios tokenizadores integrados que pueden usarse para crear analizadores personalizados.

Los filtros de token aceptan un flujo de tokens de un tokenizador y pueden modificar tokens (por ejemplo, minúscula), eliminar tokens (por ejemplo, eliminar palabras vacías) o agregar tokens (por ejemplo, sinónimos). Elasticsearch tiene varios filtros de token integrados que pueden usarse para crear analizadores personalizados.

Busca en tu idioma. Elasticsearch ofrece más de 30 analizadores de lenguaje diferentes, que incluyen varios idiomas con caracteres no latinos, como ruso, árabe y chino.

No es necesario definir los campos y los tipos de mapeo antes de usarlos. Gracias al mapeo dinámico, los nombres de campo nuevos se agregarán automáticamente, simplemente con la indexación de un documento.

El procesador de ingesta con coincidencia permite a los usuarios buscar datos en el momento de la ingesta e indica el índice desde el cual se pueden extraer datos enriquecidos. Esto ayuda a los usuarios de Beats que necesitan agregar algunos elementos a sus datos; en lugar de cambiar de Beats a Logstash, los usuarios pueden consultar el pipeline de ingesta directamente. Los usuarios también podrán normalizar los datos con el procesador para mejores analíticas y búsquedas más comunes.

El procesador de enriquecimiento con coincidencia geográfica es una forma útil y práctica de permitir a los usuarios mejorar sus capacidades de búsqueda y agregación gracias al aprovechamiento de sus datos geográficos sin necesidad de definir búsquedas o agregaciones en términos de coordenadas geográficas. De forma similar al procesador de enriquecimiento con coincidencia, los usuarios pueden buscar datos en el momento de la ingesta y encontrar el índice óptimo desde el cual se pueden extraer datos enriquecidos.

Elasticsearch soporta varios tipos de datos diferentes para los campos de un documento, y cada uno de esos tipos de datos ofrece sus propios diversos subtipos. Esto te permite almacenar, analizar y utilizar datos de la forma más eficaz y efectiva posible, independientemente de los datos. Estos son algunos de los tipos de datos para los que está optimizado Elasticsearch:

Elasticsearch usar una estructura llamada índice invertido, que está diseñada para permitir búsquedas de texto completo muy rápidas. Un índice invertido consiste en una lista de todas las palabras únicas que aparecen en cualquier documento y, para cada palabra, una lista de documentos en los que aparece. Para crear un índice invertido, primero dividimos el campo de contenido de cada documento en palabras separadas (que llamamos "términos" o "tokens"), creamos una lista ordenada de todos los términos únicos y luego incluimos en qué documento aparece cada término.

Elasticsearch no requiere que los datos sean estructurados para ingestarlos o analizarlos (aunque la estructuración mejorará las velocidades). Este diseño facilita dar los primeros pasos, pero también hace que Elasticsearch sea un almacén de documentos efectivo. Si bien Elasticsearch no es una base de datos NoSQL, proporciona una funcionalidad similar.

Un índice invertido permite que las búsquedas consulten los términos de búsqueda rápidamente, pero la clasificación y agregaciones requieren un patrón de acceso a los datos diferente. En lugar de buscar el término y encontrar documentos, deben poder buscar el documento y encontrar los términos que tiene en un campo. Los valores de documentos son la estructura de datos en el disco en Elasticsearch, creada al momento de indexación del documento, lo que posibilita este patrón de acceso a los datos y permite que la búsqueda ocurra de forma columnar. Esto permite a Elasticsearch destacarse con la analítica de métricas y series temporales.

Elasticsearch usa las estructuras de árboles de BKD en Lucene para almacenar datos geoespaciales. Esto permite el análisis eficiente tanto de los puntos geográficos (latitud y longitud) como de las formas geográficas (rectángulos y polígonos).

La seguridad a nivel de campo restringe los campos que los usuarios pueden leer. En particular, restringe a qué campos se puede acceder desde las API de lectura basadas en documentos.

Si bien el Elastic Stack no implementa encryption at rest de fábrica, se recomienda que la encriptación a nivel del disco se configure en todas las máquinas host. Además, los snapshot targets también deben asegurar que los datos se encripten en reposo.

Un cluster es una recopilación de uno o más nodos (servidores) que posee en conjunto todos tus datos y brinda capacidades de indexación y búsqueda federadas en todos los nodos. Esta arquitectura facilita el escalado horizontal. Elasticsearch proporciona varias UI y una API REST integral y poderosa que puedes usar para gestionar los clusters.

Un snapshot es un backup que se hace desde un cluster de Elasticsearch en ejecución. Puedes hacer un snapshot de índices individuales o del cluster completo y almacenar el snapshot en un repositorio en un sistema de archivos compartidos. Hay disponibles plugins que también admiten repositorios remotos.

Tener al alcance los datos históricos para análisis es sumamente útil, pero suele evitarse debido al costo financiero de archivar grandes cantidades de datos. Los períodos de retención quedan entonces regidos por las realidades financieras y no por la utilidad que presenta contar con una gran cantidad de datos históricos. La característica rollup brinda una manera de resumir y almacenar datos históricos para que puedan usarse en análisis, pero a una fracción del costo de almacenamiento de los datos sin procesar.

Elasticsearch usar una estructura llamada índice invertido, que está diseñada para permitir búsquedas de texto completo muy rápidas. Un índice invertido consiste en una lista de todas las palabras únicas que aparecen en cualquier documento y, para cada palabra, una lista de documentos en los que aparece. Para crear un índice invertido, primero dividimos el campo de contenido de cada documento en palabras separadas (que llamamos "términos" o "tokens"), creamos una lista ordenada de todos los términos únicos y luego incluimos en qué documento aparece cada término.

Un campo de tiempo de ejecución es un campo que se evalúa al momento de la búsqueda (esquema durante la lectura). Los campos de tiempo de ejecución pueden introducirse o modificarse en cualquier momento, incluso luego de que los documentos se hayan indexado, y pueden definirse como parte de una búsqueda. Los campos de tiempo de ejecución se exponen a búsquedas con la misma interfaz que los campos indexados, de modo que un campo puede ser un campo de tiempo de ejecución en algunos índices de un flujo de datos y un campo indexado en otros índices de ese flujo de datos, y no es necesario que las búsquedas estén al tanto de esto. Mientras que los campos indexados proporcionan un rendimiento de búsqueda óptimo, los campos de tiempo de ejecución los complementan introduciendo flexibilidad para cambiar la estructura de datos una vez que los documentos hayan sido indexados.

Los campos de tiempo de ejecución de búsqueda te brindan la flexibilidad de agregar información desde un índice de búsqueda a los resultados de un índice primario mediante la definición de una clave en ambos índices que vincule los documentos. Al igual que los campos de tiempo de ejecución, esta característica se usa al momento de la búsqueda y proporciona un enriquecimiento flexible de los datos.

La característica de búsqueda entre clusters (CCS) permite que cualquier nodo actúe como cliente federado en varios clusters. Un nodo de búsqueda entre clusters no se unirá al cluster remoto, sino que se conectará a un cluster remoto de forma ligera para ejecutar solicitudes de búsqueda federadas.

Una similitud (relevancia/modelo de clasificación) define cómo se califican los documentos que coinciden. De forma predeterminada, Elasticsearch usa la similitud BM25 (una similitud avanzada basada en TF/IDF con normalización tf integrada óptima para campos breves, como nombres); pero hay disponibles muchas otras opciones de similitud.

Tomando como base el soporte de nuevo vecino más cercano aproximado o ANN de Lucene 9 basado en el algoritmo HNSW, el nuevo endpoint de API _knn_search facilita una búsqueda más escalable y de mejor rendimiento por similitud de vectores. Lo logra permitiendo una compensación entre la recuperación y el rendimiento; es decir, permite un rendimiento mucho mejor en sets de datos muy grandes (en comparación con el método de similitud de vectores de fuerza bruta existente) haciendo pequeños compromisos con respecto a la recuperación.

La búsqueda de texto completo requiere de un lenguaje de búsqueda sólido. Elasticsearch proporciona un DSL (lenguaje específico de dominio) de búsqueda completo basado en JSON para definir las búsquedas. Crea búsquedas simples para encontrar coincidencias de términos y frases, o desarrolla búsquedas compuestas que puedan combinar varias búsquedas. Además, los filtros pueden aplicarse al momento de la búsqueda para eliminar documentos antes de que se les asigne una relevancia.

La API de búsqueda asíncrona permite a los usuarios ejecutar búsquedas de larga ejecución en segundo plano, rastrear el progreso de las búsquedas y recuperar resultados parciales a medida que están disponibles.

Los resaltadores te permiten obtener fragmentos resaltados de uno o más campos en tus resultados de búsqueda de modo que puedas mostrar a los usuarios dónde se encuentran las coincidencias con la búsqueda. Cuando solicitas que se resalte, la respuesta contiene un elemento de resaltado adicional para cada coincidencia de búsqueda que incluye los campos resaltados y los fragmentos resaltados.

La herramienta de sugerencias para completar proporciona la funcionalidad de autocompletar o buscar a medida que escribes. Es una característica de navegación que guía a los usuarios a resultados relevantes a medida que escriben, lo que mejora la precisión de búsqueda.

La herramienta de sugerencia de frases agrega la funcionalidad "quisiste decir" a tu búsqueda creando una lógica adicional sobre la herramienta de sugerencia de términos para seleccionar frases completas correctas en lugar de tokens individuales ponderados según modelos de idioma de n-gramas. En la práctica, esta herramienta de sugerencia podrá tomar mejores decisiones sobre cuáles tokens elegir según la coocurrencia y las frecuencias.

La herramienta de sugerencia de términos es la base del corrector ortográfico, sugiere términos según la distancia de edición. El texto de sugerencia proporcionado se analiza antes de sugerir los términos. Los términos sugeridos se proporcionan por token de texto de sugerencia analizado.

Un cambio del modelo de búsqueda estándar en el cual se usa una búsqueda para encontrar un documento almacenado en un índice: los percoladores pueden usarse para buscar coincidencias entre los documentos y las búsquedas almacenadas en un índice. La búsqueda percolate en sí contiene el documento que se usará como búsqueda para establecer la coincidencia con las búsquedas almacenadas.

La API de perfil proporciona información de tiempo detallada sobre la ejecución de componentes individuales en una búsqueda de search. Brinda información sobre cómo se ejecutan las solicitudes de búsqueda a un nivel bajo para poder comprender por qué ciertas solicitudes son lentas y tomar medidas para mejorarlas.

La seguridad a nivel de campo y la seguridad a nivel de documento restringen los resultados de búsqueda solo a lo que los usuarios tienen acceso de lectura. En particular, restringe a qué campos y documentos se puede acceder desde las API de lectura basadas en documentos.

Con la API para volver a cargar analizadores, puedes desencadenar la nueva carga de la definición de sinónimos. Los contenidos del archivo de sinónimos configurados se volverán a cargar, y la definición de sinónimos que usa el filtro se actualizará. La API _reload_search_analyzers puede ejecutarse en uno o más índices, y desencadenará la nueva carga de los sinónimos desde el archivo configurado.

Promueve documentos seleccionados para que se clasifiquen mejor que aquellos que coinciden con una búsqueda dada. Esta característica se usa típicamente para guiar a quienes realizan búsquedas a documentos curados que están promocionados por sobre cualquier coincidencia "orgánica" en una búsqueda. Los documentos promocionados o "fijados" se identifican con el ID de documento almacenado en el campo _id.

El marco de trabajo de agregaciones ayuda a proporcionar datos agregados con base en una consulta de búsqueda. Se basa en bloques de creación simples denominados "agregaciones" que pueden combinarse a fin de crear resúmenes complejos de los datos. Una agregación puede considerarse una unidad de trabajo que crea información analítica sobre un conjunto de documentos.

La API de exploración de Graph te permite extraer y resumir información sobre los documentos y términos en tu índice de Elasticsearch. La mejor forma de comprender el comportamiento de esta API es usar Graph en Kibana para explorar las conexiones.

Después de que el machine learning de Elastic crea las bases de referencia del comportamiento normal de los datos, puedes usar esa información para extrapolar el comportamiento futuro. Luego, crea un pronóstico para estimar un valor de serie temporal en una fecha futura específica o calcula la probabilidad de que un valor de serie temporal ocurra en el futuro.

Las características de machine learning de Elastic automatizan el análisis de los datos temporales mediante la creación de bases de referencia precisas del comportamiento normal en los datos y la identificación de patrones anómalos en esos datos. Las anomalías se detectan, califican y vinculan con influencias estadísticamente importantes en los datos mediante algoritmos patentados de machine learning.

Para los cambios que son más difíciles de definir con reglas y umbrales, combina las alertas con características de Machine Learning sin supervisión para encontrar el comportamiento inusual. Luego, usa las puntuaciones de anomalías en el marco de trabajo de alertas para recibir notificaciones cuando surjan problemas.

La inferencia te permite usar procesos de Machine Learning supervisados, como la regresión o clasificación, no solo como análisis de batch, sino de forma continua. La inferencia permite usar modelos de Machine Learning entrenados sobre datos entrantes.

La identificación de idioma es un modelo entrenado que puedes usar para determinar el idioma del texto. Puedes usar como referencia el modelo de identificación del idioma en un procesador de inferencias.