Elasticsearch-Hadoop
Conecta el almacenamiento masivo de datos y el poder de procesamiento profundo de Hadoop con la búsqueda en tiempo real y las analíticas de Elasticsearch. El conector de Elasticsearch-Hadoop (ES-Hadoop) te permite obtener información rápida de tu big data y hace que trabajar en el ecosistema de Hadoop sea aún mejor.
Nuevo
ES-Hadoop soporta Spark 3.x y Scala 2.12 en la versión 7.12.
Hadoop se destaca como un sistema de procesamiento batch, pero ofrecer resultados en tiempo real puede ser un desafío. Para un descubrimiento de datos verdaderamente interactivo, ES-Hadoop te permite indexar los datos de Hadoop en el Elastic Stack para aprovechar al máximo el veloz motor de Elasticsearch y las hermosas visualizaciones de Kibana.
Con ES-Hadoop, puedes crear con facilidad aplicaciones de búsqueda dinámicas e integradas para servir tus datos de Hadoop o realizar analíticas detalladas y de baja latencia usando búsquedas y agregaciones geoespaciales de texto completo. Desde recomendaciones de productos hasta secuenciación genómica, ES-Hadoop abre un nuevo mundo de aplicaciones amplias.
La toma de decisiones en vivo solo ocurre con el movimiento de datos a la velocidad de la luz. Con extensiones dinámicas para las API de Hadoop existentes, ES-Hadoop te permite mover fácilmente datos de forma bidireccional entre Elasticsearch y Hadoop mientras expone HDFS como un repositorio para el archivo de datos a largo plazo. El conocimiento de la partición, el manejo de fallas, las conversiones de tipo y la ubicación conjunta se realizan de manera transparente.
ES-Hadoop ofrece soporte completo para Spark, Spark Streaming y SparkSQL. Además, ya sea que estés usando Hive, Pig, Storm, Cascading o MapReduce estándar, ES-Hadoop ofrece una interfaz nativa que te permite indexar y realizar búsquedas desde Elasticsearch. No importa lo que uses, el poder absoluto de Elasticsearch está a tu disposición.
ES-Hadoop incluye todas las características de seguridad que necesitarás, incluidos la autenticación de HTTP y el soporte de SSL/TLS, para mover tus datos de manera segura entre tus clusters de Hadoop y Elasticsearch. También funciona con despliegues de Hadoop habilitados para Kerberos.
ES-Hadoop es un binario único sin dependencias adicionales, por lo que distribuirlo dentro de tu cluster es rápido y sencillo. ¿Tienes preguntas? Visita la documentación de ES-Hadoop o únete a nosotros en el foro de ES-Hadoop.