Conecte o armazenamento de dados em massa e a profunda capacidade de processamento do Hadoop com a busca e análise de dados em tempo real do Elasticsearch. O conector Elasticsearch-Hadoop (ES-Hadoop) permite obter informações rápidas do big data e melhor ainda mais o funcionamento do ecossistema do Hadoop.
O Hadoop brilha como sistema de processamento em lote, mas oferecer resultados em tempo real pode ser um grande desafio. Para proporcionar a descoberta de dados realmente interativa, o ES-Hadoop permite indexar os dados do Hadoop no Elastic Stack para aproveitar totalmente o velocíssimo mecanismo do Elasticsearch e as belas visualizações do Kibana.
Com o ES-Hadoop, você pode desenvolver facilmente aplicações de busca dinâmicas e incorporadas para oferecer dados do Hadoop ou executar análise de dados profunda e de baixa latência usando consultas e agregações geoespaciais de texto completo. Desde recomendações de produtos até sequenciamento de genomas, o ES-Hadoop abre um novo mundo de aplicações amplas.
A tomada de decisões ao vivo só acontece com migração de dados superveloz. Com extensões dinâmicas às APIs existentes do Hadoop, o ES-Hadoop permite migrar facilmente os dados em duas direções entre o Elasticsearch e o Hadoop, ao mesmo tempo expondo o HDFS como um repositório para arquivamento no longo prazo. As tarefas de reconhecimento de partição, manipulação de falhas, conversões de tipos e colocalização são todas executadas de maneira transparente.
O ES-Hadoop oferece suporte total ao Spark, ao Spark Streaming e ao SparkSQL. Além disso, não importa se você está usando o Hive, o Pig, o Storm, o Cascading ou o MapReduce padrão, o ES-Hadoop oferece uma interface nativa que permite indexar para e consultar do Elasticsearch. Independentemente do que você usa, a capacidade absoluta do Elasticsearch fica à sua disposição.
O ES-Hadoop é fornecido com todos os recursos de segurança necessários, incluindo autenticação HTTP e suporte a SSL/TLS, para migrar com segurança os dados entre seus clusters do Hadoop e do Elasticsearch. Ele também funciona com implantações do Hadoop habilitadas para o Kerberos.
O ES-Hadoop é um único arquivo binário sem dependências adicionais; por isso, a distribuição dele no seu cluster é simples e rápida. Alguma dúvida? Acesse a documentação do ES-Hadoop ou junte-se a nós no fórum sobre o ES-Hadoop.