Elasticsearch-Hadoop
두 세계의 장점을 결합한 실시간 분석
Hadoop의 대규모 데이터 저장 공간 및 처리 역량과 Elasticsearch의 실시간 검색 및 분석 기능을 연결하세요. Elasticsearch-Hadoop(ES-Hadoop) 커넥터를 통해 빅데이터에서 인사이트를 신속하게 이끌어낼 수 있으며 Hadoop 에코시스템 내에서 작업 성능을 향상시킬 수 있습니다.
Hadoop 데이터에 대한 대화형 분석
Hadoop은 우수한 배치 처리 시스템이지만, 실시간 결과를 적절히 제공하지 못한다는 측면에서는 한계가 있습니다. ES-Hadoop은 진정한 의미의 대화형 데이터 검색을 위해 Hadoop 데이터를 Elastic Stack으로 색인하여 고성능 Elasticsearch 엔진과 Kibana 시각화 기능의 이점을 완벽하게 활용합니다.
ES-Hadoop을 활용하여 동적 임베디드 검색 응용 프로그램을 손쉽게 구축하고, 전체 텍스트 검색과 위치 정보 쿼리, 집계를 통해 보다 깊이 있고 지연 시간이 짧은 Hadoop 데이터 분석을 실시할 수 있습니다. ES-Hadoop은 상품 추천부터 유전체 염기서열 결정에 이르기까지 새로운 분야에서 다양한 목적으로 활용이 가능합니다.
Elasticsearch와 Hadoop 간의 원활한 데이터 이동
실시간 의사결정을 위해서는 빛처럼 빠른 데이터 이동이 가능해야 합니다. ES-Hadoop은 기존 Hadoop API를 확장한 제품으로, Elasticsearch와 Hadoop 간에 데이터를 더욱 쉽게 이동할 수 있으며 장기 보관을 위한 HDFS 리포지토리를 제공합니다. 파티션 인식, 실패 처리, 유형 변환, 코로케이션 모두 투명하게 수행할 수 있습니다.
Spark 계열 기본 지원
ES-Hadoop은 Spark, Spark Streaming, SparkSQL과의 연동을 완벽하게 지원하며 Hive나 Pig, Storm, Cascading, 표준 MapReduce 중 어느 것을 사용하든 Elasticsearch에서 색인을 하고 쿼리를 수행할 수 있는 기본 인터페이스를 제공합니다. 사용하는 프로그램에 관계없이 Elasticsearch의 강력한 성능을 자유롭게 활용하실 수 있습니다.
어디서든 안전한 데이터 보안
ES-Hadoop은 HTTP 인증 및 SSL/TLS 지원 등 사용자에게 필요한 모든 보안 기능과 함께 전송되어, Hadoop과 Elasticsearch 클러스터 간에 안전하게 데이터를 이동할 수 있습니다. 또한 Kerberos가 지원되는 Hadoop 배포에서도 잘 작동합니다.
모든 Hadoop 계열 지원
Elastic은 Cloudera, MapR, Hortonworks, Databricks의 공식 파트너로서 vanilla Hadoop을 비롯한 다른 배포 사용자까지 모두 지원합니다. ES-Hadoop은 CDH, MapR, HDP 인증을 획득했습니다.
ES-Hadoop 시작하기
ES-Hadoop은 추가적인 종속성이 없는 단일 바이너리이므로 클러스터에 쉽고 빠르게 배포할 수 있습니다. 질문이 있으신가요? ES-Hadoop 설명서를 확인하시거나 ES-Hadoop 포럼에 참여해 주세요.