Elasticsearch for Apache Hadoop 5.0.0リリースの紹介

<p>ES-Hadoopとして親しまれているElasticsearch for Apache Hadoopを使用すれば、Hadoopユーザーおよびデータを必要とする企業様は、本格的な検索/分析エンジンを使用してリアルタイムでワークフローを強化できるようになります。そして今、待ちわびた瞬間がやってきました。ドラムロールを鳴らしてください。開発者でありデータサイエンティストである私が <a href="/downloads/past-releases/elasticsearch-apache-hadoop-5-0-0">Elasticsearch for Apache Hadoop 5.0.0</a>）を紹介させていただきます！ </p><p>アーリーアクセスリリースを何度か行ない、フィードバックポストが満杯になり、そして長らくお待たせしましたが、とうとうこの瞬間がやってきました。Elastic Stackは5.0までバージョンを重ね、そのフィニッシュラインを共に越えるのがES-Hadoopです！このリリースには、かなりの数の安定性改善、バグ修正、すべてのお客様に喜んでいただける素晴らしい新機能が盛り込まれています。それでは、前置きはこのくらいにして... 
</p><h2>ES-Hadoop 5.0の最新情報</h2><h3>古きを捨て新しきを入れよ 
</h3><p>ときには、前に進むための後退が必要になることがあります。今までは、ごくわずかな統合のためにバージョンを重ねることによって、古いバージョンのサポートを減らしてきました。古いバージョンを使用している場合、ES-Hadoop 5.0に移行する前に、互換性を最大限に向上させるために更新することをお奨めします。</p><h3>Hive 1.0が登場し、Hive 0.13/0.14が終了</h3><p>Hive 1.0が大分前にリリースされており、大半のディストリビューションがすでに移行されています。たとえば、Hive 0.13とHive 0.14（深刻な問題で苦しめられた2つのリリース）のサポートは現在では終了し、コードベースをクリーンアップしています。
</p><h3>Storm 1.xが登場し、Storm 0.9が終了</h3><p>Stormのサポートは1.0.xにアップグレードされています。このバージョンはStorm 0.9.xとの下位互換性がないため、こうした下位バージョンのサポートは終了することになります。
</p><h3>Spark 2.0が登場し、Spark 1.0～1.2が終了
</h3><p>Sparkのサポートは、Spark 2.0の最新のリリースで更新されています。本バージョンのSparkには、これまでのSparkバージョンとの下位互換性はありません。Spark 1.3～1.6については、<a href="https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-spark-13_2.10/5.0.0">異なる互換性のアーティファクト</a>としてサポートを継続することを決定しています。SparkSQLは、最初はSpark 1.0～1.2でアルファコンポーネントとしてリリースされました。それ以降、SparkSQLはSpark 1.3で安定するようになりましたが、APIは大幅に変更されています。全く異なる3つのバージョンのSparkをサポートするのは負荷が大きいため、Spark 1.0～1.2のサポート対象から外しました。
</p><h3>HDFS レポジトリ</h3><p>HDFS レポジトリは、大幅なアップグレードを行っており、今ではElasticsearch本体の一部になっています。こうしたアップグレードのため、ES-Hadoopプロジェクトからは除外しました。とはいえ、Elasticsearch 5.0のHDFSプラグインは、うまい具合にパッケージ化されているだけでなく、統合にも成功しています。こうした改善では、今後は使用できなくなるオプションのJVM「セキュリティマネージャ」を無効にする必要はなくなりました。
</p><h3>(Hadoop/Spark) + Slice API = よりパラレルに</h3><p>Elasticsearchの新しいScroll Slicing機能の使用をサポートするために、大幅な変更が追加されています。今では入力タスクごとに見たいドキュメントの最大数を指定できるようになり、フレームワークは、入力スプリットを細分化して、コンピューティングの並列処理を増やそうとします。シェアすることは素敵なことではないですか？</p><h3>Ingest Node</h3><p><a href="/blog/ingest-node-a-clients-perspective">Ingest Node</a>と呼ばれるクールな新機能が、アルファリリースで使用できるようになり、Elasticsearch v5.0にも実装されるとのことです。私たちはこう考えました。「そうか、私たちは食べ物をインジェスト（摂取）して、このノードはデータをインジェスト（取り込み）するんだな。これを使って、ブランチの予定をすぐ決めて雑談でもしよう」。ES-Hadoop 5.0のリリースでは、不必要なトラフィックを削減するためにIngest Nodeのみをターゲット化するだけでなく、データを送信するインジェストパイプラインを指定できます。ユーザーからのブランチの件について、つまりIngest Nodeに関する意見を聞けることを期待しています。ぜひお問い合わせください！
</p><h3>Spark Streamingのネイティブサポート</h3><p>Sparkはかなり速いですが、それよりもさらに速いデータ処理が必要になることもあります。ES-HadoopをSpark Streamingと使用しているユーザーの話を聞くのはうれしいことですが、それと同じくらい、制限に達するまで実行しているのではないかという心痛も感じています。私たちはそのことについて、ある決定を下しました。現在のES-Hadoopでは、Spark Streamingから「DStream」 を使用する方法をネイティブサポートしています。最もよく報告されている、小規模なウィンドウ処理中に接続リソースが枯渇するというSpark Streamingの問題に対する修正をいくつか組み込んでいます。TIMED_WAITがほとんどなく、Spark Streaming Jobの継続期間が長く持続することを願っています。
</p><h3>迅速なバグ駆除</h3><p>コンピューターというのは、本当に難しいものです。報告された問題が発生したときに、コミュニティの仲間がかなり手助けをしてくれるという幸運に、毎日感謝しています。ES-Hadoopのコピーを開いたときに、バグ修正の最新バッチがすでに適用されていることに気づくでしょう。こうしたバグは、SparkSQLでのデータの上書き、ネットワークコードや「プロパティ」という名前のマッピングのサブフィールドなどでのメモリーリークといった問題などに及びます。そのすべてをここに挙げると、他のことを挙げる余地がなくなります。バグハンターがいることに感謝しなければなりません！これは皆様に捧げます。</p><h3>フィードバック</h3><p>いつもながら、うまく行っているかどうかやどんな改善が必要なのかをユーザーから聞けるのはありがたいことです。ですので、Twitter、GitHubまたはフォーラムにいつでも投稿してください。オペレーターが待機しています。</p><h3>謝辞</h3><p>私たちES-Hadoopチームは、アーリーアダプターの皆様に、アルファ版やベータ版のリリース直前の数ヶ月間に協力していただいたことに特に感謝しております。5.0は、皆様のおかげで最高のリリースになりました。今後もご協力いただけますようお願いします。</p>

blog-es-hadoop-banner.jpg

blog-es-hadoop-thumb.jpg

Elasticsearch for Apache Hadoop 5.0.0

Elasticsearch for Apache Hadoop 5.0.0リリース

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Senior Software Engineer

James Baiera

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、上記で提供された連絡先に<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">特定の通知</a>が送信されることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシーポリシー</a>をご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p><p>By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.</p>

GDPR Text + Google Cloud

<p>送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。</p><p>このフォームを送信することにより、Elasticが私の連絡先情報をGoogle Cloudに共有することに同意します。また、Elasticが私に食材パッケージを発送する目的で私の情報をベンダーに提供することにも同意します。</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>送信することにより、Elasticの<a href="/jp/legal/serverless-preview-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>送信することにより、<a href="/jp/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud利用規約</a>に同意したものとみなされます。個人情報は<a href="/jp/legal/privacy-statement">Elasticのプライバシーポリシー</a>に基づいて取り扱われます。</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>送信することにより、Elasticの<a href="/jp/legal/terms-of-use" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。</p>

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

このページのコンテンツは、選択された言語ではご利用いただけません。Elasticでは現在、コンテンツをさまざまな言語でご利用いただけるよう取り組んでいます。お使いの言語が準備されるまでお待ちくださるようお願いいたします。

Author

Articles by

Watch now (no PT)

Watch now

See all top stories

すべてのトップストーリーを見る

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Search Integrations

All Solutions

Video for

See when this webinar starts in my time zone

現在のタイムゾーンでこのウェビナー開始時間を見る

Register to Watch

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

他の予定と重なってしまった…という場合も、問題ありません。参加登録されると、録画配信をご利用いただけます。関連コンテンツのご案内もメールでお届けします。

Author

Articles by James Baiera

Senior Software Engineer, Elastic

Elasticsearch for Apache Hadoop 5.0.0リリース