このブログでは、検索および分析エンジンとして広く認知され、使用されているElasticsearchが、テキスト分類にも使用できることを紹介します。

<a href="/de/products/elasticsearch">Elasticsearch</a>は、検索および分析エンジンとして広く使用されており、そのテキストマイニングAPIとしての機能はあまり知られていません。
このブログでは、Elasticsearchでテキスト分類を実行する方法について紹介します。私には、計算言語学に関する知識と、テキストマイニングの分野におけるフリーランサーとしての数年間のビジネス経験があり、さまざまなシナリオにおいて下記のようなテクニックを実装およびテストする機会がありました。
Elasticsearchに初めて出会ったとき、私はその使いやすさとスピード、構成オプションに魅了されました。Elasticsearchを使うたびに、それまで使用していた自然言語処理（NLP）ツールやテクニックよりもさらにシンプルな処理方法が見つかるのです。
私はゼロから実装するように訓練されていましたが、ある時、Elasticsearchのそのままの設定で<a href="http://dataconomy.com/2016/12/use-elasticsearch-text-mining%E2%80%8A-%E2%80%8Apart-1/">多くのこと</a>を解決できることが分かりました。
ほとんどのNLPタスクは、次のような標準の事前処理パイプラインから開始されます。
<ol>
	<li>
	データの収集
	</li>
	<li>
	生テキストの抽出
	</li>
	<li>
	<a href="https://en.wikipedia.org/wiki/Sentence_boundary_disambiguation">文章の分割</a>
	</li>
	<li>
	トークン化
	</li>
	<li>
	正規化（ステミング、<a href="https://github.com/jprante/elasticsearch-analysis-baseform">レンマ化</a>）
	</li>
	<li>
	ストップワードの除外
	</li>
	<li>
	<a href="https://en.wikipedia.org/wiki/Part-of-speech_tagging">品詞のタグ付け</a>
	</li>
</ol>構文解析などの一部のNLPタスクには、詳細な言語分析が必要です。
このような種類のタスクに関して、Elasticsearchは、そのままでは最適なアーキテクチャーとデータフォーマットを提供しません。つまり、トークンレベルより後のタスクの場合、全文にアクセスするカスタムのプラグインを記述または使用する必要があります。
しかし、分類、クラスター化、キーワード抽出、類似度の測定などのタスクは、正規化された、または可能であれば重み付けされた、任意のドキュメントのBag of Words表現が必要になります。
ステップ1と2は、Elasticsearchの<a href="/guide/en/elasticsearch/plugins/current/ingest-attachment.html">Ingest Attachment Processor Plugin</a>（5.0より前では<a href="/guide/en/elasticsearch/plugins/5.0/mapper-attachments.html">Mapper Attachments Plugin</a>）で解決できます。
これらのプラグイン用の生テキストの抽出には、最も一般的なデータフォーマット（HTML/PDF/Wordなど）で使用可能な<a href="https://tika.apache.org/">Apache Tika</a>が使用されます。
ステップ4から6は、そのまますぐに使える<a href="/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html">言語アナライザー</a>で解決できます。
サンプルマッピング：
<pre class="prettyprint"> {
 "properties":{
 "content":{
 "type":"text",
 "analyzer":"german"
 }
 }
 }
</pre>特定のフィールドのマッピングタイプが"text"（5.0より前では"analyzed string"）であり、Elasticsearchがネイティブでサポートする言語のうちの1つにアナライザーが設定されている場合、トークン化、ステミング、およびストップワードの除外はインデックス時に自動的に実行されます。
これにより、Apache Tikaがサポートする任意の種類のドキュメントからBag of Words表現に到達するためにカスタムコードやその他のツールは必要ありません。
Elasticsearchが実行されている場合、言語アナライザーはREST APIで呼び出すことも可能です。
<pre class="prettyprint">curl -XGET "http://localhost:9200/_analyze?analyzer=english" -d'
 {
 "text" :"This is a test."
 }'
 {
 "tokens":[
 {
 "token":"test",
 "start_offset":10,
 "end_offset":14,
 "type":"&lt;ALPHANUM&gt;",
 "position":3
 }
 ]
 }
</pre>Elasticsearchを使用しない場合のアプローチは次のようになります。
カスタムコードでのテキスト収集、手動またはTikaライブラリを使用したドキュメント解析、従来のNLPライブラリまたは<a href="http://www.nltk.org/">NLTK</a>、<a href="https://opennlp.apache.org/">OpenNLP</a>、<a href="http://nlp.stanford.edu/">Stanford NLP</a>、<a href="https://spacy.io/">Spacy</a>などのAPIの使用、またはリサーチ部門が開発したその他のツールなどの使用です。ただし、リサーチ部門が開発したツールは通常、エンタープライズのコンテキストではあまり役に立つものではありません。往々にして、データフォーマットはプロプライエタリであり、ツールはコンパイルしてコマンドラインで実行することが必要で、結果は単純に標準出力にパイプするものがほとんどです。REST APIは例外です。
一方、Elasticsearchの言語アナライザーを使用すれば、必要になるのはマッピングの構成とデータのインデックスだけです。インデックス時に事前処理が実行されます。
<h3>テキスト分類に対する従来のアプローチ</h3>テキスト分類は従来、教師付き機械学習で解決されてきたタスクです。モデルをトレーニングするための入力は、ラベル付けされたドキュメントのセットです。この最も簡単な表現は、次の 2 個のフィールドを持つ JSON ドキュメントです:
「content」と「category」
従来、テキスト分類は<a href="https://scikit-learn.org/0.19/datasets/twenty_newsgroups.html">SciKit Learn</a>、<a href="http://weka.wikispaces.com/Text+categorization+with+WEKA">Weka</a>、<a href="http://www.nltk.org/book/ch06.html">NLTK</a>、<a href="https://mahout.apache.org/users/classification/twenty-newsgroups.html">Apache Mahout</a>などのツールで解決しています。
<h3>モデルの作成</h3>ほとんどの機械学習アルゴリズムには、データの<a href="https://en.wikipedia.org/wiki/Vector_space_model">ベクトル空間モデル</a>表現が必要です。この機能空間は通常、特定のデータセットの最も重要な1万語などです。単語の重要性はどのようにして計測するのでしょうか。
通常、<a href="https://en.wikipedia.org/wiki/Tf%E2%80%93idf">TF-IDF</a>を使用します。これは1970年代に発明された式です。TF-IDFは、特定のドキュメント内の用語を、データセットのその他の部分と比較してスコア付けする指標です。つまり、ドキュメント内の用語のTF-IDFスコアが高い場合、その用語は非常に特徴的なキーワードであることになり、この用語によってそのドキュメントは他のすべてのドキュメントから区別されることになります。
ドキュメントのサブセット内で最も高いTF-IDFスコアのキーワードは、トピックを表していると捉えることが可能です。テキスト分類できわめて一般的なのは、機能空間にTF-IDF総合スコアが最も高いn個の単語があることです。
各ドキュメントは機能ベクトルに変換され、その後、各クラス/カテゴリーのすべてのトレーニングインスタンスとともに使用され、モデルが作成されます。これにより、そのモデルに従って新しいドキュメントを分類することが可能になります。そのため、ドキュメントは機能ベクトルに変換される必要があり、それによってすべての類似度が計算されます。ドキュメントは、最も高いスコアのカテゴリーでラベル付けされます。
<h3>Elasticsearchでのテキスト分類</h3>Elasticsearch（または<a href="https://lingpipe-blog.com/2014/04/10/lucene4-document-classification/">Lucene</a>）では、上記のすべてをもっとシンプルな方法で解決できます。
次の4つのステップを実行するだけです。
<ol>
	<li>
	マッピングを構成する（"content" : "<a href="/guide/en/elasticsearch/reference/current/text.html">text</a>", "category" : "<a href="/guide/en/elasticsearch/reference/current/keyword.html">keyword</a>"）
	</li>
	<li>
	ドキュメントをインデックスする
	</li>
	<li>
	<a href="/guide/en/elasticsearch/reference/current/query-dsl-mlt-query.html">More Like This Query</a>（MLTクエリ）を実行する
	</li>
	<li>
	そのクエリのヒット数をスコアで集計する小規模なスクリプトを記述する
	</li>
</ol><pre class="prettyprint">PUT sample
 POST sample/document/_mapping
 {
 "properties":{
 "content":{
 "type":"text",
 "analyzer":"english"
 },
 "category":{
 "type":"text",
 "analyzer":"english",
 "fields":{
 "raw":{
 "type":"keyword"
 }
 }
 }
 }
 }
 POST sample/document/1
 {
 "category":"Apple (Fruit)",
 "content":"Granny Smith, Royal Gala, Golden Delicious and Pink Lady are just a few of the thousands of different kinds of apple that are grown around the world!You can make dried apple rings at home - ask an adult to help you take out the core, thinly slice the apple and bake the rings in the oven at a low heat."
 }
 POST sample/document/2
 {
 "category":"Apple (Company)",
 "content":"Apple is an American multinational technology company headquartered in Cupertino, California, that designs, develops, and sells consumer electronics, computer software, and online services.Its hardware products include the iPhone smartphone, the iPad tablet computer, the Mac personal computer, the iPod portable media player, the Apple Watch smartwatch, and the Apple TV digital media player.Apple's consumer software includes the macOS and iOS operating systems, the iTunes media player, the Safari web browser, and the iLife and iWork creativity and productivity suites.Its online services include the iTunes Store, the iOS App Store and Mac App Store, Apple Music, and iCloud."
 }
</pre>MLTクエリは、テキストマイニングにおいてきわめて重要なクエリです。
これは次のように機能します。任意のテキストを処理し、実際の「モデル」と比較して上位n個のキーワードを抽出し、それらのキーワードでブール一致クエリを実行します。このクエリは類似したドキュメントの収集によく使用されます。
すべてのドキュメントにクラス/カテゴリーラベルがあり、クラス単位で類似した数のトレーニングインスタンスがある場合、これは分類と同等になります。入力ドキュメントをlikeフィールドとして使用してMLTクエリを実行し、ヒット数上位n個のスコアおよびカテゴリーを集計する小規模なスクリプトを記述します。
<pre class="prettyprint">GET sample/document/_search
 {
 "query":{
 "more_like_this":{
 "fields":[
 "content",
 "category"
 ],
 "like":"The apple tree (Malus pumila, commonly and erroneously called Malus domestica) is a deciduous tree in the rose family best known for its sweet, pomaceous fruit, the apple.It is cultivated worldwide as a fruit tree, and is the most widely grown species in the genus Malus.The tree originated in Central Asia, where its wild ancestor, Malus sieversii, is still found today.Apples have been grown for thousands of years in Asia and Europe, and were brought to North America by European colonists.Apples have religious and mythological significance in many cultures, including Norse, Greek and European Christian traditions.",
 "min_term_freq":1,
 "max_query_terms":20
 }
 }
 }
</pre>このサンプルは、ワークフローを示すことのみを意図しています。実際の分類については、もう少し多くのデータが必要になります。そのため、この例で実際に結果を得られなくても心配は不要です。さらにデータを追加するだけで正しく機能します。
以下は、小規模なPythonスクリプトです。応答を処理し、入力ドキュメントに関して最も可能性の高いカテゴリーを返します。
<pre class="prettyprint">from operator import itemgetter
 def get_best_category(response):
 categories = {}
 for hit in response['hits']['hits']:
 score = hit['_score']
 for category in hit['_source']['category']:
 if category not in categories:
 categories[category] = score
 else:
 categories[category] += score
 if len(categories) &gt; 0:
 sortedCategories = sorted(categories.items(), key=itemgetter(1), reverse=True)
 category = sortedCategories[0][0]
 return category
</pre>以上が、Elasticsearchでテキスト分類を実行する方法です。
<h3>ユースケース</h3>テキストの分類は、実際にNLPのユースケースとして非常に一般的です。Eコマースデータ（製品）について考えてみてください。多くの人が、アフィリエイトリンクのあるEコマースショップを運営しています。データはいくつかのショップから提供され、通常はカテゴリータグが付けられています。ただし、カテゴリータグは各ショップで異なります。そのためカテゴリーシステムを統一する必要があり、新しいカテゴリーツリーに従ってすべてのデータを再分類する必要があります。または、ビジネスインテリジェンスアプリケーションの場合は、企業のセクター（美容院、パン屋など）に従って企業のウェブサイトを分類する必要があります。
<h3>評価 </h3>私は<a href="http://ana.cachopo.org/datasets-for-single-label-text-categorization">標準のテキスト分類データセット</a>である<a href="http://qwone.com/~jason/20Newsgroups/">20 Newsgroupsデータセット</a>を使用して、このアプローチを評価しました。ドキュメントの12%のみを含めた場合に、高品質スコアのしきい値で最高の適合率（92%の正確なラベル）を達成しました。すべてのドキュメントにラベルを付けると（100%の再現率）、予測の72%が適合していました。
20 Newsgroupsデータセットのテキスト分類に関する最良のアルゴリズムは、通常、SVNおよびnaive Bayesです。これらは、データセット全体に関して、より高い平均適合率を達成します。
このように、より優れたアルゴリズムがあるのに、Elasticsearchの使用を検討するべき理由は何でしょうか。
それにはいくつかの実用的な理由がありますが、そのうちの1つは、SVMモデルのトレーニングには時間がかかることです。特に、スタートアップ企業の場合や、さまざまな顧客またはユースケースに迅速に適応する必要がある場合は、大きな問題になる可能性があります。データが変更されるたびにモデルを再トレーニングできない場合があります。私自身、ドイツの大手銀行でのプロジェクトで経験しています。このため、古いモデルを使用することになり、想定されるような良好なスコアを達成することはありません。
Elasticsearchのアプローチでは、インデックス時にトレーニングが実行され、モデルはアプリケーションのダウンタイムを発生させずにいつでも動的に更新できます。データをElasticsearchに保存した場合、追加のインフラストラクチャーは不要です。通常、10％を超える非常に正確な結果で、最初のページを埋めることができます。これは多くのアプリケーションで良好な第一印象として十分です。
ではなぜ、他のツールがあるのにElasticsearchを使うのでしょうか。
なぜなら、そこにすでにデータがあり、Elasticsearchは基盤となる統計を事前に計算するからです。無料でNLPを手に入れるようなものです。
<hr><img src="https://api.contentstack.io/v2/uploads/58c91685a65c8d5d34e7a9c4/download?uid=blt17cf02e7ec334bcf" data-sys-asset-uid="blt17cf02e7ec334bcf" alt="Saskia Vola" width="148" height="160" style="float:left; width: 148px; height: 160px; margin:0 10px 10px 0;">
	
Saskia Volaは、ハイデルベルク大学で計算言語学を修め、2009年よりテキストマイニングの分野でのキャリアを開始しました。ベルリンでスタートアップ企業に数年間勤務した後、フリーランサーとしてのキャリアを歩み始め、デジタルノマドの生活を楽しんでいます。関連プロジェクトの依頼が増え続けているため、NLP/AIフリーランサー用のプラットフォームである<a href="http://textminers.io/">textminers.io</a>を立ち上げました。

magnet-letters-pile.jpg

thumb-magnet-letters-pile.jpg

Text Classification made easy with Elasticsearch

Elasticsearchで簡単にテキスト分類を実行

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Saskia Vola

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、上記で提供された連絡先に<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">特定の通知</a>が送信されることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシーポリシー</a>をご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。このフォームを送信することにより、Elasticが私の連絡先情報をGoogle Cloudに共有することに同意します。また、Elasticが私に食材パッケージを発送する目的で私の情報をベンダーに提供することにも同意します。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

送信することにより、Elasticの<a href="/jp/legal/serverless-preview-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

送信することにより、<a href="/jp/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud利用規約</a>に同意したものとみなされます。個人情報は<a href="/jp/legal/privacy-statement">Elasticのプライバシーポリシー</a>に基づいて取り扱われます。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

送信することにより、Elasticの<a href="/jp/legal/terms-of-use" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

このページのコンテンツは、選択された言語ではご利用いただけません。Elasticでは現在、コンテンツをさまざまな言語でご利用いただけるよう取り組んでいます。お使いの言語が準備されるまでお待ちくださるようお願いいたします。

Author

Articles by

Watch now (no PT)

Watch now

See all top stories

すべてのトップストーリーを見る

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Search Integrations

All Solutions

Video for

See when this webinar starts in my time zone

現在のタイムゾーンでこのウェビナー開始時間を見る

Register to Watch

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

他の予定と重なってしまった…という場合も、問題ありません。参加登録されると、録画配信をご利用いただけます。関連コンテンツのご案内もメールでお届けします。

Author

Articles by Saskia Vola

Elasticsearchで簡単にテキスト分類を実行

Sign up for Elastic Cloud free trial