<a href="/fr/elasticsearch">Elasticsearch</a> est bien connu en tant que moteur de recherche et d'analyse. Mais saviez-vous qu’il peut aussi servir en tant qu’API de text mining&nbsp;?

Dans l’article suivant, je vais vous présenter comment utiliser Elasticsearch dans le cadre de la classification de textes. Grâce à ma formation en linguistique informatique et à mon expérience professionnelle en tant que freelance dans le domaine du text mining, j’ai eu la possibilité de mettre en œuvre et de tester les techniques suivantes dans différents scénarios.

Lorsque je suis tombée sur Elasticsearch la première fois, j’ai été fascinée par sa facilité d’utilisation, sa vitesse d’exécution et ses options de configuration. À chaque fois que je m’en servais pour travailler, je trouvais un moyen toujours plus simple d’obtenir les résultats que je recherchais jusque-là en utilisant des outils et techniques classiques de traitement automatique du langage naturel (TALN).

Je me suis rendue compte à un moment donné qu’Elasticsearch permettait de résoudre directement <a href="http://dataconomy.com/2016/12/use-elasticsearch-text-mining%E2%80%8A-%E2%80%8Apart-1/">un grand nombre de choses</a> que j’avais l’habitude de traiter de zéro.

La plupart des tâches de TALN démarrent par un pipeline de prétraitement standard&nbsp;:

<ol>
	<li>
	Collecte des données
	</li>
	<li>
	Extraction du texte brut
	</li>
	<li>
	<a href="https://en.wikipedia.org/wiki/Sentence_boundary_disambiguation">Séparation des phrases</a>
	</li>
	<li>
	Conversion en tokens
	</li>
	<li>
	Normalisation (racinisation, <a href="https://github.com/jprante/elasticsearch-analysis-baseform">lemmatisation</a>)
	</li>
	<li>
	Suppression des mots non significatifs
	</li>
	<li>
	<a href="https://en.wikipedia.org/wiki/Part-of-speech_tagging">Étiquetage morpho-syntaxique</a>
	</li>
</ol>
Certaines tâches de TALN, telle que l’analyse syntaxique, nécessitent une analyse linguistique approfondie.

Pour ce type de tâches, Elasticsearch ne fournit pas directement l’architecture idéale ni le format de données optimal. C’est-à-dire que, pour les tâches qui vont au-delà des tokens, il est nécessaire d’écrire ou d’utiliser des plug-ins personnalisés accédant à l’intégralité du texte.

Mais les tâches telles que la classification, le clustering, l’extraction de mots-clés, la mesure de similarité, etc. nécessitent uniquement une représentation par sac de mots normalisée et potentiellement pondérée d’un document donné.

Les étapes&nbsp;1 et 2 peuvent être résolues à l’aide du <a href="/guide/en/elasticsearch/plugins/current/ingest-attachment.html">plug-in Ingest Attachment Processor</a> (désigné par <a href="/guide/en/elasticsearch/plugins/5.0/mapper-attachments.html">plug-in Mapper Attachments</a> dans les versions précédant la 5.0) d’Elasticsearch.

L’extraction du texte brut pour ces plug-ins se base sur <a href="https://tika.apache.org/">Apache&nbsp;Tika</a>, qui est compatible avec les formats de données les plus courants (HTML/PDF/Word etc.).

Les étapes&nbsp;4 à&nbsp;6 sont gérées à l’aide d’<a href="/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html">analyseurs linguistiques</a> prêts à l’emploi.

Exemple de mapping&nbsp;:

<pre class="prettyprint"> {
 "properties":{
 "content":{
 "type":"text",
 "analyzer":"german"
 }
 }
 }
</pre>
Si le type de mapping pour un champ donné est "text" (avant 5.0&nbsp;: "analyzed string") et que l’analyseur est configuré sur l’une des langues prises en charge de façon native par Elasticsearch, la conversion en tokens, la racinisation et l’élimination des mots non significatifs seront automatiquement exécutées au moment de l’indexation.

Aussi, pas besoin de code personnalisé ni d’autre outil pour obtenir une représentation par sac de mots d’un type de document quel qu’il soit lorsqu’il est pris en charge par Apache&nbsp;Tika.

Les analyseurs linguistiques peuvent être également appelés par l’intermédiaire de l’API&nbsp;REST lorsqu’Elasticsearch est en cours d’exécution.

<pre class="prettyprint">curl -XGET "http://localhost:9200/_analyze?analyzer=english" -d'
 {
 "text" : "This is a test."
 }'
 {
 "tokens":[
 {
 "token":"test",
 "start_offset":10,
 "end_offset":14,
 "type":"&lt;ALPHANUM&gt;",
 "position":3
 }
 ]
 }
</pre>
Si vous n’utilisez pas Elasticsearch, voici à quoi votre approche ressemblerait&nbsp;:

Collecte du texte avec un code personnalisé, analyse du document à la main ou avec la bibliothèque Tika, utilisation d’une bibliothèque TALN traditionnelle ou d’une API telle que <a href="http://www.nltk.org/">NLTK</a>, <a href="https://opennlp.apache.org/">OpenNLP</a>, <a href="http://nlp.stanford.edu/">Stanford NLP</a>, <a href="https://spacy.io/">Spacy</a> ou tout autre outil ayant été conçu dans un service de recherche. Sachez néanmoins que les outils mis au point dans un service de recherche ne sont généralement pas adaptés au contexte d’une entreprise. La plupart du temps, les formats de données sont propriétaires, les outils doivent être compilés et exécutés sur la ligne de commande, et les résultats sont souvent présentés de façon simpliste dans une sortie standard. Les API&nbsp;REST constituent une exception.

Avec les analyseurs linguistiques Elasticsearch, vous devez simplement configurer votre mapping et indexer les données. Le prétraitement démarre automatiquement au moment de l’indexation.

<h3>Approche traditionnelle de la classification de textes</h3>
La classification de textes est une tâche habituellement gérée par un Machine Learning supervisé. Pour entraîner un modèle, on utilise un ensemble de documents balisés. Un document JSON contenant deux champs,

"content" et "category", serait un exemple de représentation minimale.

En général, la classification de textes est gérée à l’aide d’un outil comme <a href="https://scikit-learn.org/0.19/datasets/twenty_newsgroups.html">SciKit Learn</a>, <a href="http://weka.wikispaces.com/Text+categorization+with+WEKA">Weka</a>, <a href="http://www.nltk.org/book/ch06.html">NLTK</a>, <a href="https://mahout.apache.org/users/classification/twenty-newsgroups.html">Apache&nbsp;Mahout</a> etc.

<h3>Création des modèles</h3>
La plupart des algorithmes de Machine Learning s’appuient sur la représentation d’un <a href="https://en.wikipedia.org/wiki/Vector_space_model">modèle vectoriel</a> des données. L’espace de description correspond habituellement à un certain volume des mots les plus importants d’un ensemble de données spécifique, par exemple 10&nbsp;000&nbsp;mots. Comment peut-on mesurer l’importance d’un mot&nbsp;?

En général, en utilisant <a href="https://en.wikipedia.org/wiki/Tf%E2%80%93idf">TF-IDF</a>. Il s’agit d’une formule qui a été inventée dans les années 1970. TF-IDF est une pondération qui permet d’attribuer une note à un terme dans un document spécifique par rapport au reste de l’ensemble de données. Si un terme a une note TF-IDF élevée, cela signifie qu’il s’agit d’un mot-clé extrêmement caractéristique et qu’il permet de faire ressortir un document par rapport à d’autres documents.

Les mots-clés ayant les notes TF-IDF les plus élevées dans un sous-ensemble de documents peuvent représenter une thématique. Dans le cadre de la classification de textes, il est courant que l’espace de description soit constitué des n mots ayant la plus haute note TF-IDF.

Chaque document est converti en un vecteur de description. Ensuite, un modèle est créé avec toutes les instances d’entraînement de chaque classe/catégorie. Par la suite, les nouveaux documents peuvent être classés en fonction du modèle. Il faut donc convertir le document en vecteur de description pour que toutes les ressemblances puissent être calculées. Le document sera balisé en fonction de la catégorie ayant la note la plus élevée.

<h3>Classification de textes avec Elasticsearch</h3>
Avec Elasticsearch (ou <a href="https://lingpipe-blog.com/2014/04/10/lucene4-document-classification/">Lucene</a>), la procédure abordée ci-dessus peut être grandement simplifiée.

Vous devez simplement exécuter quatre étapes&nbsp;:

<ol>
	<li>
	Configurer votre mapping ("content" : "<a href="/guide/en/elasticsearch/reference/current/text.html">text</a>", "category" : "<a href="/guide/en/elasticsearch/reference/current/keyword.html">keyword</a>")
	</li>
	<li>
	Indexer vos documents
	</li>
	<li>
	Exécuter une <a href="/guide/en/elasticsearch/reference/current/query-dsl-mlt-query.html">requête More Like This</a> (requête MLT)
	</li>
	<li>
	Rédiger un script court qui agrège les résultats de cette requête en fonction des notes
	</li>
</ol>
<pre class="prettyprint">PUT sample
 POST sample/document/_mapping
 {
 "properties":{
 "content":{
 "type":"text",
 "analyzer":"english"
 },
 "category":{
 "type":"text",
 "analyzer":"english",
 "fields":{
 "raw":{
 "type":"keyword"
 }
 }
 }
 }
 }
 POST sample/document/1
 {
 "category":"Apple (Fruit)",
 "content":"Granny Smith, Royal Gala, Golden Delicious and Pink Lady are just a few of the thousands of different kinds of apple that are grown around the world! You can make dried apple rings at home - ask an adult to help you take out the core, thinly slice the apple and bake the rings in the oven at a low heat."
 }
 POST sample/document/2
 {
 "category":"Apple (Company)",
 "content":"Apple is an American multinational technology company headquartered in Cupertino, California, that designs, develops, and sells consumer electronics, computer software, and online services. Its hardware products include the iPhone smartphone, the iPad tablet computer, the Mac personal computer, the iPod portable media player, the Apple Watch smartwatch, and the Apple TV digital media player. Apple's consumer software includes the macOS and iOS operating systems, the iTunes media player, the Safari web browser, and the iLife and iWork creativity and productivity suites. Its online services include the iTunes Store, the iOS App Store and Mac App Store, Apple Music, and iCloud."
 }
</pre>
La requête MLT joue un rôle essentiel dans le text mining.

Comment fonctionne-t-elle&nbsp;? Elle peut traiter un texte arbitraire, extraire les n premiers mots-clés vers le "modèle" réel et exécuter une recherche par correspondance booléenne avec ces mots-clés. Cette requête sert généralement à collecter des documents similaires.

Si tous les documents ont un balisage de classe/catégorie et un nombre similaire d’instances d’entraînement par classe, cela équivaut à une classification. Exécutez simplement une requête MLT avec le document d’entrée, comme le champ Like, et rédigez un script court qui agrège la note et la catégorie des n premiers résultats.

<pre class="prettyprint">GET sample/document/_search
 {
 "query":{
 "more_like_this":{
 "fields":[
 "content",
 "category"
 ],
 "like":"The apple tree (Malus pumila, commonly and erroneously called Malus domestica) is a deciduous tree in the rose family best known for its sweet, pomaceous fruit, the apple. It is cultivated worldwide as a fruit tree, and is the most widely grown species in the genus Malus. The tree originated in Central Asia, where its wild ancestor, Malus sieversii, is still found today. Apples have been grown for thousands of years in Asia and Europe, and were brought to North America by European colonists. Apples have religious and mythological significance in many cultures, including Norse, Greek and European Christian traditions.",
 "min_term_freq":1,
 "max_query_terms":20
 }
 }
 }
</pre>
Cet exemple sert uniquement à illustrer le workflow. Pour effectuer une classification réelle, vous aurez besoin d’un plus grand volume de données. Aussi, ne vous affolez pas si vous n’obtenez pas de résultat réel avec cet exemple. Ajoutez tout simplement d’autres données pour le faire fonctionner.

Vous trouverez ci-dessous un petit script Python qui traite la réponse et renvoie la catégorie la plus probable pour le document d’entrée.

<pre class="prettyprint">from operator import itemgetter
 def get_best_category(response):
 categories = {}
 for hit in response['hits']['hits']:
 score = hit['_score']
 for category in hit['_source']['category']: 
 if category not in categories:
 categories[category] = score
 else:
 categories[category] += score
 if len(categories) &gt; 0:
 sortedCategories = sorted(categories.items(), key=itemgetter(1), reverse=True)
 category = sortedCategories[0][0]
 return category
</pre>
Et voici votre système de classification de textes Elasticsearch&nbsp;!

<h3>Cas d'utilisation</h3>
La classification de textes est un cas d'utilisation concret très commun pour le TALN. Pensez aux données du commerce en ligne (produits). Bon nombre de personnes gèrent des boutiques de commerce en ligne avec des liens affiliés. Les données proviennent de plusieurs boutiques et sont souvent accompagnées d’une balise de catégorie. Mais chaque boutique dispose d’une balise de catégorie différente. Il faut donc unifier les systèmes de catégorie, puis re-classifier toutes les données en fonction de la nouvelle arborescence de catégories. Autre exemple&nbsp;: une application de Business Intelligence, dans laquelle les sites web d’une entreprise doivent être classifiés en fonction de leur secteur (coiffure ou boulangerie, etc.).

<h3>Évaluation </h3>
J’ai évalué cette approche à l’aide d’un <a href="http://ana.cachopo.org/datasets-for-single-label-text-categorization">ensemble de données de classification de textes standard</a>&nbsp;: <a href="http://qwone.com/~jason/20Newsgroups/">20&nbsp;Newsgroups</a>. La précision la plus élevée que j’ai obtenue (92&nbsp;% de balises correctes) a été atteinte avec un seuil de note de haute qualité incluant seulement 12&nbsp;% des documents. Lors du balisage des documents (rappel à 100&nbsp;%), 72&nbsp;% des prédictions étaient correctes.

Les meilleurs algorithmes pour la classification de textes dans l’ensemble de données 20&nbsp;Newsgroup sont généralement SVM et Naive&nbsp;Bayes. Ils offrent en effet une précision moyenne plus élevée au niveau de l’ensemble de données intégral.

Aussi, vous vous demandez certainement pourquoi choisir Elasticsearch pour la classification si ces algorithmes sont d’une plus grande précision&nbsp;?

Pour des raisons pratiques&nbsp;: l’entraînement d’un modèle SVM demande beaucoup de temps, en particulier lorsque vous travaillez dans une startup ou lorsque vous avez besoin de vous adapter rapidement à des clients et des cas d'utilisation différents qui pourraient devenir des problèmes concrets. Vous n’aurez peut-être pas la possibilité d’entraîner votre modèle à chaque fois que vos données changent. C’est ce que j’ai constaté par moi-même alors que je travaillais sur un projet pour une grande banque allemande. Ce qui va donc se passer, c’est que vous allez travailler avec des modèles obsolètes, qui ne seront plus aussi adaptés.

Lorsque vous optez pour l’approche Elasticsearch, l’entraînement se fait au moment de l’indexation et votre modèle peut être mis à jour de façon dynamique n’importe quand sans qu’il y ait d’interruption de votre application. Si vos données sont stockées dans Elasticsearch, vous n’avez pas besoin d’infrastructure supplémentaire. Avec plus de 10&nbsp;% de résultats hautement précis, vous pouvez généralement remplir la première page. Dans bon nombre d’applications, c’est suffisant pour avoir une première impression globale.

Pourquoi, dans ce cas, utiliser Elasticsearch alors qu’il existe d’autres outils&nbsp;?

Parce que vos données sont déjà là et que la solution va pré-calculer les statistiques sous-jacentes de toute façon. Un peu comme si vous aviez un TALN pratiquement gratuit&nbsp;!

<hr>
<img src="https://api.contentstack.io/v2/uploads/58c91685a65c8d5d34e7a9c4/download?uid=blt17cf02e7ec334bcf" data-sys-asset-uid="blt17cf02e7ec334bcf" alt="Saskia Vola" width="148" height="160" style="float:left; width: 148px; height: 160px; margin:0 10px 10px 0;">
	

Saskia Vola a étudié la linguistique informatique à l’Université d’Heidelberg et a commencé à travailler dans le domaine du text mining en 2009. Après quelques années passées dans des startups sur la scène berlinoise, Saskia s’est lancée en tant que freelance à temps plein et profite de son statut de nomade digitale. Recevant un nombre croissant d’offres de projet pertinentes, elle a décidé de mettre en place une plate-forme pour les freelances travaillant en TALN/IA, appelée <a href="http://textminers.io/">textminers.io</a>

magnet-letters-pile.jpg

thumb-magnet-letters-pile.jpg

Text Classification made easy with Elasticsearch

Elasticsearch facilite la classification de textes

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Saskia Vola

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Saskia Vola

Elasticsearch facilite la classification de textes

Sign up for Elastic Cloud free trial