Comment intégrer des données non structurées aux solutions de Business Intelligence ?

Aujourd’hui les organisations (entreprises, associations, personnes, …) produisent et consomment des quantités de documents et de textes numériques (rapport, étude, synthèse, contrat, réponse aux enquêtes, sous format PDF, Office, web, …).
L’avènement des technologies du BIG DATA ont permis de mieux gérer ces énormes volumes de données, avec notamment la Business Intelligence qui a pour vocation d’exploiter cette multitude de données afin de faciliter le travail et les usages en contexte d’entreprise.
Seulement, voilà, ces outils se concentrent sur les données structurées ; or le texte n’est pas une donnée structurée.
De fait, la Business Intelligence se coupe de tout un pan de données (intéressantes voire prioritaires) en excluant les textes, données non structurées par définition.
Alors comment intégrer les données non structurées aux solutions de Business Intelligence ?
…c’est la mission que s’est donnée QWAM – et on a plutôt réussi !
Les ingénieurs QWAM ont utilisé deux outils : leur annotateur sémantique QWAM Text Analytics et la Suite Elastic – et c’est suffisant !
<h2>Explications</h2>Que fait&nbsp;<a href="http://www.qwamci.com/">QWAM</a>&nbsp;?
<img src="https://assets.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltbb160b58c3810d8e/5b1553109a16a6df0e498fe8/download" data-sys-asset-uid="bltbb160b58c3810d8e" alt="Qwam-logo" width="145" height="51" style="width: 145px; height: 51px; display: block; margin: auto;">
QWAM&nbsp;est un éditeur de trois solutions logicielles dédiées respectivement à la gestion de contenus presse, media et métier, l’analyse automatique de textes en masse (big data textuelles), la surveillance et l’extraction d’informations-clés du web. Ces solutions sont décrites ci-après:
<img src="https://assets.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltbbab851b77c4ee39/5b1553470108c1d50fed5c60/download" data-sys-asset-uid="bltbbab851b77c4ee39" alt="Ask-n-read" width="191" height="50" style="width: 191px; height: 50px; display: block; margin: auto;"> 
<a href=" http://www.asknread.com/fr">Ask’n’Read</a>, solution de veille web développée par QWAM, permet de suivre l’apparition de nouvelles publications web (sites institutionnels, blogs, sites corporate, forums, tweet, …) ciblées par thématique ou secteur d’activité. Ainsi, Ask’n’Read récupère quotidiennement plusieurs millions de nouvelles informations web.
<img src="https://assets.contentstack.io/v3/assets/bltf7afce26b89a5b33/blteab2dcbb0b03702c/5b1553517f08d3191065370a/download" data-sys-asset-uid="blteab2dcbb0b03702c" alt="Qwam-text-Analytics" width="100" height="106" style="width: 100px; height: 106px; display: block; margin: auto;">
<a href="http://www.qwamci.com/qwam-text-analytics/">QWAM&nbsp;Text Analytics (QTA)</a>&nbsp;est un annotateur sémantique qui permet d’enrichir les contenus textuels. Nous verrons plus loin le rôle central d’un annotateur dans la BI sur les textes.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltef39982b330cba00/5c3057adc3c5fd7f678c15ff/Qwam-E-Content_server.png" data-sys-asset-uid="bltef39982b330cba00" alt="Qwam-E-Content_server" width="100" height="101" style="width: 100px; height: 101px; display: block; margin: auto;">
<a href="http://www.qwamci.com/qes-infomedia-suite/">QWAM&nbsp;E-Content Server (QES</a>) est un CMS (Content Management System) pour gérer des masses de texte. Il propose des fonctions de GED, de collaboration, de workflow, d’alerte, de panier pour gérer ces volumes de texte et avoir la haute main dessus ; le tout sur Elasticsearch.
Vous l’aurez compris, QWAM est un fervent utilisateur de la Suite Elastic. Nous en utilisons tous les composants ; et notamment le X-Pack pour la gestion des droits sur les dashboards que nous produisons à destination de nos clients et le plugin « Graph » présent dans le X-Pack.Le problème intrinsèque du texte
Ce qui a donné le mauvais rôle au texte, est son aspect monolithique. Généralement, en bout de chaîne, on a … un champ texte. Et pour savoir ce qu’il y a dedans, il faut le lire. Si c’est un seul texte et qu’il est court ça peut aller, mais que faire quand on en a des milliers ou des millions ?
Il est toujours possible de les indexer dans Elasticsearch et de faire des visualisations dans Kibana.
Deux visualisations sont facilement disponibles : une timeline et un count global. Une troisième sur la base de nuage de mots est également envisageable mais c’est à peu près tout… frustration !
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt23339a263197ec07/5c30585d29d13af10bc2ab78/Qwam-Graph-1.png" data-sys-asset-uid="blt23339a263197ec07" alt="Qwam-Graph-1">
Nous sommes donc en possession d’une multitude de données et d’une Suite super performante ; mais la qualité des résultats reste décevante.&nbsp;
Cependant … avec un peu de méthode et des outils pour marier tout ça il est possible de faire ressortir des informations à haute valeur ajoutée !!
Explications : générer des métadonnées
Pourquoi générer des métadonnées ? Parce que … :
<ul>
	<li>les métadonnées permettent en les listant de savoir ce que contient un texte, sans avoir à le lire entièrement</li>
	<li>tous les outils que nous connaissons, Elasticsearch le premier, aiment bien les colonnes, les champs, les dimensions pour les exploiter. La puissance des agrégats d’Elasticsearch n’est plus à démontrer. Les champs servent de facette, sum(), count() , group-by, etc. … Mais il leur faut des champs</li>
</ul>Il y a bien des métadonnées dans les formats PDF et Office, mais qui s’amuse à les remplir ?
Pour y parvenir, il faut juste ajouter un annotateur sémantique dans votre chaîne d’alimentation de la Suite Elastic.
Le schéma avec les solutions<a href="http://www.qwamci.com/qes-infomedia-suite/"> QWAM</a>,<a href="http://www.asknread.com/fr"> Ask’N’Read</a> (pour le crawl web en masse) et<a href="http://www.qwamci.com/qwam-text-analytics/"> QWAM Text Analytics</a> (pour l’annotation sémantique) est le suivant :
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2da9e145c029eef1/5c3058513fdf8ce26f0c08c3/Set-up-Qwam.png" data-sys-asset-uid="blt2da9e145c029eef1" alt="Set-up-Qwam">
<h2>Pourquoi la suite Elastic ?</h2>Spécialisés dans le traitement du texte en masse, nous sommes confrontés en permanence aux besoins suivants :
<ol>
	<li>Un grand nombre de documents : 15 millions minimum par an sur un sujet soit plus de 40 millions sur une durée de 3 ans</li>
	<li>Un grand nombre de facettes générées par notre annotateur avec chacune une grande cardinalité. Environ 50 facettes de plusieurs milliers de décompte par valeur. </li>
	<li>Une Dataviz d’analyse permettant la détection de patterns à partir de ces facettes et d’obtenir un dashboard rafraîchi en quelques secondes (et pas minutes ou heures)</li>
</ol>Venant historiquement de SOLR, les faibles performances des bases SQL et l’absence de Dataviz sur SOLR nous a naturellement poussés vers Elasticsearch.
Les performances sont au rendez-vous avec une grande flexibilité dans l’ajout de nouveaux nœuds, le monitoring et la maintenance au quotidien très simples grâce à une API facile à appréhender.
Kibana couplé aux facettes, qui sont devenues des « agrégats » considérablement plus puissants, a répondu à nos attentes au-delà de nos espérances.
Il reste qu’aujourd’hui Kibana est un formidable outil de découverte de pattern mais reste peu orienté vers un client final. Il lui manque une couche de « story telling », permettant d’expliquer une démarche analytique complexe de manière plus accessible et progressive. Le projet « Canvas » devrait combler ce manque sous peu. C’est le seul point qui nous fait défaut.
<h2>Illustrations</h2>Je vous propose donc un sujet relativement neutre, pour illustrer l’intérêt d’un annotateur couplé à la Suite Elastic, que nous autres « geeks » et les autres aimons bien : Star wars !
Voici donc mon use case :&nbsp;
J’ai simplement tapé la requête « star wars » et demandé la langue française dans un Kibana basé sur 40 millions de news économiques crawlées et annotées durant les 8 derniers mois. 
Vous n’aurez je pense pas de mal à faire une transposition dans votre entreprise en imaginant qu’Han Solo, c’est votre PDG, le sabre laser, le produit phare que vous vendez, la galaxie, c’est la zone EMEA de votre marketing, et la requête c’est un secteur de votre entreprise par exemple !
De qui parle-t-on ? Les entités nommées
Le premier stade est la détection des entités nommées : les personnes, les sociétés, les organisations, les lieux, les médias, les produits, les objets et les événements.
Notre use case « Star wars » nous montre que « Luke Skywalker&nbsp;»&nbsp;&nbsp;et&nbsp;«&nbsp;Han Solo&nbsp;»&nbsp;&nbsp;sont les deux vedettes de notre recherche. « Star wars » était de tous les événements : les Oscars, les Golden Globes et d’autres.
Nous savons désormais de qui/quoi parlent nos documents.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt300a1a17dc3a8ddd/5c30584d6e9992e16f5299a9/Qwam-Graph-2.png" data-sys-asset-uid="blt300a1a17dc3a8ddd" alt="Qwam-Graph-2">
De quoi parle-t-on ? Les concepts
L’annotateur sémantique <a href="http://www.qwamci.com/qwam-text-analytics/">&nbsp;QWAM Text Analytics (QTA)</a> grâce au TAL (Traitement automatique du langage, ou NLP Natural Language Processing en anglais) possède une connaissance grammaticale de la phrase, il est capable de détecter des locutions intéressantes du fait de leur nature grammaticale.
Nous savons désormais de quoi parlent nos documents :
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5e8a89a4b8c17d6c/5c305849aab458d30b314286/Qwam-Graph-3.png" data-sys-asset-uid="blt5e8a89a4b8c17d6c" alt="Qwam-Graph-3">
Comment aider à faire des recherches performantes et interactives ?
Dès ce stade, il est possible d’utiliser les métadonnées produites par l’annotateur comme facettes pour une recherche dans Elasticsearch. Les agrégations font leur miel des entités nommées et cela permet de proposer de nombreuses facettes pertinentes qui rendent la recherche interactive par « Drill down » et permet, non seulement d’avoir une bonne idée de ce que contient le corpus, mais également de produire en quelques clics successifs une recherche pointue.
Avouez que ça améliore l’expérience de « search » !
Voici un screenshot de notre CMS<a href="http://www.qwamci.com/qes-infomedia-suite/"> QWAM E-Content Server (QES</a>)
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt0d091215d82d0793/5c30584961a626fb0b630134/Qwam-Graph-4.png" data-sys-asset-uid="blt0d091215d82d0793" alt="Qwam-Graph-4">
Comment ces informations sont-elles reliées entre elles ?
Kibana possède un plug-in «Graph», présent dans X-pack, permettant de représenter des relations.
Cela donne un graph duquel on apprend que « Mark Hamill » et « Luke Skywalker » sont une seule et même personne !
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltbeb1eb7c92f33381/5c305841597189c90b024266/Qwam-Graph-5.png" data-sys-asset-uid="bltbeb1eb7c92f33381" alt="Qwam-Graph-5">
Des relations plus élaborées
Nous avons vu que la relation « Dans le même document » peut être facilement représentée par le plugin « Graph » de Kibana.
Les annotateurs les plus élaborés, dont<a href="http://www.qwamci.com/qes-infomedia-suite/"> QWAM Text Analytics</a>, savent détecter et fournir en métadonnée des relations plus complexes entre les entités. Voici un florilège :
<ul>
	<li>Société -&gt; Fusion, acquisition, vente, partenariat -&gt; Société</li>
	<li>Personne -&gt; Compétence, nomination, en poste -&gt; Société</li>
	<li>Personne, Société -&gt; participe -&gt; Evénement (Salon, Foire, Exposition …)</li>
</ul>Si « Graph » ne sait que représenter la relation « Dans le même document », comment faire pour représenter une telle relation dans Kibana ?
En isolant chaque relation dans un document propre, qui ne contient que l’expression de la relation, le tour est joué !
Vous bénéficiez alors avec « Graph » des capacités de représentation de relations « Multi layers », sans avoir à vous battre avec une base de graphes, tout cela dans votre Suite Elastic, où il suffit d’indexer des documents pour les exploiter. Vous avez dit pratique ?!
Malheureusement, pour des raisons de confidentialité sur les données de nos clients, je dois m’arrêter là concernant notre use case ”Star Wars”.
Comment en parle-t-on ?&nbsp;
Les sentiments exprimés avec une force sur des thèmes
Les annotateurs les plus puissants, sont capables de détecter les sentiments exprimés dans une phrase, pour les transformer en 3 niveaux de métadonnées :
<ul>
	<li>La nature du sentiment : Joie/Satisfaction, Colère/Frustration, Peur/Inquiétude/Incertitude, Suggestion, Intention</li>
	<li>La force du sentiment : graduée de -3 (très négatif) à +3 (très positif)</li>
	<li>Le thème sur lequel il s’exprime </li>
</ul>Une représentation possible de cette répartition des sentiments selon leur force se fait sous Kibana sous la forme d’une « Heatmap » par exemple.
La voix du client, la voix du collaborateur
Il y a deux domaines majeurs pour l’analyse du sentiment :
<ul>
	<li>La voix du client : Savoir ce que vos clients pensent de vos produits sur les forums, les tweets, les verbatims dans les enquêtes </li>
	<li>La voix du collaborateur : Savoir ce que vos collaborateurs pensent de votre entreprise. Sont-ils heureux chez vous ? Ont-ils envie de partir (C’est l’attrition) ? Comment l’expriment-ils dans les verbatims dans les enquêtes, les réseaux sociaux d’entreprise ?</li>
</ul>Voici par exemple une représentation dans Kibana des satisfactions et insatisfactions, exprimées par des collaborateurs, selon leur force avec une taille de bulle plus ou moins importante selon leur fréquence.
C’est le graph ultime qui résume le moral de l’entreprise en une visualisation. Le rêve de tout DRH!
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltc4d91202c6680847/5c30583f29d13af10bc2ab72/Qwam-Graph-7.png" data-sys-asset-uid="bltc4d91202c6680847" alt="Qwam-Graph-7">
<h2>Conclusion</h2>Nous avons vu qu’un annotateur sémantique permet d’ajouter de nombreuses métadonnées/dimensions/champs à un texte brut permettant de le rendre bien plus manipulable et propre à de la Dataviz permettant de faire de la Business intelligence dessus :
<ol>
	<li>Entités nommées : Sociétés, Personnes, Organisations, Événements, Lieux, Pays, Régions, Villes, Géolocalisation</li>
	<li>Concepts : Fréquents sur le web, classés par thèmes, simplement dans le texte</li>
	<li>Relations : nominations, fusion/acquisitions, partenariats, participation à des événements</li>
	<li>Sentiments : Nature, Force et sujet d’expression du sentiment dans la phrase</li>
</ol>Ces métadonnées/champs se transforment en pur bonheur avec Kibana et vous permettent la détection de patterns, des insights, l’identification de tendance (Marketing, acteurs clefs, technologies) et des prédictions.L'auteur
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt106e97b9eb88593a/5c63b9a600a017fc43542c67/Ivan_Monnier.jpg" data-sys-asset-uid="blt106e97b9eb88593a" alt="Ivan Monnier" width="122" height="121" style="width: 122px; height: 121px;">
Ivan Monnier est CTO de QWAM. Il est très assidu aux Meetups Elastic animés activement par David Pilato sur Paris, où il boit des bières et mange des pizzas. Comme il est très grand, il en mange beaucoup !

analytics_colored_pe_4freU-3.jpg

Thumbnail_qwam_Business-Intelligence.jpg

La Business Intelligence appliquée aux textes

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Ivan_Monnier.jpg

Ivan Monnier (FR)

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Ivan Monnier

La Business Intelligence appliquée aux textes

Sign up for Elastic Cloud free trial