Découvrez comment Antoine et Gauthier ont créé Démocratie.App pour analyser les données du Grand Débat organisé en 2019 par l'Assemblée Nationale.

<p>Vendredi 15 mars 2019, un nouveau post apparait sur notre fil d’actualité LinkedIn : “L’Assemblée nationale organise un hackathon sur les données du Grand Débat National”. Quelques minutes plus tard, la décision est prise : nous allons y participer. Le soir-même, les premières ébauches sont griffonnées : ce sera un moteur de recherche permettant d’explorer les contributions thème par thème, en les synthétisant sans les dénaturer, déployé sur le Web et s’appellant <a href="https://democratie.app">Democratie.App</a>.
</p><p>Défi supplémentaire&nbsp;:  le hackathon a lieu huit jours après, il faut donc trouver une solution puissante, scalable et rapide à déployer.
</p><p>D’entrée de jeu, nous pensons à la Suite Elastic, déjà utilisée depuis plus de 3 ans par Antoine pour <a href="https://www.zimple3d.com">Zimple</a>, l’entreprise d’impression 3D qu’il a co-fondée. Antoine avait commencé par utiliser la Suite Elastic en version Open Source avant de migrer vers <a href="https://www.elastic.co/fr/products/elasticsearch/service">Elasticsearch Service</a>. Avec Gauthier, entrepreneur également, nous avons multiplié les projets appuyés sur la Suite Elastic. Sur le projet autour du Grand Débat, Elasticsearch, combiné à Python, est la pièce maîtresse. Exécuter le projet sur la version cloud d’Elastic nous a permis de déployer rapidement en production, d’obtenir une configuration optimisée, sécurisée et scalable.
</p><h2>La pipeline</h2><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt798fc7160fe7e4cb/5e26cdee9cc653121e994e94/Democratie-app_1.png" data-sys-asset-uid="blt798fc7160fe7e4cb" alt="" style="display: block; margin: auto; width: 600px;">
</p><figcaption>Schéma technique de l’acquisition des données jusqu’à l’interface Web</figcaption><h2>Les sources de données</h2><p>Le Grand Débat, plus grande consultation en France depuis la Révolution française, s’est étendu du 15 janvier au 23 mars 2019 et a invité l’ensemble des Français à s’exprimer sur quatre thématiques : la fiscalité et les dépenses publiques, l’organisation de l’État des services publics, la transition écologique et, enfin, la démocratie et la citoyenneté. Les citoyens pouvaient contribuer de multiples manières : principalement par des cahiers citoyens en mairie, des réunions d’initiatives locales et sur une plateforme en ligne. Le hackathon, organisé par l’Assemblée Nationale le 23 mars, a deux objectifs: nourrir le débat parlementaire des semaines suivantes et rendre les données accessibles aux citoyens. Ce hackathon se concentre sur les données de la plateforme en ligne qui sont  disponibles en open data. Les données sont <a href="https://granddebat.fr/pages/donnees-ouvertes">téléchargeables</a> au format csv et découpées selon les quatre thématiques.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3c94817ef55bc3ab/5e26ce48522857549a2930b7/Democratie-app_2.png" data-sys-asset-uid="blt3c94817ef55bc3ab" alt="" style="display: block; margin: auto; width: 600px;">
</p><figcaption>Répartition des participations au Grand Débat National</figcaption><h2>Preprocessing</h2><p>Le format initial des données associe à chaque contributeur l’ensemble des réponses aux questions posées. Le découpage par question paraît vite manquer de pertinence : les réponses sont souvent bien plus larges que la question posée. Pour étudier les avis sur l’immigration par exemple, il est trop réducteur de seulement analyser les réponses aux questions traitant directement de cette thématique; il est en effet fréquent que cette question soit évoquée au détour d’autres sujets. Nous transformons donc la base avec Python, pour que notre unité d’étude soit un couple “répondant - réponse à une question”, mettant au même plan les différentes questions.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt071898a250a95177/5e26ce5320662c553a62218f/Democratie-app_3.png" data-sys-asset-uid="blt071898a250a95177" alt="" style="display: block; margin: auto; width: 600px;">
</p><figcaption>Illustration du mécanisme de transformation de la base (analogue à un “unpivoting” en SQL)</figcaption><p>En plus de ces changements de format, les données sont également enrichies avant leur indexation. Pour chaque répondant, seule sa nature (citoyen, élu, organisation) et son code postal sont disponibles. Il faut donc retravailler les codes postaux pour les rapprocher des numéros INSEE et ainsi géolocaliser chacune des contributions à l’aide <a href="https://www.data.gouv.fr/fr/datasets/">des bases disponibles</a>. Ce travail est particulièrement fastidieux, du fait des multiples évolutions dans les nomenclatures des communes et des incohérences dans les codes saisis par les citoyens.
</p><p>Malgré des résultats très imparfaits, nous associons également à chacun des couples “répondant-réponse” un score de positivité, calculé par un modèle d’analyse de sentiment, notamment basé sur le package Python TextBlob.
</p><h3>Mapping et indexation</h3><p>Dans la semaine qui précède le hackathon, nous testons plusieurs combinaisons d’analyzers incluant ou non des stopwords (les stopwords _french_ enrichis de quelques ajouts), un dictionnaire de synonymes que nous avons construit, du stemming … Dans la version finale, plusieurs champs textuels cohabitent avec des analyzers différents, requêtés selon les besoins. Après pré-processing, les données sont indexées sur le cluster Elasticsearch Service à l’aide du package Python <a href="https://elasticsearch-py.readthedocs.io/">elasticsearch-py</a>.
</p><h3>Requêtes et affichage Web</h3><p>La structure du site se dessine très vite et évolue peu durant la phase de développement. Sur la page d’accueil : une simple barre de recherche, permettant de parcourir les réponses des citoyens, accompagnée des recherches en tendance. L’interface minimaliste nous semble être la seule solution possible, pour permettre à tous les citoyens, quelque soit leur niveau d’expertise technologique ou politique de s’approprier ces données.
</p><p>La requête est une combinaison d’un “match”, d’un “match_phrase”, et de fonctions de “boost” pour faire que l’ordre d’affichage des contributions reflète l’expression la plus diverse.
</p><ol>
	<li>La page des résultats est découpée en trois blocs. &nbsp;Le premier bloc contient les filtres :</li>
	<ol>
		<li>géographique (par commune, département ou circonscription)</li>
		<li>thématique (selon les quatre grands questionnaires)</li>
		<li>type de recherche, permettant de passer d’un opérateur “and” sélectionné par défaut dans la requête "match" à un opérateur “or”</li>
	</ol>
	<ol>
	</ol>
	<li>Le deuxième bloc affiche des statistiques descriptives sur les résultats, obtenues à la volée par des agrégations Elasticsearch (terms aggregation, weighted avg aggregation, cardinality aggregation, significant text, ...). Les résultats de ces requêtes sont traités en Python Django et restitués par des modules Javascript (Mapael pour les cartes, par exemple). Ce bloc permet, sujet par sujet, de synthétiser la parole citoyenne : qui s’est exprimé, où, dans quel cadre et avec quels termes.</li>
	<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3ef7d862545f9784/5e26ce6c146ca8115b2d40b8/Democratie-app_4.png" data-sys-asset-uid="blt3ef7d862545f9784" alt="" style="display: block; margin: auto; width: 600px;">
	</p>
	<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt85aeaf0900d0a3d3/5e26ce7520662c553a622195/Democratie-app_5.png" data-sys-asset-uid="blt85aeaf0900d0a3d3" style="display: block; margin: auto; width: 600px;">
	</p>
	<figcaption>Exemples de génération de blocs de statistiques descriptives</figcaption>
	<li>Le troisième et dernier bloc donne à lire l’ensemble des réponses qui satisfont la requête et permet de les télécharger. Si le bloc de statistiques descriptives et de visualisations agrégées nous semble primordial pour favoriser la synthèse, il nous paraît également évident que nous devons donner accès aux réponses brutes et permettre leur consultation. Bien que difficilement applicable à large échelle, seule la lecture des contributions permet de garder intactes la vivacité, la complexité voire l'ambiguïté des avis qui ont été exprimés par les Français. Toutefois, loin du discours démagogique qui consiste à dire que seule une lecture exhaustive ou aléatoire des contributions permettrait de comprendre l’expression citoyenne, nous estimons qu’il est très profitable d’exploiter la puissance de technologies comme Elasticsearch pour sélectionner et ordonner les contributions sans les dénaturer, requête par requête.</li>
</ol><h3>Usage et prolongements</h3><p>Samedi 23 mars 2019, après une semaine intense et quelques milliers de requêtes de test, nous présentons notre moteur de recherche déployé (<a href="https://democratie.app">https://democratie.app</a>) et pleinement fonctionnel au jury du hackathon qui nous a fait figurer parmi les lauréats et nous invite à le présenter devant les députés. Cette présentation est le début d’une campagne de plusieurs mois pour accompagner les près de 60 000 utilisateurs dans leur exploitation du site : des citoyens qui veulent retrouver leur contribution dans la masse, des associations ou médias qui cherchent à faire <a href="https://www.komitid.fr/2019/04/05/lobby-gender-pubs-dhomosexuels-differences-des-sexes-les-perles-lgbtphobes-du-grand-debat/">un état des lieux</a> de l’opinion sur un sujet comme le handicap, des députés qui souhaitent être aidés dans <a href="https://www.letelegramme.fr/france/grand-debat-une-application-pour-la-restitution-14-04-2019-12259315.php">la restitution du Grand Débat dans leur circonscription, des administrations</a>, ministères ou cabinets qui cherchent à étudier la perception de leur action ou de leur communication…
</p><p>Ce projet citoyen ouvre également de nouvelles voies pour nous, sur la manière d’utiliser la data et le Web au service du débat citoyen et de la démocratie. A l’occasion des élections municipales 2020, nous développons <a href="https://municipales.app/">Municipales.App</a>. Cet plateforme apolitique regroupe l’ensemble des propositions des candidats pour les élections municipales, permet de les comparer, d’en débattre et de voter pour ses propositions favorites. Également construite autour de la suite Elastic, elle utilise Elasticsearch pour la recherche et Kibana pour le débat en temps réel. Si le Grand Débat National a montré l’importance de débattre pour faire société et a initié un souffle nouveau, à charge pour nous d’entretenir ce souffle, de poursuivre ce débat et de l’élargir.
</p><p>Découvez-en plus avec <a href="https://www.elastic.co/fr/videos/exploiter-les-donne-es-du-grand-de-bat-avec-elasticsearch">la vidéo du meetup</a>  auquel Antoine et Gauthier ont&nbsp;participé.
</p><hr><table style="font-size: 14px; border-width: 0px; width: 803.28125px;">
<tbody>
<tr>
	<td style="border: 0px; vertical-align: middle; border-collapse: collapse; width: 240.984375px;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2c2d323a2c8c77c0/5e27132f5e49b909a7eb971a/Democratie-app_Antoine.jpg" data-sys-asset-uid="bltd5eb89ce3a24a332" alt="Antoine" width="200" height="200" style="width: 200px; height: 200px; float: left; margin: 0px;">
	</td>
	<td style="border: 0px; vertical-align: middle; border-collapse: collapse; width: 562.296875px;">Diplômé de l’ENSAE et de l’université Paris Sud, Antoine Franz&nbsp;est Data Scientist et développeur Web. Spécialisé dans le traitement et la visualisation des données textuelles massives, il est chef d’entreprise et enseigne à Sciences Po.
	</td>
</tr>
<tr>
	<td style="border: 0px; vertical-align: middle; border-collapse: collapse; width: 240.984375px;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltbac3ead722c3d75f/5e27132f522857549a29335f/Democratie-app_Gauthier.JPG" alt="Gauthier" width="200" height="200" style="width: 200px; height: 200px; float: left; margin: 0px;">
	</td>
	<td style="border: 0px; vertical-align: top; border-collapse: collapse; width: 562.296875px;">D’abord formé aux sciences sociales, Gauthier Schweitzer a ensuite étudié à l’Ecole Polytechnique et à l’ENSAE en data science. Ancien consultant, il est à présent chef d’entreprise et enseignant à Sciences Po.
	</td>
</tr>
</tbody>
</table>

blog-working-at-laptop-banner.jpg

blog-working-at-laptop-thumb.jpg

Démocratie App : Donner un écho à la parole des Français avec Elasticsearch

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Antoine Franz

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p><p>By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.</p>

GDPR Text + Google Cloud

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Antoine Franz

Démocratie App : Donner un écho à la parole des Français avec Elasticsearch

Sign up for Elastic Cloud free trial