Geomatys utilise Elasticsearch au sein de Geosud : projet qui offre une couverture satellitaire haute résolution de France.

<a href="http://www.geomatys.com/fr/" target="_blank">Geomatys</a> est une société spécialisée dans le traitement des données spatiales. Dès sa création, la société a fait le choix de maîtriser l’ensemble du framework Java servant de base à la réalisation de Systèmes d’Information Géographique. Convaincue de l'intérêt du respect des standards dans un but d’interopérabilité, la société s’implique pleinement dans les activités de standardisation de l’Information Géographique menées par l’<a href="http://www.opengeospatial.org/" target="_blank">Open Geospatial Consortium</a> et implémente ses solutions en respectant scrupuleusement les normes produites par le TC-211 de l’ISO.
<h2>De Constellation-SDI à EXAMIND</h2><a href="http://constellation-sdi.org/" target="_blank">Constellation-SDI</a>, projet open source édité par Geomatys, permet la mise en place d’Infrastructures de Données Spatiales (IDS) pour l’acquisition, le traitement et la diffusion de données. Son développement repose sur les piliers fondateurs de notre entreprise : la standardisation et le développement de technologies libres. L’infrastructure propose ainsi la majorité des standards géographiques existants dans un environnement technique Java homogène et maîtrisé.
Depuis les débuts de Constellation en 2008,&nbsp;poussés par l’explosion des volumes de données spatiales hétérogènes,&nbsp;les besoins du domaine de l’information géographique ont connu une croissance exponentielle. C’est pourquoi Geomatys a repensé son application afin de permettre l’exploitation de ces données et proposer des solutions&nbsp;résiliantes&nbsp;et élastiques. A ainsi été créé le projet commercial <a href="http://www.geomatys.com/fr/examind.html" target="_blank">EXAMIND</a>. Il peut être exploité au sein d’infrastructures de type Infrastructures as a Service (IaaS), de façon à permettre par la suite le développement d’applications SaaS pour des besoins métier spécifiques.
Geomatys propose donc EXAMIND, une offre cloud flexible pour les données géoréférencées, basée sur le projet open source Constellation-SDI. Les données reçues et traitées en temps réel peuvent être de type :
<ul>
	<li>« Raster » : images satellite, images provenant de drones ou données de modèles météorologiques et océanographiques</li>
	<li>Vectorielles : tirées par exemple du projet Open Street Map, (points, lignes, polygones), tracés à main levée, cadastres ou lignes de niveau</li>
	<li>Issues de capteurs : objets connectés, téléphones mobiles ou balises météo</li>
</ul><h2>Indexation de données multidimensionnelles</h2>L’accès rapide aux données représente un point crucial dans ce type d’infrastructure. <a href="https://www.elastic.co/products/elasticsearch" target="_blank">Elasticsearch</a> répond aux besoins de flexibilité de la plateforme et d’indexation de très gros volumes de données. Il permet l’exploration des données par leur dimension sémantique&nbsp;(métadonnées) et dispose d’un écosystème riche avec des outils de collecte&nbsp;(<a href="https://www.elastic.co/products/logstash" target="_blank">Logstash</a>) et de visualisation (<a href="https://www.elastic.co/products/kibana" target="_blank">Kibana</a>) des données.&nbsp;
Cependant, par défaut, Elasticsearch ne propose pas d’index multidimensionnel permettant de chercher à travers de larges volumes de données dans leurs dimensions spatiales et temporelles. Nous avons donc développé un plugin qui nous permet de bénéficier des capacités d’Elasticsearch tout en répondant à nos problématiques spatiales. Ce plugin intègre un index spatial multidimensionnel reposant sur un R-Tree de Hilbert, ainsi que des filtres spatiaux. La recherche est affinée par des critères géographiques évolués.&nbsp; 
Dans un premier temps, nous avons utilisé Elasticsearch comme surcouche à Lucene. Le développement basé sur la version 1.x d’Elasticsearch était alors partiellement implémenté, les fonctions spatiales étaient directement intégrées à Lucene et Elasticsearch n’offrait que la fonctionnalité de recherche. L’insertion et l’effacement étaient effectués de manière externe à Elasticsearch. Nous utilisions cependant déjà Logstash et Kibana pour l’exploitation des statistiques d’accès aux données.&nbsp;
<div>Plus récemment, avec l’arrivée de la version 2.x, il a été possible de procéder à la mise en oeuvre de notre solution par l’intégration complète du plugin, sans accès externe au R-Tree. Aujourd’hui, le plugin nous permet d’indexer nos données géoréférencées tout en profitant des capacités d’Elasticsearch. Il est scalable horizontalement sur une infrastructure de type cloud et rend possible l’indexation d’un large volume de données géospatiales.&nbsp; 
</div><h2>Un index R-tree dans Elasticsearch</h2>La recherche géographique a été rendue possible par l’implémentation d’un index R-tree dans Elasticsearch. Ces Index R-Tree se situent au même niveau que les index Lucene dans l’architecture &nbsp;d’Elasticsearch. On y enregistre une ou plusieurs géométries par document (au sens Lucene). On insère seulement les enveloppes des géométries dans l’index R-Tree.
<img src="https://api.contentstack.io/v2/assets/575e4d609985d58976378d7c/download?uid=bltba14bb6aa7b2c41e?uid=bltba14bb6aa7b2c41e" data-sys-asset-uid="bltf4d0c5937c8a39d4" alt="R-Tree-stucture.png" style="max-width: 100%; display: block; margin: auto">
Figure 1: Architecture présentant l'implantation des R-Tree
Un index peut comprendre plusieurs R-Tree, dans le cas où il y a &nbsp;plusieurs champs géométriques. Si aucune des données du shard ne contient le champ géométrique, le R-Tree n’est pas construit. Lors de la réplication des shards, le R-Tree est répliqué en même temps que les données.
La question du développement d’un nouveau plugin de recherche spatiale s’est donc posée. Il existe déjà plusieurs plugins et solutions officielles qui traitent de ce cas. Cependant, il n’existe pas encore de systèmes de coordonnées, ce qui, en géomatique, ne peut s’ignorer, surtout si l’on est limité à des géométries en 2-dimensions. Bien que notre plugin soit, dans sa version actuelle, lui aussi en 2-dimensions, la prochaine étape est le multidimensionnel, déjà supporté par le R-Tree.
Ce R-Tree est défini dans un Coordinate Reference System (CRS). Si elle n’est pas déjà exprimée dans le CRS de l’arbre, chaque géométrie ajoutée à l’arbre doit être reprojetée. Concrètement, le R-Tree va indexer ou ranger des éléments géographiques selon certains critères mathématiques liés, par exemple, à leur situation géographique, leur taille, volume, etc. Ces différents algorithmes, ou critères mathématiques, permettent ainsi de rechercher un ou plusieurs éléments parmi un très grand nombre.
<img src="https://api.contentstack.io/v2/assets/575e4d6043e9adc538715e3f/download?uid=blt4988a4281c2f6c24?uid=blt4988a4281c2f6c24" data-sys-asset-uid="blt778289391ba164a8" alt="reprsentation-graphique-R-Tree.png" redactor"="" style="display: block; margin: auto;">
Figure 2 : Représentation graphique d’un index R-Tree (en rouge) avec ses feuilles (en bleu)
Nous avons pu éprouver les capacités de ce plugin lors de son utilisation pour le parcours de la base de données <a href="https://www.openstreetmap.org/" target="_blank">OpenStreetMap</a> qui référence plus de 3 milliards de données géographiques. Nous l’utilisons également sur des catalogues d’images satellite en production, par exemple sur l'<a href="http://ids.equipex-geosud.fr/" target="_blank">Infrastructure de Données Spatiales Geosud</a>.
<h2>L’application concrète : Geosud</h2>Geosud est un projet d’envergure nationale qui&nbsp;vise à rendre disponible à la communauté scientifique et aux acteurs publics une couverture satellitaire haute résolution de la France.
Dans ce cas précis, le plugin est utilisé au niveau du moteur de recherche pour les filtres spatiaux et temporels. Il permet aux utilisateurs d'effectuer des recherches par le dessin d’un polygone, d’un cercle sur une carte, ou encore par le chargement de fichiers KML ou Shapefile contenant des géométries complexes. La conception du plugin permet de bénéficier de fonctionnalités spatiales avancées, sans pour autant se couper des fonctionnalités natives fournies par Elasticsearch. Le portail Geosud utilise le plugin pour les filtres spatiaux, combiné avec des fonctionnalités standard proposées par Elasticsearch, telle que :
<div>
	<ul>
		<li>Les facettes, dont le vocabulaire est contrôlé par l’utilisation d’un thésaurus sémantique et spatial</li>
		<li>Les mécanismes de « ranking » pour la pertinence de l’ordre des résultats.</li>
		<li>L'auto-complétion à partir de l’index Elasticsearch</li>
		<li>Le « sharding » des index</li>
	</ul>
	<img src="https://api.contentstack.io/v2/assets/575e4d6058208ba076e2a459/download?uid=bltac429ac08171e615?uid=bltac429ac08171e615" data-sys-asset-uid="blt533cfdb48311a7a4" alt="interface-de-recherche-elasticsearch-geosud.png" style="max-width: 100%; display: block; margin: auto;">
	
	Figure 3 : Interface de recherche Elasticsearch
	
	Pour le portail Geosud, le plugin est couplé à Logstash et Kibana qui assurent des fonctions de monitoring des recherches et téléchargement de données.
	
	<img src="https://api.contentstack.io/v2/assets/575e4d6012798d8e381ff92e/download?uid=blt98917a978c7d726c?uid=blt98917a978c7d726c" data-sys-asset-uid="blt12b60f4044613223" alt="tableau-de-bord-kibana-geosud.png" style="max-width: 100%; display: block; margin: auto;">
	
	Figure 4 : Tableau de bord Kibana pour le suivi des recherches réalisées
	
	Le tableau de bord Kibana permet de suivre le comportement des utilisateurs lors de leur recherche : mots-clés utilisés, facettes choisies, zones géographiques recherchées… Les statistiques produites servent de feedback pour affiner les facettes ou critères de recherche. 
	
	D’autres pistes sont explorées pour les futures évolutions de ce plugin intégré à Constellation comme, par exemple, l’utilisation du plugin avec Hadoop et Spark via le <a href="https://www.elastic.co/products/hadoop" target="_blank">module Elasticsearch for Hadoop</a>. Nous considérons également le <a href="https://www.elastic.co/products/graph" target="_blank">nouveau module Graph</a> pour apporter des possibilités en matière de d’analyse structurelle de l’information géographique.
	
	Avertissement :&nbsp;Cet article concerne Elasticsearch avant sa version 5.0 qui introduit depuis des structures de données équivalentes avec Lucene 6.0.
	
	<hr>
	<img src="https://api.contentstack.io/v2/assets/575e4d5e9e7a83165490e391/download?uid=bltdff3d1f1b9edeacb?uid=bltdff3d1f1b9edeacb" data-sys-asset-uid="blt20fbea2f5bb2f1c9" alt="vincent-heurteaux-profile.jpg" width="154" height="142" style="line-height: 1.6em; width: 154px; height: 142px; float: left; margin: 0px; background-color: initial;">
	
	Vincent Heurteaux a, dès le début de sa carrière exercé dans le domaine du SIG, passant successivement sur des problématiques Environnementales et Télécom. En parallèle et depuis 1992, il s'est fortement impliqué dans le domaine de l'open&nbsp;source au sein des mouvances Linux et BSD. C’est tout naturellement qu’en 2005, il a souhaité faire converger ces deux domaines pour s’impliquer dans le développement de technologies SIG Libres et a fondé Geomatys. Depuis, grâce à ses compétences en architecture des Systèmes d’Information et son expérience de créateur d’entreprise, il y conduit le développement stratégique.
	
</div>

geomatys-guest-blog-full-bleed.jpeg

satelite-earth.jpg

Création d’un plugin Elasticsearch chez Geomatys

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Vincent Heurteaux

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Vincent Heurteaux

Création d’un plugin Elasticsearch chez Geomatys

Sign up for Elastic Cloud free trial