L'indexation de plage numériques et temporelles est désormais possible avec Elasticsearch. Essayer d'indexer votre calendrier !

Vous aimez cet article ? Vous aimez les chiffres et Elasticsearch ? Je serai à Elastic{ON} pour rencontrer les participants en personne et répondre à toutes vos questions. Pensez à <a href="https://www.elastic.co/elasticon/conf/2017/sf" target="_blank">participer à cet événement</a>.&nbsp;En espérant&nbsp;vous y rencontrer !

	Imaginez pouvoir indexer votre calendrier pour identifier rapidement tous les événements dont les créneaux entrent en conflit avec un nouvel événement que l'on vous propose. Ou encore, pouvoir créer un programme télé mondial pour trouver toutes les émissions, films ou événements sportifs diffusés à certains créneaux. Vous recherchez quelque chose de plus futuriste encore ? Imaginez pouvoir créer un catalogue des <a href="http://www.headwallphotonics.com/blog/press-releases/press-releases-blog/hyperspectral-imaging-successfully-screens-cancer-tissue" target="_blank">signatures spectrales pour toutes les cellules cancéreuses connues</a> afin d'identifier, de classer et de diagnostiquer plus rapidement des activités potentiellement malignes.
<h2>Des données discrètes aux données continues</h2>
	Jusqu'à présent, ces cas d'utilisation étaient très difficiles, voire impossibles, à résoudre à grande échelle à l'aide des champs de données discrètes,&nbsp;<a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/number.html" target="_blank">numériques</a> ou&nbsp;<a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/date.html" target="_blank">temporelles</a>. Bien que les requêtes sur des&nbsp;<a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/query-dsl-range-query.html" target="_blank">plages</a> de points de données discrètes soient la fonctionnalité la plus courante et la plus utilisée, il est rapidement devenu évident que nous devions ajouter une fonctionnalité permettant d'indexer et de faire des recherches parmi des plages continues. Grâce à de nouvelles avancées sur Apache <a href="https://issues.apache.org/jira/browse/LUCENE-7381" target="_blank">Lucene</a>, ce rêve est désormais réalité dans <a href="https://github.com/elastic/elasticsearch/pull/21002">Elasticsearch</a>.
<h2>Elasticsearch présente de nouveaux types de données : Numeric Range et Date Range</h2>Nous avons le plaisir de vous annoncer que les types de plages suivants sont inclus dans la version 5.2 d'Elasticsearch :
<ul>
	<li><code>integer_range</code></li>
	<li><code>float_range</code></li>
	<li><code>long_range</code></li>
	<li><code>double_range</code></li>
	<li><code>date_range</code></li>
</ul>
<ul>
</ul>
	La définition du mapping pour ces nouveaux types de plages est similaire à celle de leurs homologues de données discrètes. Vous trouverez ci-dessous la définition du mapping d'un document (nommé « conférence ») contenant à la fois une plage de nombres entiers et de une plage de dates :
<pre class="prettyprint">PUT events/
{
 "mappings" : {
 "conference" : {
 "properties" : {
 "expected_attendees" : {
 "type" : "integer_range"
 },
 "time" : {
 "type" : "date_range",
 "format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" 
 }
 }
 }
 }
}
</pre>
	Pour indexer un document à l'aide du mapping ci-dessus, il suffit de définir les champs de plage de la même façon que vous le feriez dans une requête&nbsp;<a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/query-dsl-range-query.html" target="_blank">Numeric</a> ou <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/date.html" target="_blank">Date</a>. Comme les requêtes sur des plages de dates, l'indexation d'une plage de dates utilise la même définition au format Date Math. L'exemple suivant illustre l'indexation d'un document contenant les champs <code>integer_range</code> et <code>date_range</code> :
<pre class="prettyprint">PUT events/conference/1
{
 "title" : "Pink Floyd / Wizard of Oz Halloween Trip",
 "expected_attendees" : {
 "gte" : 100000,
 "lt" : 200001
 },
 "time" : {
 "gte" : "2015-10-31 12:00",
 "lt" : "2015-11-01"
 }
}
</pre>
	Pour interroger des champs de plages numériques et de dates, on utilise la même définition de&nbsp;<a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/query-dsl-range-query.html" target="_blank">Range Query</a>&nbsp;selon le langage dédié (Domain Specific Language ou DSL) qu'avant, à l'exception d'un nouveau paramètre de relation facultatif. Ce paramètre permet à l'utilisateur de définir le type de requête désiré sur la plage. Il peut prendre les valeurs suivantes : <code>INTERSECTS</code> (par défaut), <code>CONTAINS</code>&nbsp;ou&nbsp;<code>WITHIN</code> et peut être combiné à d'autres requêtes booléennes pour obtenir des résultats différents (par ex. <code>DISJOINT</code>). L'exemple suivant illustre une requête <code>WITHIN</code> effectuée sur l'index des événements :
<pre class="prettyprint">GET events/_search
{
 "query" : {
 "range" : {
 "time" : {
 "gte" : "2015-10-01",
 "lte" : "2015-12-31",
 "relation" : "within"
 }
 }
 }
}
</pre>
	Comme les champs discrets numériques et de dates, leurs homologues sous forme de plages sont limités à une seule dimension. Nous prévoyons à l'avenir de lever cette restriction et d'autoriser 8 et 4 dimensions respectivement pour ces champs.
<h2>Implémentation dans Lucene</h2>Le 18 octobre dernier, nous avons publié un article de blog décrivant <a href="https://www.elastic.co/blog/apache-lucene-numeric-filters" target="_blank">l'évolution des filtres de plages numériques dans Apache Lucene</a>. Il&nbsp;présente l'évolution de Lucene jusqu'à devenir un moteur de recherche numérique et détaillait les avancées technologiques de l'indexation et de la recherche numérique, avec pour point culminant la <a href="https://www.cs.duke.edu/~pankaj/publications/papers/bkd-sstd.pdf" target="_blank">structure de données Bkd-Tree</a>. Plutôt que de continuer à représenter les données numériques à l'aide d'une structure conçue spécialement pour du texte, l'implémentation de Bkd présentait pour la première fois une structure d'arbre flexible conçue spécifiquement pour l'indexation de points numériques discrets. Vous pouvez désormais faire des recherches dans ces données discrètes dans Elasticsearch à l'aide de la définition DSL <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/query-dsl-range-query.html" target="_blank">numeric range query</a>.&nbsp;Conçu d'après la théorie et les concepts d'un <a href="https://en.wikipedia.org/wiki/K-d_tree" target="_blank">arbre k-d</a> (k-d tree), le nouveau format de codec <a href="https://www.elastic.co/blog/lucene-points-6.0" target="_blank">Points</a> a aussi ouvert la voie pour la prise en charge de <a href="https://en.wikipedia.org/wiki/Multidimensional_panel_data" target="_blank">plusieurs dimensions</a> qui pourrait convenir à des cas d'utilisation scientifiques plus avancés. Il fournit également la fondation permettant d'intégrer cette fonctionnalité de plages à Lucene et au bout du compte, à Elasticsearch.
<h3>Indexation</h3>
	La solution était plutôt simple : pour chaque dimension, il suffisait de représenter la plage numérique dimensionnelle comme point à 2 dimensions dans lequel l'encodage était stocké comme suite de valeurs minimum :&nbsp;d (pour chaque dimension), suivie d'une suite de valeurs maximum : D. Cela signifie que pour la restriction de Bkd de 8 dimensions, les champs de plages numériques fournis par Lucene ne prennent en charge l'indexation que de 4 plages dimensionnelles maximum. L'image ci-dessous illustre simplement l'encodage des plages dimensionnelles dans Lucene.
<center><img src="https://api.contentstack.io/v2/uploads/586db46105ac83231cd5cddb/download?uid=blta3ab8babd36d9ccb" data-sys-asset-uid="blta3ab8babd36d9ccb" alt="Lucene's Dimensional Range Encoding"></center> Plus simplement, dans Lucene, une plage à 1 dimension ressemble à un point à 2 dimensions. Cet encodage est ensuite transmis à l'outil d'indexation de Bkd qui construit alors l'arbre hiérarchique de d*2 points, où d est la dimension dans la plage (4 &nbsp;dans l'exemple ci-dessus). 
<h3>Recherche</h3>
	Pour effectuer des recherches sur des plages dimensionnelles, il fallait pouvoir définir et calculer la relation dans l'espace entre la plage de recherche fournie par l'utilisateur (la cible) et les plages indexées (ou plages minimum à chaque niveau de l'arbre). Pour cela, nous avons implémenté un comparateur de plage dimensionnelle qui évalue la relation de chaque plage pour chaque dimension. Les relations spatiales du comparateur, et donc implémentées dans les requêtes de plage numériques de Lucene sont les suivantes : <code>INTERSECTS</code>, <code>CONTAINS</code> et <code>WITHIN</code>. &nbsp;Les requêtes <code>DISJOINT</code> sont obtenues en utilisant une requête <code>INTERSECTS</code> contenue dans une requête booléenne avec une clause <code>MUST_NOT</code>. Pour les champs à plusieurs valeurs, un document n'est considéré comme <code>DISJOINT</code> que si toutes les valeurs sont disjointes. Les relations <code>CROSSES</code> sont actuellement en cours de développement et prévues pour une prochaine version. L'image suivante illustre les relations calculées entre deux plages à une dimension.
<center><img src="https://api.contentstack.io/v2/uploads/586db5b864fc892e6362907b/download?uid=blt221a660e65c1b27b" data-sys-asset-uid="blt221a660e65c1b27b" alt="Range Relations"></center>
	 Cet exemple suit la convention selon laquelle un point creux représente une plage qui n'inclut pas cette valeur spécifique. Les plages en rose représentent ici la cible (requête) et les plages turquoise représentent une plage indexée.
<h2>A vous de jouer !</h2>
	Nous avons hâte de savoir de quelles façons vous allez utiliser l'indexation et la recherche sur ces plages numériques et de dates. Comme toujours, nous vous encourageons à nous donner votre avis, vos suggestions et à contribuer sur notre <a href="https://github.com/elastic/elasticsearch" target="_blank">page GitHub</a>&nbsp;et nous espérons que ces nouveaux types de champs vous seront utiles !
Sur ce, nous avons terminé, amusez-vous bien avec Elasticsearch !

dark_side_of_the_numeric_ranges.png

brick_in_the_wall_ranges.jpg

Numeric and Date Ranges in Elasticsearch: Just Another Brick in the Wall

Plages numériques et temporelles dans Elasticsearch

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Geospatial Software Engineer

Nick Knize

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Nick Knize

Geospatial Software Engineer, Elastic

Plages numériques et temporelles dans Elasticsearch