Numerische Wertebereiche und Datumsbereiche sind endlich in Elasticsearch verfügbar!

<html><head></head><body><p>
	<i>Dir hat dieser Beitrag gefallen? Du liebst Zahlen und Elasticsearch? Ich werde bei der Elastic{ON} sein, um Teilnehmer pers&#xF6;nlich zu treffen und Fragen zu beantworten. Das Event lohnt sich,&#xA0;<a href="https://www.elastic.co/elasticon/conf/2017/sf">du solltest es also auf keinen Fall verpassen</a>.&#xA0;</i><i>Ich freue mich darauf, dich dort zu sehen.</i>
</p><p>Stell dir folgendes Szenario vor: Du kannst deinen Kalender so indizieren, dass du schnell alle Veranstaltungen findest, die sich vom Termin her mit einer bestimmten Veranstaltung &#xFC;berschneiden. Oder du kannst eine globalen Fernsehzeitschrift erstellen, um alle Shows, Filme, Sportsendungen oder Beitr&#xE4;ge zu finden, die in einem bestimmten Zeitraum ausgestrahlt werden. Oder ein bisschen in die Zukunft gedacht: Stell dir vor, man w&#xFC;rde einen Katalog mit&#xA0;<a href="http://www.headwallphotonics.com/blog/press-releases/press-releases-blog/hyperspectral-imaging-successfully-screens-cancer-tissue">spektralen Merkmalen f&#xFC;r alle bekannten Krebszellen</a>&#xA0;erstellen, um so potenziell b&#xF6;sartige Aktivit&#xE4;ten schneller identifizieren, klassifizieren und diagnostizieren zu k&#xF6;nnen.
</p><h2>Aus diskreten Werten wird ein Kontinuum</h2><p>
	Bis vor Kurzem waren Anwendungsf&#xE4;lle in diesem Umfang mit einzelnen Feldern f&#xFC;r <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/number.html">numerische Werte</a>&#xA0;und <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/date.html">Daten</a> bei Elasticsearch nur &#xE4;u&#xDF;erst schwierig oder nahezu unm&#xF6;glich realisierbar. Obwohl die Abfrage von <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/query-dsl-range-query.html" target="_blank">Bereichen</a> zu einzelnen Zeitpunkten die am h&#xE4;ufigsten genutzte Funktion ist, wurde schnell klar, dass die Indizierung und Suche in kontinuierlichen Bereichen noch viel n&#xFC;tzlicher w&#xE4;re. Dank der neuesten Erweiterungen in Apache <a href="https://issues.apache.org/jira/browse/LUCENE-7381">Lucene</a> ist genau das nun mit <a href="https://github.com/elastic/elasticsearch/pull/21002">Elasticsearch</a>&#xA0;m&#xF6;glich.
</p><h2>Elasticsearch jetzt mit Datentypen f&#xFC;r numerische Werte- und Datumsbereiche</h2><p>Diese neuen Datentypen f&#xFC;r Bereichsfelder sind in der 5.2-Version von Elasticsearch enthalten:
</p><ul>
	<li><code>integer_range</code></li>
	<li><code>float_range</code></li>
	<li><code>long_range</code></li>
	<li><code>double_range</code></li>
	<li><code>date_range</code></li>
</ul><p>Die Mapping-Definition f&#xFC;r diese neuen Bereichsdatentypen funktioniert genauso wie bei den entsprechenden Pendants f&#xFC;r einzelne numerische Werte und Daten. Im Folgenden siehst du ein Beispiel einer Mapping-Definition f&#xFC;r ein Dokument (mit dem Namen &#x201E;Conference&#x201C;), das sowohl eine ganze Zahl als auch einen Datumsbereich enth&#xE4;lt:
</p><pre class="prettyprint">PUT events/
{
  &quot;mappings&quot; : {
    &quot;conference&quot; : {
      &quot;properties&quot; : {
        &quot;expected_attendees&quot; : {
          &quot;type&quot; : &quot;integer_range&quot;
        },
        &quot;time&quot; : {
          &quot;type&quot; : &quot;date_range&quot;,
          &quot;format&quot; : &quot;yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis&quot; 
        }
      }
    }
  }
}
</pre><p>
	Die Indizierung eines Dokuments mithilfe des oben dargestellten Mappings ist so einfach wie die Definition der Bereichsfelder in einer Abfrage f&#xFC;r einen <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/query-dsl-range-query.html">numerischen Wertebereich</a> oder einen&#xA0;<a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/date.html">Datumsbereich</a>. So wie bei Datumsbereichsabfragen wird bei der Indizierung eines Datumsbereichsfelds die gleiche Formatdefinition f&#xFC;r die Datumsberechnung verwendet. Das folgende Beispiel demonstriert die Indizierung eines Dokuments mit einem Feldtyp <code>integer_range</code> und <code>date_rage</code>:
</p><pre class="prettyprint">PUT events/conference/1
{
  &quot;title&quot; : &quot;Pink Floyd / Wizard of Oz Halloween Trip&quot;,
  &quot;expected_attendees&quot; : {
    &quot;gte&quot; : 100000,
    &quot;lt&quot; : 200001
  },
  &quot;time&quot; : {
    &quot;gte&quot; : &quot;2015-10-31 12:00&quot;,
    &quot;lt&quot; : &quot;2015-11-01&quot;
  }
}
</pre><p>
	Bei der Abfrage von Feldern mit numerischen Wertebereichen und Datumsbereichen wird die gleiche DSL-Definition (Domain Specific Language) f&#xFC;r die&#xA0;<a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.1/query-dsl-range-query.html">Bereichsabfrage</a>&#xA0;verwendet wie vorher, nur dass es nun zus&#xE4;tzlich einen neuen optionalen Relationsparameter gibt. Mit diesem Parameter kann der Benutzer die Art der gew&#xFC;nschten Bereichsabfrage festlegen. Hierf&#xFC;r wird eine der folgenden Relationen verwendet: <code>INTERSECTS</code> (Standard), <code>CONTAINS</code>, oder <code>WITHIN</code> Dies kann mit weiteren Booleschen Abfragen kombiniert werden, um andere Ergebnisse zu erhalten (z. B. <code>DISJOINT</code>). Das folgende Beispiel demonstriert eine <code>WITHIN</code>-Abfrage im Events-Index:
</p><pre class="prettyprint">GET events/_search
{
  &quot;query&quot; : {
    &quot;range&quot; : {
      &quot;time&quot; : {
        &quot;gte&quot; : &quot;2015-10-01&quot;,
        &quot;lte&quot; : &quot;2015-12-31&quot;,
        &quot;relation&quot; : &quot;within&quot;
      }
    }
  }
}
</pre><p>
	Wie bei einzelnen numerischen Feldern und Datumsfeldern auch sind die entsprechenden neuen Bereiche nur auf eine Dimension beschr&#xE4;nkt. Wir planen, diese Beschr&#xE4;nkung in Zukunft aufzuheben, damit dann 8 bzw. 4 Dimensionen m&#xF6;glich sind.
</p><h2>Lucene-Implementierung</h2><p>Am 18. Oktober haben wir einen Blog-Beitrag zum Thema <a href="https://www.elastic.co/blog/apache-lucene-numeric-filters">Die Evolution der numerischen Wertebereichsfilter in Apache Lucene</a>&#xA0;ver&#xF6;ffentlicht. Diese historische Darstellung von Lucenes Entwicklung als numerische Suchmaschine beleuchtet den technischen Fortschritte der numerischen Indizierung und Suche detailliert, der in der <a href="https://www.cs.duke.edu/~pankaj/publications/papers/bkd-sstd.pdf">Bkd-Baumdatenstruktur</a>&#xA0;gipfelte. Anstatt weiterhin numerische Daten mithilfe einer Struktur zu repr&#xE4;sentieren, die speziell f&#xFC;r Text entwickelt und angepasst wurde, f&#xFC;hrte die Bkd-Implementierung die erste flexible Baumstruktur ein, die speziell f&#xFC;r die Indizierung einzelner numerischer Punkte entwickelt wurde. Diese einzelnen Punkte lassen sich nun mit der DSL-Definition f&#xFC;r die <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/query-dsl-range-query.html">numerische Wertebereichsabfrage</a>&#xA0;durchsuchen. Der neue&#xA0;<a href="https://www.elastic.co/blog/lucene-points-6.0">Points</a>-Codec&#xA0;baut auf Theorie und Konzepte eines <a href="https://en.wikipedia.org/wiki/K-d_tree" target="_blank">k-dimensionalen Baums</a> (k-d-Baum) auf, der <a href="https://en.wikipedia.org/wiki/Multidimensional_panel_data" target="_blank">mehrdimensionale</a> Anwendungsbereiche in der Wissenschaft oder Datenanalyse erm&#xF6;glicht. Gleichzeitig bilden diese das Fundament, das f&#xFC;r die Implementierung der Wertebereichsabfrage in Lucene und letztendlich in Elasticsearch erforderlich war.</p><h3>Indizierung</h3><p>
	Die L&#xF6;sung war ziemlich einfach: F&#xFC;r jede Dimension wird der numerische Bereich als 2-dimensionaler Punkt repr&#xE4;sentiert. Die Enkodierung erfolgt als Array von Minimumwerten, d, (f&#xFC;r jede Dimension), gefolgt von einem Array von maximalen Werten, D. Das bedeutet f&#xFC;r die Bkd-Beschr&#xE4;nkung von 8 Dimensionen, dass die von Lucene bereitgestellten numerischen Wertebereichsfelder nur die Indizierung von bis zu 4-dimensionalen Bereichen unterst&#xFC;tzen. Das Bild unten zeigt eine einfache Darstellung der dimensionalen Bereichsverschl&#xFC;sselung bei Lucene.
</p><center><img src="https://api.contentstack.io/v2/uploads/586db46105ac83231cd5cddb/download?uid=blta3ab8babd36d9ccb" data-sys-asset-uid="blta3ab8babd36d9ccb" alt="Lucene&apos;s Dimensional Range Encoding"></center><p>
	<br>Im Grunde sieht ein 1-dimensionaler Bereich f&#xFC;r Lucene einfach wie ein 2-dimensionaler Punkt aus. Dieses Encoding wird dann an den Bkd-Indexer weitergegeben, der einen hierarchischen Baum aus d*2-dimensionalen Punkten erstellt, wobei d die Dimension des Bereichs ist (oder 4 in der Darstellung oben).
</p><h3>Suche</h3><p>
	Die Implementierung der Suche f&#xFC;r dimensionale Bereiche lief auf einen entscheidenden Schritt hinaus: die Definition und Berechnung der r&#xE4;umlichen Relation zwischen dem vom Benutzer angegebenen Suchbereich (dem Ziel) und den indizierten Bereichen (oder der kleinsten begrenzenden Bereiche in jeder Baumebene). Dies wurde durch die Implementierung eines Komparators f&#xFC;r den dimensionalen Bereich erreicht. Dieser evaluiert die Bereichsrelation in jeder Dimension. Die im Komparator implementierten r&#xE4;umlichen Relationen (und demzufolge die numerischen Wertebereichsabfragen von Lucene) umfassen <code>INTERSECTS</code>, <code>CONTAINS</code> und <code>WITHIN</code>. <code>DISJOINT</code>-Abfragen werden mithilfe einer <code>INTERSECTS</code>-Abfrage gestellt, die sich in einer Booleschen Abfrage mit einer <code>MUST_NOT</code>-Bedingung befindet. F&#xFC;r Felder mit mehreren Werten gilt ein Dokument nur als <code>DISJOINT</code>, wenn alle Werte disjunkt sind. <code>CROSSES</code>-Relationen sind derzeit in Arbeit und als zuk&#xFC;nftige Optimierung geplant. Das folgende Bild illustriert die berechneten Relationen zwischen zwei einfachen 1-dimensionalen Bereichen.
</p><center><img src="https://api.contentstack.io/v2/uploads/586db5b864fc892e6362907b/download?uid=blt221a660e65c1b27b" data-sys-asset-uid="blt221a660e65c1b27b" alt="Range Relations"></center><p><br>Dieses Beispiel folgt der Konvention, dass ein offener Punkt einen Bereich darstellt, der den angegebenen Wert nicht enth&#xE4;lt. Der rosafarbene Bereich repr&#xE4;sentiert das Ziel (der Abfrage) und der t&#xFC;rkisfarbene Bereich repr&#xE4;sentiert den indizierten Bereich.<br>
</p><h2>Probier es aus&#x2026;</h2><p>
	Wir sind gespannt darauf, wie ihr die Indizierung und Suche von numerischen Werte- und Datumsbereichen f&#xFC;r eure Anwendungsf&#xE4;lle verwendet. Wie immer freuen wir uns &#xFC;ber Feedback, Vorschl&#xE4;ge und Beitr&#xE4;ge auf unserer <a href="https://github.com/elastic/elasticsearch">Github-Seite</a>&#xA0;<span style="background-color: initial;">Au&#xDF;erdem hoffen wir, dass diese neuen Feldtypen n&#xFC;tzlich f&#xFC;r euch sind!</span>
</p><p>Und das war es auch schon&#x2026;Viel Spa&#xDF;!
</p></body></html>

dark_side_of_the_numeric_ranges.png

brick_in_the_wall_ranges.jpg

Numeric and Date Ranges in Elasticsearch: Just Another Brick in the Wall

Numerische Wertebereiche und Datumsbereiche – ein weiterer Meilenstein für Elasticsearch

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Geospatial Software Engineer

Nick Knize

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by Nick Knize

Geospatial Software Engineer, Elastic

Numerische Wertebereiche und Datumsbereiche – ein weiterer Meilenstein für Elasticsearch