Erfahren Sie wie Kibana Graph und eine neue Elasticsearch API verwendet werden können, um forensische Daten und Tendenzen der Massenpsychologie zu analysieren.

<html><head></head><body>Mit den neuen Funktionen von Elastic Graph kann man Verbindungen in Daten analysieren. Egal ob du gerade das Netz der Offshore-Finanzen in den Panama Papers entwirrst oder eine einfache &#xDC;bersicht des Klickverhaltens auf einer beliebten E-Commerce-Website brauchst: Die Graph-Technologie r&#xFC;ckt diese Verkn&#xFC;pfungen in den Mittelpunkt.

Die Graph-Funktion ist&#xA0;Teil der kommerziellen X-Pack-Plugins f&#xFC;r den Elastic Stack&#xA0;und umfasst die Kibana-App und eine neue Elasticsearch API. In diesem ersten Graph-Blog sehen wir uns kurz an, was die Kombination aus der Kibana-App und der API zu bieten hat.

<h2>Forensische Analyse: Panama Papers</h2>
<a href="https://panamapapers.icij.org/" target="_blank">Die Ver&#xF6;ffentlichung von Finanz- und Vertragsunterlagen</a> von der Offshore-Kanzlei Mossack Fonseca ist eine der explosivsten Stories in 2016. Die Unterlagen zeigen, dass sich viele Politiker, Adlige, die Reichen und ihre Familien an Netzwerken von Strohfirmen bedienen, die in geheimnisvollen Steueroasen gegr&#xFC;ndet wurden. Journalisten und Finanzinstitute haben sich bereits auf diese Daten gest&#xFC;rzt, aber das Aufdecken der Verbindungen kann sowohl schwierig als auch zeitraubend sein. Mit der Kibana Graph-App wird das f&#xFC;r alle zum Kinderspiel:

<img src="https://api.contentstack.io/v2/assets/575e4d6a58208ba076e2a623/download?uid=blt0f07da9e0ac0dc6b?uid=blt0f07da9e0ac0dc6b" data-sys-asset-uid="blt28617152f722a049" alt="panama-papers-graph-dashboard-relationships.jpg">

Oben sehen wir die Firmen und Personen, die mit Wladimir Putins engem Freund, <a href="http://www.theguardian.com/news/2016/apr/03/panama-papers-money-hidden-offshore" target="_blank">Sergei Roldugin</a>, in Verbindung stehen. Dieses Bild wurde in wenigen simplen Schritten erzeugt.

<h2>Die Datenquelle ausw&#xE4;hlen</h2>
Initially we select &#x201C;panama&#x201D; from our list of indices and then select one or more fields whose values we want to show in the diagram. Each field can be given an icon and colour for the &#x201C;vertices&#x201D; that will appear in the diagram.

<img src="https://api.contentstack.io/v2/assets/575e4d6ad8edd48f76938367/download?uid=blta22818e6b496f4d1?uid=blta22818e6b496f4d1" data-sys-asset-uid="blt9b34c8d10c408585" alt="panama-papers-selecting-datasource.jpg">

<h2>Eine Suche durchf&#xFC;hren</h2>
Jetzt k&#xF6;nnen wir eine regul&#xE4;re Freitextsuche durchf&#xFC;hren, um Dokumente zu finden, die den Namen von Putins Freund &#x201E;Roldugin&#x201C; enthalten.

<img src="https://api.contentstack.io/v2/assets/575e4d6a12798d8e381ffacd/download?uid=bltf24921afe4b5ad83?uid=bltf24921afe4b5ad83" data-sys-asset-uid="blte9f79b695ee90410" alt="panama-papers-running-a-search.jpg">

Die in den passenden Dokumenten gefundenen Begriffe werden als Netzwerk angezeigt &#x2013; jede Zeile stellt ein oder mehrere Dokumente dar, die ein Begriffspaar verbinden.

Die Journalisten vom ICIJ, die sich mit den Daten befassen, haben versucht, jeder realen Entit&#xE4;t (Person/Firma/Adresse) eine eindeutige ID zuzuweisen, die mit jedem Dokument verkn&#xFC;pft wird, auf das ein Verweis besteht.

Leider kann sich der Abgleich von Personen, Namen und Adressen ziemlich knifflig gestalten &#x2013; die Journalisten haben drei Dokumente korrekt gekennzeichnet, die mit der Personen-Entit&#xE4;t 12180773 verbunden sind. Wir sehen aber, dass es zwei weitere Personen mit &#xE4;hnlichen Namen gibt, denen andere Identit&#xE4;tscodes zugewiesen wurden. Au&#xDF;erdem gibt es zwei Adressen, die &#xE4;hnlich aussehen. Dennoch wurden ihnen unterschiedliche Identit&#xE4;tscodes zugewiesen. In weiteren Blog-Posts werden wir &#xFC;ber die Nutzung der Graph-API zur automatisierten Entit&#xE4;tsaufl&#xF6;sung sprechen. Noch k&#xF6;nnen wir die Sache auch manuell mit dem Gruppierungswerkzeug regeln.

<h2>Knoten gruppieren</h2>
Mit den Werkzeugen im erweiterten Modus k&#xF6;nnen wir die Gruppenschaltfl&#xE4;che ausw&#xE4;hlen und anklicken, um Knoten zusammenzuf&#xFC;hren. So erhalten wir ein klareres Bild.

<img src="https://api.contentstack.io/v2/assets/575e4d6a0342dfd7382657e9/download?uid=blt2e6f3a71812dab8f?uid=blt2e6f3a71812dab8f" data-sys-asset-uid="bltcbbd37d09d5def64" alt="panama-papers-grouping-vertices.jpg">

Wir k&#xF6;nnten bei Bedarf auch bereits gruppierte Elemente zusammenf&#xFC;hren, z. B. mehrere Personen mit mehreren Identit&#xE4;ten zu einzelnen Knoten vereinen und diese dann in Firmen-Knoten umwandeln.

<h2>&#x201E;Das Netz spinnen&#x201C;</h2>
Und was, wenn wir jetzt sehen wollten, was noch mit diesen Entit&#xE4;ten in Verbindung steht? Wir k&#xF6;nnen die Verbindungen in den Daten weiter erforschen, indem wir in der Symbolleiste auf die Schaltfl&#xE4;che &#x201E;+&#x201C; klicken, um weitere zugeh&#xF6;rige Entit&#xE4;ten einzubinden.

<img src="https://api.contentstack.io/v2/assets/575e4d6a43e9adc538716001/download?uid=blta23d518f9fd9a049?uid=blta23d518f9fd9a049" data-sys-asset-uid="bltfda1e6934dbaeeff" alt="panama-papers-spidering-out.jpg">

Wir k&#xF6;nnen das Bild erweitern, indem wir wiederholt auf &#x201E;+&#x201C; klicken und uns mit Auswahlwerkzeugen darauf konzentrieren, nur bestimmte Bereiche des Graphen zu erweitern. Die Schaltfl&#xE4;chen R&#xFC;ckg&#xE4;ngig und Wiederholen sind wichtig, wenn du dich in uninteressanten Ergebnissen verheddert hast. Au&#xDF;erdem kannst du mit den Schaltfl&#xE4;chen L&#xF6;schen und Blacklist kontrollieren, welche&#xA0;Knoten&#xA0;aktuell&#xA0;sichtbar sind bzw. erneut aufgerufen werden k&#xF6;nnen. Es k&#xF6;nnen auch Ausschnitte von Beispieldokumenten hinter ausgew&#xE4;hlten Knoten angezeigt werden.

Wenn du die Panama Papers selbst erkunden m&#xF6;chtest, installiere <a href="/downloads/elasticsearch" target="_blank">Elasticsearch</a>, <a href="/downloads/kibana" target="_blank">Kibana</a> und das <a href="/downloads/graph" target="_blank">Graph-Plugin</a>; dann folge dem Index-Setup unter <a href="http://bit.ly/espanama" target="_blank">bit.ly/espanama</a>

<h2>Das Wissen der Menge</h2>
Die Panama Papers sind ein Beispiel f&#xFC;r eine detaillierte &#x201E;forensische&#x201C; Untersuchung, bei der jedes einzelne Dokument eine wichtige Verbindung sein k&#xF6;nnte.

Besonders gl&#xE4;nzen kann die Elastic Graph-Technologie aber mit ihrer F&#xE4;higkeit, das Verhalten von Massen an Benutzern zusammenzufassen, zum Beispiel die Daten in Klick-Logs. H&#xE4;ufig wird diese Form der Analyse mit den Begriffen &#x201E;Mining&#x201C;, &#x201E;kollektive Intelligenz&#x201C; oder &#x201E;Wissen der Menge&#x201C; umschrieben. In diesen Szenarien ist ein Dokument allein nicht besonders interessant, die entstehenden Muster durch das Verhalten vieler Nutzer jedoch schon &#x2013; und sie k&#xF6;nnen genutzt werden, um beispielsweise Empfehlungen abzugeben. &#x201E;Personen, die Produkt X gekauft haben, kauften auch Produkt Y&#x201C;. In diesen Szenarien m&#xFC;ssen wir die einmaligen Dokumente meiden, die falsche R&#xFC;ckschl&#xFC;sse entstehen lassen, und auch zu offensichtliche Verkn&#xFC;pfungen verhindern (z. B. Personen, die Produkt X gekauft haben, kauften auch Milch &#x2013; die meisten Menschen kaufen Milch). Unter Ber&#xFC;cksichtigung dieser Dinge werden die Standardeinstellungen zur Kontrolle der Graphen-Exploration so festgelegt, dass nur die wesentlichen Verkn&#xFC;pfungen gezeigt werden.

Sehen wir uns doch einmal einen Anwendungsfall f&#xFC;r Empfehlungen mit dem <a href="http://mtg.upf.edu/node/1671" target="_blank">Datensatz von LastFM</a> an. Wenn wir einen benutzerfokussierten Index aufbauen, haben wir ein Dokument pro H&#xF6;rer, das einen Array der K&#xFC;nstler enth&#xE4;lt, die dem jeweiligen H&#xF6;rer gefallen. Fragen wir diesen Index zum Beispiel nach Personen ab, denen &#x201E;Chopin&#x201C; gef&#xE4;llt, um zu sehen, was sie sonst noch m&#xF6;gen.

<img src="https://api.contentstack.io/v2/assets/575e4d6a58208ba076e2a62c/download?uid=blt3edb78a25587143f?uid=blt3edb78a25587143f" data-sys-asset-uid="bltea221de1470c02c8" alt="lastFM-wisdom-of-crowds.jpg">

Die ausgegebenen Klassik-K&#xFC;nstler stehen nat&#xFC;rlich in engem Zusammenhang &#x2013; wenn wir auf ein Kante zwischen zwei Knoten klicken, sehen wir, wie viele H&#xF6;rer sich diese Interessen teilen. Fast die H&#xE4;lfte aller Mendelssohn-H&#xF6;rer mag auch Chopin.

Die Graph-API hat nur die signifikanten Verkn&#xFC;pfungen ermittelt. Das ist ein wichtiger Unterschied zu anderen Graphen-Explorationsverfahren.

<h2>Beliebt != signifikant</h2>
Was wohl passiert, wenn wir den Einstellungen-Tab &#xF6;ffnen und die Funktion zur Suche nach signifikanten Verbindungen deaktivieren?

<img src="https://api.contentstack.io/v2/assets/575e4d6a58208ba076e2a634/download?uid=bltba33a0df4f361b86?uid=bltba33a0df4f361b86" data-sys-asset-uid="blt39297222a56835bd" alt="graph-popular-equals-significant.jpg">

Wenn das Kontrollk&#xE4;stchen &#x201E;Significant links&#x201C; deaktiviert ist, k&#xF6;nnen wir die Abfrage f&#xFC;r Chopin-H&#xF6;rer erneut durchf&#xFC;hren &#x2013; mit ganz anderen Ergebnissen.

<img src="https://api.contentstack.io/v2/assets/575e4d6a9e7a83165490e58e/download?uid=blt2c3bba7188423781?uid=blt2c3bba7188423781" data-sys-asset-uid="blt25af101d10c4ef5f" alt="lastFM-wisdom-of-crowds-new.jpg">

Jetzt haben sich die (global) beliebten K&#xFC;nster wie Radiohead und Coldplay in die Ergebnisse geschlichen. Unter den 5.721 Chopin-Fans m&#xF6;gen 1.843 die Beatles. Das ist mit Sicherheit ein beliebtes Element, aber eines, das wir &#x201E;gew&#xF6;hnlich h&#xE4;ufig&#x201C; nennen &#x2013; wie Menschen, die Milch kaufen. Wenn der Schalter bei den &#x201E;Significant links&#x201C; aktiviert ist, filtern wir das Rauschen heraus und finden das, was wir <a href="http://www.infoq.com/presentations/elasticsearch-revealing-uncommonly-common" target="_blank">&#x201E;ungew&#xF6;hnlich h&#xE4;ufig&#x201C;</a> nennen. F&#xFC;r diejenigen mit Fachkenntnissen in der Informationstheorie: Der TF-IDF-Algorithmus, auf dem Suchmaschinen seit Jahren basieren, folgt denselben Prinzipien.

Durch die Wiederverwendung dieser Relevanz-Ranking-Verfahren bleiben wir beim Thema, wenn wir Verbindungen in Daten erforschen. Das ist ein wichtiger Unterschied zu Graphen-Datenbanken, die kein Relevanz-Ranking-Konzept haben und &#xFC;blicherweise gezwungen sind, einfach beliebte Elemente zu l&#xF6;schen (siehe dazu das Problem der &#x201E;Supernodes&#x201C;).

Hinweis: Bei detaillierten forensischen Untersuchungen wie den Panama Papers kann es hilfreich sein, &#x201E;Significant links&#x201C; aktiviert zu lassen, um die &#xE4;u&#xDF;ert beliebten Firmen zu vermeiden. Jedoch sollte die Einstellung &#x201E;Certainty&#x201C; vom Standardwert drei auf eins herabgesetzt werden. F&#xFC;r Szenarien der Art Wissen der Menge brauchen wir mindestens drei Dokumente zur Best&#xE4;tigung einer Verbindung, bevor wir dieser vertrauen, w&#xE4;hrend wir in der Forensik jedes potenziell interessante Dokument brauchen.

<h2>Zusammenfassung</h2>
Hoffentlich hast du in diesem Blog-Post einen kleinen Vorgeschmack auf die beiden wichtigsten Anwendungsmodi f&#xFC;r Graph bekommen:

<ol>
	<li>Forensik: Jedes Dokument ist gleichema&#xDF;en interessant. Die Suche ist &#x201E;fokussiert&#x201C; auf einzelne Unterlagen und Akteure, kein Stein bleibt auf dem anderen.</li>
	<li>Wissen der Menge: einfache &#xDC;bersichten von Massenverhalten. Es gibt zu viele Verbindungen mit st&#xF6;rendem Rauschen, deshalb konzentriert man sich auf die Zusammenfassung der signifikantesten Verbindungen in den Daten.</li>
</ol>
In weiteren Blog-Posts werden wir uns tiefgreifender mit spezifischen Anwendungsf&#xE4;llen besch&#xE4;ftigen und uns mit der Elasticsearch-API vertraut machen, die hinter den Kulissen der Kibana-App arbeitet.

Also, liebe Graph-Fans: Dranbleiben!
</body></html>

graph-full-bleed.jpg

panama-papers-spidering-out_small.jpg

Using Elastic Graph + Kibana to Analyze Panama Papers

Analyse der Panama Papers mit Elastic Graph und Kibana

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Developer

Mark Harwood

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by Mark Harwood

Developer, Elastic

Analyse der Panama Papers mit Elastic Graph und Kibana