Entwickler, SREs und Security-Analysten können mit Google Dataflow jetzt Daten direkt aus Google Cloud Storage in Elastic ingestieren und so schneller Daten analysieren und Probleme lösen.

elastic-blog-googlecloudstorage.png

elastic-blog-googlecloudstorage-2.png

elastic-blog-googlecloudstorage-3.png

elastic-blog-googlecloudstorage-4.png

elastic-blog-googlecloudstorage-5.png

elastic-blog-googlecloudstorage-6.png

elastic-blog-googlecloudstorage-7.png

blog-thumb-cloud-gcp.png

Ingest data directly from Google Cloud Storage into Elastic using Google Dataflow

Direktes Ingestieren von Daten aus Google Cloud Storage in Elastic mit Google Dataflow

Analysten und Entwickler können nun BigQuery-Daten direkt in Elastic ingestieren, sodass weniger Verwaltungsaufwand anfällt und die Daten schneller bereitstehen. So bleibt mehr Zeit für das Erstellen von Dashboards oder für Volltextsuchen in Elastic.

elastic-blog-bigquery.png

elastic-blog-bigquery-2.png

elastic-blog-bigquery-3.png

elastic-blog-bigquery-4.png

elastic-blog-bigquery-5.png

elastic-blog-bigquery-6.png

elastic-blog-bigquery-7.png

elastic-blog-bigquery-8.png

Ingest data directly from Google BigQuery into Elastic using Google Dataflow

Direktes Ingestieren von Daten aus Google BigQuery in Elastic mit Google Dataflow

Entwickler, SREs und Security-Analysten können mit Google Dataflow jetzt Daten direkt aus Google Pub/Sub in Elastic ingestieren und so den operativen Overhead eliminieren sowie Probleme schneller lösen.

Wir freuen uns, Sie heute über die neuesten Entwicklungen aus unserer langjährigen Partnerschaft mit Google Cloud informieren zu können. Entwickler, Site-Reliability-Engineers (SREs) und Security-Analysten können jetzt mit ein paar wenigen Klicks in der Google Cloud Console Daten aus Google Pub/Sub an den Elastic Stack senden. Elastic nutzt Google Dataflow-Vorlagen, um Nutzern das Streamen von Ereignis- und Logdaten aus Google Cloud-Diensten wie Google Cloud Audit, VPC Flow oder Firewall in den Elastic Stack so einfach wie möglich zu machen. Das ermöglicht es Kunden, ihre Daten-Pipeline-Architektur zu vereinfachen, den operativen Overhead zu eliminieren und das Troubleshooting zu beschleunigen.
Viele Entwickler, SREs und Security-Analysten, die zum Entwickeln von Anwendungen und zur Einrichtung ihrer Infrastruktur Google Cloud verwenden, nutzen auch Elastic Stack, um Probleme zu finden und zu beseitigen, ihre Systeme zu überwachen und sicherheitsrelevante Anomalien aufzuspüren. Google und Elastic haben zusammen eine nutzungsfreundliche und reibungslose Möglichkeit entwickelt, Log- und Ereignisdaten aus Anwendungen und Infrastruktur in Google Cloud-Diensten an Elastic zu senden. Das alles gelingt mit ein paar einfachen Klicks in der Google Cloud Console, ohne dass irgendwelche Datenshipper installiert werden müssen.&nbsp; &nbsp;
In diesem Blogpost beschäftigen wir uns damit, wie Sie mit Google Dataflow ganz ohne Agent Daten aus Google Pub/Sub in den Elastic Stack ingestieren können.
<h2>Wer braucht schon Overhead?</h2>Pub/Sub ist ein viel genutzter serverloser und asynchroner Messaging-Dienst für das Streamen von Daten aus Google Operations (ehemals Stackdriver) und mit Google Cloud-Diensten erstellten Anwendungen sowie für andere Anwendungsfälle, die mit Streaming-Daten-Integrations-Pipelines zu tun haben. Für das Ingestieren von Google Cloud Audit-, VPC Flow- oder Firewall-Logdaten in externe Analytics-Lösungen wie den Elastic Stack müssen diese Logdaten zunächst an Google Operations und dann an Pub/Sub gesendet werden.&nbsp; Google Cloud-Nutzer stehen dann vor der Aufgabe zu entscheiden, mit welcher Methode die Logdaten aus Google Pub/Sub in externe Analytics-Lösungen ingestiert werden sollen.
Nutzer, die sowohl mit Google- als auch mit Elastic-Diensten arbeiten, installieren dazu gern Filebeat, Elastic Agent oder Fluentd auf einer Google Compute Engine-VM (Virtual Machine) und nutzen dann einen dieser Datenshipper, um Daten aus Pub/Sub an den Elastic Stack zu senden. Das Einrichten einer VM und das Installieren eines Datenshippers ist immer mit einem gewissen Prozess- und Verwaltungs-Overhead verbunden. Die Möglichkeit, diesen Schritt zu überspringen und Daten direkt aus Pub/Sub in Elastic zu ingestieren, ist für viele Nutzer von großem Vorteil, zumal, wenn sich das Ganze mit ein paar Klicks in der Google Cloud Console erledigen lässt. Wir haben das jetzt mit einem Dropdown-Menü in Google Dataflow möglich gemacht.
<h2>Einfacheres und schnelleres Ingestieren von Daten</h2>Google Dataflow ist ein serverloser, asynchroner Messaging-Dienst auf der Basis von Apache Beam. Dataflow stellt eine Alternative zu Filebeat dar, wenn es darum geht, Logdaten direkt aus der Google Cloud Console zu senden. Google und Elastic haben zusammen an der Entwicklung einer Dataflow-Vorlage gearbeitet, mit der Log- und Ereignisdaten aus Pub/Sub ohne weiteren Konfigurationsaufwand direkt an Elastic gesendet werden können. Diese Vorlage ersetzt serverlos leichtgewichtige Datenverarbeitungsschritte wie die Formatumwandlung, die vorher von Filebeat übernommen wurden, ohne dass Nutzer, die zuvor die Elasticsearch-Ingestions-Pipeline genutzt haben, weitere Änderungen vornehmen müssen.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
Die Abbildung unten gibt einen Überblick über den Ablauf beim Ingestieren von Daten. Die Integration funktioniert bei allen Nutzern unabhängig von der verwendeten Umgebung, also gleich ob in Elastic Stack auf Elastic Cloud, in Elastic Cloud im Google Cloud Marketplace oder in selbstverwalteten Umgebungen.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt4a0252dfb0591d2f/6143c63764c8007a9bdea6f5/blog-gcp-integration-pubsub-1.png" data-sys-asset-uid="blt4a0252dfb0591d2f" alt="blog-gcp-integration-pubsub-1.png" style="display: block; margin: auto;">
<h2>Erste Schritte</h2>In diesem Abschnitt erläutern wir Schritt für Schritt, wie die Dataflow-Vorlage für die Analyse von <a href="https://cloud.google.com/logging/docs/audit">GCP-Audit-Logdaten</a> im Elastic Stack verwendet werden kann.
Audit-Logdaten enthalten Informationen, die bei der Beantwortung der Fragen nach dem Wo, Wie und Wann operativer Änderungen in Ihrem Google Cloud-Konto helfen. Mit unserer Pub/Sub-Vorlage können Sie Audit-Logdaten aus GCP an Elasticsearch senden und in Sekundenschnelle wertvolle Erkenntnisse gewinnen.&nbsp;
Wir beginnen mit dem Installieren der Elastic-GCP-Integration direkt von der Kibana-Web-Benutzeroberfläche aus. Diese bietet vordefinierte Dashboards, Ingestions-Knoten-Konfigurationen und andere Assets, die uns dabei helfen, die ingestierten Audit-Logdaten maximal zu nutzen.&nbsp;
Bevor wir uns an das Konfigurieren der Dataflow-Vorlage machen können, müssen wir in der Google Cloud Console ein <a href="https://cloud.google.com/pubsub/docs/quickstart-console">Pub/Sub-Thema und ein entsprechendes Abo</a> erstellen, um unsere Logdaten aus der Google Operations Suite senden zu können.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt729ea82c62f6cf41/6143c6569d27cf7da4ba0a18/blog-gcp-integration-pubsub-2.png" data-sys-asset-uid="blt729ea82c62f6cf41" alt="blog-gcp-integration-pubsub-2.png">
Als Nächstes navigieren wir zur Google Cloud Console, um unseren <a href="https://cloud.google.com/dataflow/">Dataflow</a>-Job zu konfigurieren.&nbsp;
Jetzt klicken wir im Dataflow-Produkt auf „Job aus Vorlage erstellen“ und wählen im Dropdown-Menü „Dataflow-Vorlage“ die Vorlage „Pub/Sub to Elasticsearch“ aus.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltbd14459da3fb91c0/6143c6648440e97ef58272c3/blog-gcp-integration-pubsub-3.png" data-sys-asset-uid="bltbd14459da3fb91c0" alt="blog-gcp-integration-pubsub-3.png">
Wir geben die erforderlichen Parameter, einschließlich Cloud-ID und Base64-codiertem API-Schlüssel für Elasticsearch, ein. Da wir Audit-Logdaten streamen, ist als Log-Typ „audit“ einzugeben. Wo Sie in der Elastic Cloud-Benutzeroberfläche die Cloud-ID finden, zeigt die Abbildung unten. Der API-Schlüssel kann mithilfe der <a href="/guide/en/elasticsearch/reference/current/security-api-create-api-key.html">„API-Schlüssel erstellen“-API</a> erstellt werden.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltaa76aed1b8faf542/6143c677947b692d209b5352/blog-gcp-integration-pubsub-4.png" data-sys-asset-uid="bltaa76aed1b8faf542" alt="blog-gcp-integration-pubsub-4.png">
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt56be59a0016ed28c/6143c686f725af79f53fc4ea/blog-gcp-integration-pubsub-5.png" data-sys-asset-uid="blt56be59a0016ed28c" alt="blog-gcp-integration-pubsub-5.png">
Klicken Sie auf „Job ausführen“ und warten Sie, bis Dataflow mit dem Ausführen der Vorlage beginnt. Das kann ein paar Minuten dauern. Wie Sie sehen, müssen wir weder die Google Cloud Console verlassen noch uns um das Verwalten von Agents kümmern!
Jetzt gehen wir zu Kibana, wo wir uns ansehen können, wie unsere Logdaten geparst und im „[Logs GCP]“-Dashboard visualisiert werden.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt879b955d1a95e437/6143c69364c8007a9bdea6fd/blog-gcp-integration-pubsub-6.png" data-sys-asset-uid="blt879b955d1a95e437" alt="blog-gcp-integration-pubsub-6.png">
<h2>Fazit</h2>Elastic erleichtert es Kunden immer mehr, selbst zu bestimmen, wo Jobs ausgeführt werden und was dabei genutzt wird. Diese optimierte Google Cloud-Integration ist das jüngste Beispiel dafür. Elastic Cloud macht den Elastic Stack noch wertvoller, denn Kunden können so schneller mehr erledigen – ideal, um das Potenzial unserer Plattform bestmöglich auszuschöpfen. Weitere Informationen zur Integration finden Sie in der <a href="https://cloud.google.com/dataflow/docs/guides/templates/provided-streaming#cloudpubsubtoelasticsearch">Dokumentation von Google</a>. Wenn Sie Elastic auf Google Cloud selbst erleben möchten, besuchen Sie den <a href="https://console.cloud.google.com/marketplace/product/elastic-prod/elastic-cloud?utm_source=blog&utm_medium=ingest_data_directly_from_google_pub_sub_into_elastic_using_google_dataflow">Google Cloud Marketplace</a> oder <a href="/de/">elastic.co</a>.

blog-banner-cloud-gcp.png

Ingest data directly from Google Pub/Sub into Elastic using Google Dataflow

Direktes Ingestieren von Daten aus Google Pub/Sub in Elastic mit Google Dataflow

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Director of Product

Michael Yang

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by Michael Yang

Director of Product, Elastic

Direktes Ingestieren von Daten aus Google Cloud Storage in Elastic mit Google Dataflow

Direktes Ingestieren von Daten aus Google BigQuery in Elastic mit Google Dataflow

Direktes Ingestieren von Daten aus Google Pub/Sub in Elastic mit Google Dataflow