Wie eine europäische Polizeibehörde mit Elastic Daten zusammenführt, um der Öffentlichkeit besser zu dienen
Eine Polizeibehörde in einem europäischen Land mit 65.000 Beamten und 2.000 IT-Spezialisten benötigte ein zentrales und durchsuchbares Repository aller Logs mit Infrastruktur-, Anwendungs- und Audit-Daten.
Zur Umsetzung dieses Ziels entschied sich die Behörde, mithilfe der Elastic-Plattform einen Data-Lake anzulegen, der am Ende zum zentralen Hub für alle Logdaten werden soll. Die Behörde möchte den Data-Lake im Laufe der nächsten zwei Jahre mit Logdaten aus insgesamt 350 Anwendungen füllen.
„Wir gehen davon aus, dass wir in zwei Jahren Tag für Tag ca. 75 TB ingestieren werden. Nur damit man einmal eine Vorstellung erhält: Das ist fast 20 Mal mehr Daten pro Tag als die Gesamtkapazität des persönlichen Cloud-Speichers von Apple. Schon heute kommen aus den bisher verbundenen Quellen ca. 2,5 TB Daten zusammen. Daher ist es für unser System immens wichtig, dass es auf Zuwachs ausgelegt ist“, so der Produktlinienmanager der Behörde.
Logging für DevOps, Untersuchungsteams und Digital-Security-Experten
„Eine Nutzergruppe sind natürlich die DevOps-Teams, die wir in die Lage versetzen, Logdaten zu speichern und aufzubewahren. Damit sind sie wiederum in der Lage, Dashboards für ihre eigenen Systeme zu erstellen, die auf einer zuverlässigen Quelle basieren“, so der Produktlinienmanager.
Eine zweite Nutzergruppe für den Data-Lake seien interne Untersuchungsteams, die dem Verdacht der missbräuchlichen Nutzung von Polizeidaten nachgehen.
„Ein Missbrauch von Polizeidaten läge zum Beispiel dann vor, wenn eine Beamtin in den Systemen herauszufinden versucht, ob gegen den Freund ihrer Tochter etwas vorliegt. Alle Suchen müssen aufgabenbezogen sein“, erklärt der Produktlinienmanager.
Als dritte Nutzergruppe werden die Entwickler im Security Operations Center genannt, die nach Anomalien bei der Nutzung von Daten Ausschau halten.
„Ein Beispiel: Wenn sich ein Beamter über sein Endgerät in einer Stadt beim System anmeldet und zur selben Zeit jemand in einer mehrere Stunden entfernten Stadt versucht, mit dem Dienstausweis dieses Beamten Zugang zu einer Polizeiwache zu erlangen, wird dies im Security Operations Center als Anomalie erkannt und in den Logdaten der Systeme näher untersucht.“
Um für ausreichende Kontrolle über die Daten zu sorgen, müssen die Nutzer des Data-Lake über rollenbasierte Zugriffsrechte Lesezugriff erhalten. Das lässt sich mit Elastic ganz einfach konfigurieren.
Datenaufbewahrung: „warm“, „heiß“, „kalt“ und „eingefroren“
Da der Data-Lake nach endgültiger Fertigstellung täglich 75 TB Daten aufnehmen und protokollieren muss, wird die Behörde die von Elastic angebotenen Daten-Tiers verwenden.
Je nach Datentyp, Aufbewahrungsrichtlinien und gesetzlichen Vorgaben müssen die Daten für ein bis fünf Jahre gespeichert werden.
Die geschäftlichen Vorteile dieser Art von Speicherarchitektur sind immens. Je „kälter“ der Datenspeicher ist, desto günstiger wird er. Das heißt, dass ältere Daten oder Daten, die aus regulatorischen Gründen aufbewahrt werden müssen, in kostengünstigeren Speichern aufbewahrt werden können, die weniger Rechenleistung erfordern.
Für diese Polizeibehörde ist es daher effizienter, wachsende Datenmengen in Elastic zu verwalten, was gleichzeitig den Weg für neue Anwendungsfälle frei macht.
Der Produktlinienmanager dazu: „Um diese Menge an Daten einigermaßen effizient in den Griff zu bekommen, haben wir beim Speicherdesign eine Aufteilung in ‚heiße‘, ‚warme‘, ‚kalte‘ und ‚eingefrorene‘ Daten vorgenommen.“
Unterstützung durch Elastic Consulting
Für eine reibungslosere Umsetzung des Projekts hat die Behörde Elastic Consulting mit der Erstellung des Anfangsdesigns und der Implementierung von Best Practices beauftragt.