Observability
Tourismus & Logistik

Delhivery : „Operational Excellence“ für externe Logistikanbieter

AUF EINEN BLICK

  • 1.4
    Million Paketzustellungen pro Tag in Spitzenzeiten
  • 50+
    Datenpunkte pro Paket
  • 4
    GB an ingestierten Paketdaten pro Tag

Entscheidungen in Minutenschnelle

Die Möglichkeit, mit Kibana Daten in Echtzeit zu visualisieren und zu erkunden, versetzt Delhivery in die Lage, schnelle operative Entscheidungen zu treffen und bei Service und Effizienz am Ball zu bleiben.

Netzwerkproduktivität bei 90 %

Delhivery kann innerhalb kürzester Zeit Blockaden im Liefernetzwerk erkennen und auflösen und so dafür sorgen, dass auch in nachgeordneten Bereichen die Performance aufrechterhalten und Verzögerungen weitestgehend vermieden werden.

Flexibilität fürs Skalieren und Experimentieren

Mit dem Elasticsearch Service auf Elastic Cloud ist es Delhivery möglich, das eigene Deployment nahtlos zu skalieren und gleichzeitig problemlos auf alle neuen Features des Elastic Stack zuzugreifen. So kann sich das Unternehmen auf die Ausweitung des Logistikgeschäfts konzentrieren, statt sich mit den Details der Verwaltung der IT-Infrastruktur beschäftigen zu müssen.

Informationen zum Unternehmen

Das 2011 gegründete Logistikunternehmen Delhivery hat sich in kürzester Zeit von einem Last-Mile-Zusteller zu Indiens führendem Anbieter von Supply-Chain-Dienstleistungen entwickelt. Sein riesiges Netzwerk aus 19 automatisierten Sortier- und Verteilzentren, Tausenden von Zustellzentren, 14.000 Fahrzeugen und 21.000 Teammitgliedern ermöglicht es dem Unternehmen, in Spitzenzeiten bis zu durchschnittlich eine Million Pakete täglich zuzustellen.

Delhivery sticht besonders durch die Art und Weise heraus, wie das Unternehmen die Geschwindigkeit seines Netzwerks optimiert und damit die indische Logistikbranche durcheinanderwirbelt. Datenanalysen mithilfe des Elastic Stack helfen Delhivery, die Kosten unerreicht niedrig zu halten und seinen mehr als 100.000 Kunden – von kleinen und mittleren Unternehmen über große Konzerne bis hin zu führenden E-Commerce-Plattformen – einen immer schnelleren Service anzubieten. Die bei den Analysen gewonnenen Erkenntnisse erlauben es dem Unternehmen, schnelle Entscheidungen zu treffen, was für den Erfolg in der Branche außerordentlich wichtig ist.

Mit Elastic können wir in dreißig Minuten oder weniger Entscheidungen treffen, und das ist Gold wert. Das hat Auswirkungen auf die Kosten, den Umsatz, den Service und alles andere, was für unsere Stakeholder wichtig ist.

– Kapil Bharati, Mitbegründer und CTO | Delhivery

Anforderungsprofil von Delhivery

„Operational Excellence“ für externe Logistikanbieter

Delhivery begann 2011 als hyperlokaler Lieferdienst mit Schwerpunkt auf Last-Mile-Services, wie der Zustellung von Essen und Blumen innerhalb von Gurgaon (Gurugram), einer Satellitenstadt von Delhi. Schon wenige Monate nach Gründung fingen die Gründer des Unternehmens an, sich für die wesentlich größeren Chancen zu interessieren, die der E-Commerce bietet. Die Branche stand zu dieser Zeit in Indien noch ganz am Anfang, aber Delhivery sah das Potenzial und bereits Mitte 2011 hatte das Unternehmen seinen ersten E-Commerce-Kunden. Seither liegt der Fokus von Delhivery auf der Lösung der Logistikprobleme des E-Commerce, wozu auch das Liefertempo gehört.

Das Tempo war in den Anfangstagen das, was den Firmen am meisten Sorge bereitete. Dabei ging es nicht nur darum, dass die Käufer lange warten mussten, sondern auch die Verkäufer hatten zu leiden. Indien ist ganz auf Bargeld ausgerichtet und die meisten Verkäufer mussten warten, bis das Geld bei Zustellung eingesammelt wurde – je später zugestellt wurde, desto später konnte der Verkäufer über die Einnahmen verfügen.

Dieses Problem konnte Delhivery nur durch die Optimierung der Effizienz seines gesamten Liefernetzwerks lösen. Dabei kam Elastic ins Spiel. Mit dem Elastic Stack ist das Unternehmen in der Lage, die Millionen von täglich über das Liefernetzwerk erfassten Datenpunkten zu durchsuchen, zu analysieren und zu visualisieren. Diese Erkenntnisse werden genutzt, um das Tempo und die Effizienz der Zustellung zu erhöhen und die Zukunft der Logistik zu formen.

Explosives Wachstum des Geschäfts und der Datenmenge

Um das hohe Niveau der operativen Abläufe zu halten, muss Delhivery jederzeit über alles im Bilde bleiben. Dazu erfasst Delhivery alle 20 Sekunden Daten zu allen aktuellen Lieferungen, wie Größe, Ort und Status. Das führt letztlich zu mehr als 50 Datenpunkten pro Paket, die dann genutzt werden können, um das Liefernetzwerk mit Informationen zu versorgen und effizienter zu gestalten.

Die Indexierung und Analyse der Daten erfolgte anfänglich in MongoDB. Mit dem Wachstum von 500 auf 9.000 Zustellungen pro Tag im zweiten Jahr der Unternehmensgeschichte wurde das Wachstum bei den Datenmengen so groß, dass es immer schwieriger und zeitraubender wurde, die Daten entsprechend aufzubereiten und neue Erkenntnisse für Performance-Steigerungen zu extrahieren.

„Wir experimentieren ständig mit unterschiedlichen Tools und Technologien und haben nach einer Lösung Ausschau gehalten, die das Aggregieren und Erkunden unserer Daten vereinfacht“, berichtet Mitbegründer und CTO Kapil Bharati. „Dabei haben wir Dashboards gesehen, die von Kibana mit Daten versorgt wurden, und uns gedacht, dass es doch möglich sein müsse, alle unsere Daten zu Elastic zu schicken. Und es hat nicht lange gedauert, bis wir merkten, wie mächtig das Tool für uns ist.“

Mehr Effizienz und ein höheres Tempo

Die erste Delhivery-Anwendung, veröffentlicht 2013 unter Nutzung von Version 2.x des Elastic Stack, bestand aus einer Reihe individueller Dashboards, mit denen E-Commerce-Verkäufer ihre eigenen Lieferungen nachverfolgen konnten. Diese Dashboards werden auch heute noch genutzt. Die Verkäufer erhalten auf diese Weise Echtzeit-Geodaten zu all ihren Paketen, sodass sie sich nicht mehr an das Delhivery-Callcenter wenden müssen.

Mittlerweile nutzt das Unternehmen intern verschiedene Dashboards für das Tracking von Paketen und Performance. Mithilfe dieser von Kibana mit Daten belieferten Dashboards kann die Einsatzzentrale schnell und zuverlässig Blockaden oder Verzögerungen im Liefernetzwerk ausfindig machen und durch visuelle Untersuchung der zugrundeliegenden Daten Ursachenforschung betreiben.

„Mit Kibana haben wir alles, was passiert, in Echtzeit im Blick und wenn wir mitbekommen, dass Lieferungen an einem Ort feststecken, können wir uns sofort um eine Lösung des Problems bemühen und unsere Kunden vorab warnen“, so Kapil.

Tiefergehende Analysen dieser Daten über längere Zeiträume hinweg helfen Delhivery beim Aufspüren von Möglichkeiten zur Verbesserung der Performance, wie zum Beispiel die Optimierung des Paket-Routings oder die Einstellung zusätzlicher Mitarbeiter für Spitzenzeiten.

Nach den Worten von Kapil besteht einer der großen Vorteile von Kibana darin, dass es auch ohne tiefgehende Technikkenntnisse genutzt werden kann. „Unser operatives Team kann selbst individuelle und komplexe Dashboards erstellen und diese für bessere Entscheidungen nutzen.“

Tiefergehende Einblicke und Skalierung

Anfänglich verwaltete Delhivery die Cluster selbst, aber je größer das Geschäft wurde, speziell in den Spitzenzeiten in den indischen Festmonaten, desto schwieriger wurde dies. Um diese Skalierungs- und Hosting-Probleme in den Griff zu bekommen, wurde Delhivery zu einem der ersten Nutzer des Elasticsearch Service (jetzt auf Elastic Cloud, damals noch auf Found.no). Seither ist die Beziehung zwischen Delhivery und Elastic mit dem Unternehmen mitgewachsen.

„Mit dem Umstieg auf einen verwalteten Dienst erhielten wir mehr Flexibilität beim Skalieren und konnten uns so besser auf unsere Kernaktivitäten konzentrieren“, so Elasticsearch-Architekt und Senior Engineering Manager Karan Argarwal. „Wir haben uns über die Jahre auch nach anderen Optionen umgeschaut, darunter auch dem Elasticsearch-Angebot von Amazon, aber wir sind beim Elasticsearch Service geblieben, weil der von den Experten betrieben wird und uns stets Zugang zu den neuesten Features des Elastic Stack bietet.“

Nach dem kürzlichen Upgrade von Version 5.x auf Version 6.5, der durch die Hilfe des Elastic-Supports reibungslos gelang, ist Delhivery jetzt in der Lage, diese Features noch gewinnbringender zu nutzen. Mit dem Upgrade kann das Unternehmen nun in seinen Clustern dedizierte Knotentypen einsetzen, die es ihm ermöglichen, die Speicher- und CPU-Nutzung zu optimieren und die Performance zu stabilisieren.

Delhivery ingestiert Tag für Tag mehr als fünf Millionen Datenpunkte, einschließlich Geodaten von Paketen. Die Daten werden durch einen Kafka-Stream über Logstash in einen Elasticsearch-Cluster geleitet und stehen dort für Kibana-Dashboards und individuelle Anwendungen zur Verfügung.

Example architecture

Transaktions-/Ereignisdatenarchitektur

Example architecture

Logdatenarchitektur

Kibana bleibt für die Verwaltung und die Überwachung des täglichen Betriebs unabdingbar und vom Elastic Stack bereitgestellte Sicherheitsfunktionen ermöglichen die Steuerung, welcher Mitarbeiter auf welche Daten zugreifen kann. Auf diese Weise kann Delhivery die Sicherheit und Vertraulichkeit der Daten gewährleisten und gleichzeitig seinen Mitarbeitern im gesamten Unternehmen die Nutzung von Kibana erlauben sowie die Daten auch den E-Commerce-Kunden zur Verfügung stellen.

Teams können in Kibana eine große Bandbreite von Performance-Metriken visualisieren und Elasticsearch nutzen, um Anomalien und Trends aufzuspüren. Wenn die Einsatzzentrale zum Beispiel beobachtet, dass die Performance des Liefernetzwerks auf 97 Prozent abgefallen ist, kann es sich die Performance-Werte der einzelnen Einrichtungen ansehen und die Daten so lange filtern, bis das Problem gefunden wurde. Sie kann aber auch einzelne Aspekte des Netzwerks überwachen, indem sie mithilfe von Elastic Stack-APIs Frontend-Widgets mit eingebetteten Visualisierungen erstellt.

„Die API-Schnittstelle und die API-Dokumentation für den Elastic Stack sind sehr gut. So kann man gut experimentieren und bei Bedarf schnell und einfach neue Widgets und Visualisierungen entwickeln“, erklärt Karan. „Ich habe bei keinem Unternehmen in diesem Bereich, das so schnell Innovationen auf den Markt bringt, eine bessere Dokumentation gesehen.“

Vom Last-Mile-Zusteller zum Weltklasse-Logistikanbieter

Mit proaktiver Unterstützung durch Elastic konnte Delhivery die Integrität und Stabilität seiner Cluster optimieren. Zudem ist das Unternehmen stets in der Lage, die neuesten Features und Fähigkeiten des Elastic Stack zu nutzen. So wird derzeit untersucht, inwieweit Elastic APM beim Monitoring und Alerting in Transport- und Lagerverwaltungssystemen und Mikrodiensten sowie bei erweiterten Stack-Trace-Visualisierungen von Anforderungen und Interoperabilität helfen kann. Außerdem sieht sich Delhivery an, ob zur Entwicklung von Plugin-Dashboards für die Standortteams Canvas genutzt werden kann, sodass die Notwendigkeit individueller Dashboards für unterschiedliche Anwendungsfälle entfällt. Mit diesen Dashboards würden den Teams selbsterklärende und praktisch einsetzbare Daten zur Verfügung gestellt werden können, die in Echtzeit Aufschluss über Fluktuationen bei Paketen und andere Ereignisse am jeweiligen Standort geben könnten.

„Wir experimentieren derzeit kräftig und sehen uns neue Features und Produkte, wie das Machine Learning, an, die es unserer Einsatzzentrale erlauben würden, Vorhersagen über die Kapazität und Performance unseres Liefernetzwerks zu treffen. So könnten wir beispielsweise analysieren, welche Auswirkungen eine Belastungsspitze in einem Zentrum auf die nachgeordneten Zentren hätte“, so Kapil.

Der Erkenntnis- und Effizienzgewinn durch Machine Learning und potenzielle Anwendungsfälle für Canvas und Elastic APM wird Delhivery beim weiteren Ausbau seines Geschäfts und seiner Innovationskraft helfen. Bereits heute schon unterstützt der Elastic Stack Delhivery dabei, bessere und schnellere Entscheidungen zu allen Aspekten des Geschäfts zu treffen – ob es um die Ressourcenbeschaffung oder die Frage geht, wo das nächste Sortier- und Verteilzentrum entstehen soll. Das Unternehmen hat aber auch ehrgeizige Pläne, in Zukunft weiter für Disruption in der Logistikbranche zu sorgen. So arbeitet es derzeit an einem Betriebssystem und einer Plattform, die auch von anderen genutzt werden können.

Die Delhivery-Cluster

  • Cluster
    2
  • Hosting-Umgebung
    Elasticsearch Service auf Elastic Cloud auf AWS
  • Dokumente
    Express-Cluster – 86.906.895

    Kern-Cluster – 94.409.502
  • Täglich zu ingestierende Datenmenge
    Express-Cluster – durchschnittlich 470 pro Sekunde, max. 1000 pro Sekunde

    Kern-Cluster – durchschnittlich 10 pro Sekunde, max. 50 pro Sekunde
  • Indizes
    Express-Cluster (Indizes auf Monatsbasis unter 2 Aliassen gruppiert) – 29

    Kern-Cluster – 15
  • Abfragegeschwindigkeit
    Express-Cluster – durchschnittlich 270 pro Sekunde, max. 400 pro Sekunde

    Kern-Cluster – durchschnittlich 10 pro Sekunde, max. 15 pro Sekunde
  • Knotenspezifikationen:
    Kern-Cluster: 3 High-CPU-M5-Instanzen, jeweils mit 8 GB RAM und 64 GB Speicherplatz

    Monitoring: 1 High-I/O-Classic-Instanz mit 4 GB RAM und 96 GB Speicherplatz

    Express: 4 High-I/O-Dateninstanzen, jeweils mit 58 GB RAM und 1,7 TB Speicherplatz

    3 Master-R4-Instanzen, jeweils mit 4 GB RAM und 8 GB Speicherplatz, 2 Ml-M5-Instanzen, jeweils mit 4 GB RAM und 8 GB Speicherplatz