SoundCloud

Die Herausforderung

Wie ist es möglich eine flexible und benutzerfreundliche Echtzeit-Suchmaschine für 30 Millionen Nutzer zu entwickeln?

Die Lösung

Elasticsearch nutzen, um Inhalte intelligent zu durchsuchen und an Millionen Musikliebhaber zu liefern.

Ein beeindruckendes Benutzererlebnis schaffen

  • Nutzen der Suche als Navigation
  • Sofortiges Aktualisieren der Suche mit benutzergenerierten Inhalten
  • Einführen von neuen Funktionen — schnell und oft automatisch

Einfach entwickeln und skalieren

  • Nutzen der hohen Geschwindigkeit bei der Arbeit an systemweiten Programmfehlern und Funktionen, sodass eine vollständige Reindexierung nur noch eine Stunde dauert
  • Skalieren mit steigenden Anforderungen und minimalem Aufwand
  • Störungsfreies Aufrechterhalten des Zugangs über APIs

"Wir brauchten eine neue Infrastruktur, mit der wir relevantere Ergebnisse liefern, leicht skalieren und schnell mit neuen Funktionen und Modellen experimentieren konnten."

Alexander Gross, VP of Engineering

Eine leistungsstarke und intelligente Suche ist der Schlüssel zum besseren Benutzererlebnis

Für SoundCloud ist es am wichtigsten, den Kunden das beste Erlebnis beim Ansehen, Suchen und Entdecken relevanter Inhalte auf zeitnahe und sinnvolle Weise zu bieten. Als führende soziale Musikplattform der Welt kann bei SoundCloud jeder Musik Tracks schaffen, aufnehmen, bewerben und teilen, und zwar auf einfache, zugängliche und funktionsstarke Weise. SoundCloud ermöglicht Musikschaffenden, sofort eigene Audioinhalte aufzuzeichnen oder hochzuladen, Musik Tracks in Websites und Blogs einzubinden, öffentlich und privat zu teilen, detaillierte Analysedaten zu erhalten und Feedback von der Community zu erhalten - direkt auf den Schwingungsverlauf.

Neugestaltung der Suchinfrastruktur zur Optimierung des Kundenerlebnisses

Im Mittelpunkt des neuen, umgestalteten SoundCloud stehen intelligente Suchfunktionen, die für ein erstklassiges Kundenerlebnis besonders wichtig sind. SoundCloud hat das Suchfeld zum zentralen Element gemacht, das die Benutzer sehen. Zudem wurde es mit Vorschlägen gefüllt, anhand derer die Benutzer direkt zu Menschen, Musik Tracks, Gruppen und Interessenbereichen springen können. Das Unternehmen hat außerdem einen Erkundungsbereich hinzugefügt, der die Benutzer durch die riesige Musiklandschaft auf SoundCloud führt.

„Das Wichtigste bei unserer Neugestaltung war eine Überholung unserer Such-Infrastruktur“, erklärt Alexander Gross, VP of Engineering, SoundCloud. „Wir brauchten eine neue Infrastruktur, mit der wir relevantere Ergebnisse liefern, leicht skalieren und schnell mit neuen Funktionen und Modellen experimentieren konnten.“

SoundCloud wechselt von Apache Solr zu Elasticsearch

Als SoundCloud gegründet wurde, verließ sich das Unternehmen bei der Suche auf Apache Solr. Mit der Zeit wuchsen die Datenanforderungen von SoundCloud ins Unermessliche, ihre soziale Musikplattform wurde komplexer und ihre Geschäftsregeln multiplizierten sich. Solr bekam hinsichtlich Geschwindigkeit, Skalierbarkeit, Flexibilität und Gesamtsuchleistung Probleme.

„In der Welt der Musik Tracks ist Echtzeit kritisch“, sagte Alexander. „Es ist essenziell, dass die Tracks unserer Benutzer sofort nach dem Download gesucht werden können, und bei der Neugestaltung der Website wurde klar, dass wir eine leistungsfähigere und zuverlässigere Suchmaschine als Ersatz für Solr brauchen.“

Nach einer umfassenden Recherche des Standes der Technik bei Suchtechnologien entschied sich SoundCloud, Solr abzusetzen und Elasticsearch den Vorzug zu geben.

„Der Echtzeitaspekt von Elasticsearch ist sehr wichtig. Vorher dauerte es mit Solr tagelang, bis man etwas suchen konnte“, sagt Gross. „Wir wollten eine Universalsuche als Navigationsmöglichkeit. Mit Elasticsearch bekommen wir viel mehr wertvolle Einblicke in unsere Daten und das System ist viel einfacher zu konfigurieren und zu pflegen.“

Vorteile für SoundCloud durch Elasticsearch

Kürzere Suchdauer verbessert das Benutzererlebnis

Das Feedback zur Zeit bis zur Suchbarkeit war sehr positiv. Neu eingestellte Sounds können innerhalb von drei Sekunden entdeckt werden — nicht erst nach Tagen wie bei Solr.

Vereinfachtes Cluster-Management

Beim Bootstrapping und der Verwaltung des Clusters ist keine mühsame Handarbeit mehr nötig — alles wird mit der REST API von Elasticsearch eingerichtet und die Indexdefinitionen werden in flachen JSON-Dateien spezifiziert.

Neue Funktionen einfacher hinzufügen

Elasticsearch hat die Implementierung und Konfiguration neuer Funktionen stark beschleunigt.

Verbesserte Einblicke helfen bei der Entscheidungsfindung

Ein einziges Dashboard mit allen relevanten Messdaten hilft SoundCloud, die Leistung zu überwachen, sowohl in Bezug auf die Auslastung als auch die Suchqualität.